登入

百度文心大模型版本比較測試:ERNIE 3.5 8K VS ERNIE 4.0 8K

作者:neo yang 時間:2024/03/22 讀: 11882
The AI SEO Wordpress Plugin is being upgraded to support Baidu's ERNIE 4.0 8K, although tests show little difference in SEO effectiveness compared to ERNIE 3.5 8K. Despite better stylistic quality to ERNIE 3.5 8K. Despite better stylistic quality 00,0000, 00is s0, sid andlistic s0kive 00,000is with s0, s0, s0, sds s0, 00,000is sex's s0, 00,00is sex's s0, madity sthr; er error rates during batch processing. Thus, ERNIE 3.5 8K remains the more cost-effective choice for SEO purposes.

源起

我開發的AI SEO WordPress Plugin最近有不少下載和付費的用戶。這兩天,有朋友要買AI SEO插件,只是,他需要用百度文心大模型4.0版本(ERNIE 4.0 8K),但我的AI SEO CN插件一直在用3.5版本,也就是ERNIE 3.5 8K這個版本。

所以,這兩天在給AI SEO WordPress Plugin CN版升級,支援百度文心大模型4.0版本。

在這過程中,少不了對這兩個版本進行實際的測試。這裡總結一下這些測試。

ERNIE 3.5 8K VS ERNIE 4.0 8K:產生文章效果對比

以下兩篇和紅酒相關的文章,提示詞是相同的,生成的結果相差不大。至少對於SEO來說基本上沒有差異。

類似的文章產生對比,我做了很多,基本上都是這樣的結論。更多的差距,應該算是文采上,4.0生成的文章文采明顯比3.5好。

ERNIE 4.0 8K產生的文章
ERNIE 3.5 8K產生的文章
ERNIE-Bot-turbo產生的文章

ERNIE 3.5 8K VS ERNIE 4.0 8K:價格對比

ERNIE 4.0 8K的價格比ERNIE 3.5 8K貴了不只一點半點。

輸入貴十幾倍。輸出貴二十幾倍。

我大概算了一下,1千tokens大概是4、5百個漢字,一篇文章按1千漢字(2千tokens)算,那麼用ERNIE 4.0 8K生成一篇文章需要0.6元。批量生成1萬篇文章就要6千元。這也忽略了輸入的價格。

如果換成ERNIE 3.5 8K的話,產生一萬篇文章只需要240元(只算輸出)。

從性價比來看,還是選ERNIE 3.5 8K比較適合。

ERNIE-Bot-turbo就更便宜了,而實際上,如果對文章的大綱控制的好,ERNIE-Bot-turbo對於SEO來說,也夠用了。

ERNIE 3.5 8K VS ERNIE 4.0 8K:速度

ERNIE 4.0 8K的速度明顯比ERNIE 3.5 8K慢。

當然,ERNIE-Bot-turbo更快一些

ERNIE 3.5 8K VS ERNIE 4.0 8K:錯誤率

ERNIE-Bot-turbo和ERNIE 3.5 8K一切正常。

ERNIE 4.0 8K有些問題,就是在批量生成文章的時候,會出現很多返回為空的現象,一開始我還以為是因為AI SEO插件採用並發調用大模型接口造成的,但改成串行後,問題依舊。而且返回空的現象基本上沒有規律。

總結

ItemERNIE 4.0 8KERNIE 3.5 8KERNIE-Bot-turbo
生成效果與ERNIE 4.0 8K相差不大較差,但對文章大綱控制地好,對於SEO來說也夠用了
價格輸出:0.3元/千tokens輸出:0.012/千tokens輸出:0.008/千tokens,最便宜
速度比ERNIE 4.0 8K明顯快一些這三個中最快
錯誤率批量生成時大量傳回空值基本上沒出過錯誤基本上沒出現過錯誤

整體來說,對於SEO,ERNIE-Bot-turbo和ERNIE 3.5 8K比較合適一些。



copyright © www.lyustu.com all rights reserve.
Theme: TheMoon V3.0. Author:neo yang