百度文心大模型版本比較測試:ERNIE 3.5 8K VS ERNIE 4.0 8K
源起
我開發的AI SEO WordPress Plugin最近有不少下載和付費的用戶。這兩天,有朋友要買AI SEO插件,只是,他需要用百度文心大模型4.0版本(ERNIE 4.0 8K),但我的AI SEO CN插件一直在用3.5版本,也就是ERNIE 3.5 8K這個版本。
所以,這兩天在給AI SEO WordPress Plugin CN版升級,支援百度文心大模型4.0版本。
在這過程中,少不了對這兩個版本進行實際的測試。這裡總結一下這些測試。
ERNIE 3.5 8K VS ERNIE 4.0 8K:產生文章效果對比
以下兩篇和紅酒相關的文章,提示詞是相同的,生成的結果相差不大。至少對於SEO來說基本上沒有差異。
類似的文章產生對比,我做了很多,基本上都是這樣的結論。更多的差距,應該算是文采上,4.0生成的文章文采明顯比3.5好。
ERNIE 3.5 8K VS ERNIE 4.0 8K:價格對比
ERNIE 4.0 8K的價格比ERNIE 3.5 8K貴了不只一點半點。
輸入貴十幾倍。輸出貴二十幾倍。
我大概算了一下,1千tokens大概是4、5百個漢字,一篇文章按1千漢字(2千tokens)算,那麼用ERNIE 4.0 8K生成一篇文章需要0.6元。批量生成1萬篇文章就要6千元。這也忽略了輸入的價格。
如果換成ERNIE 3.5 8K的話,產生一萬篇文章只需要240元(只算輸出)。
從性價比來看,還是選ERNIE 3.5 8K比較適合。
ERNIE-Bot-turbo就更便宜了,而實際上,如果對文章的大綱控制的好,ERNIE-Bot-turbo對於SEO來說,也夠用了。
ERNIE 3.5 8K VS ERNIE 4.0 8K:速度
ERNIE 4.0 8K的速度明顯比ERNIE 3.5 8K慢。
當然,ERNIE-Bot-turbo更快一些
ERNIE 3.5 8K VS ERNIE 4.0 8K:錯誤率
ERNIE-Bot-turbo和ERNIE 3.5 8K一切正常。
ERNIE 4.0 8K有些問題,就是在批量生成文章的時候,會出現很多返回為空的現象,一開始我還以為是因為AI SEO插件採用並發調用大模型接口造成的,但改成串行後,問題依舊。而且返回空的現象基本上沒有規律。
總結
Item | ERNIE 4.0 8K | ERNIE 3.5 8K | ERNIE-Bot-turbo |
生成效果 | 好 | 與ERNIE 4.0 8K相差不大 | 較差,但對文章大綱控制地好,對於SEO來說也夠用了 |
價格 | 輸出:0.3元/千tokens | 輸出:0.012/千tokens | 輸出:0.008/千tokens,最便宜 |
速度 | 慢 | 比ERNIE 4.0 8K明顯快一些 | 這三個中最快 |
錯誤率 | 批量生成時大量傳回空值 | 基本上沒出過錯誤 | 基本上沒出現過錯誤 |
整體來說,對於SEO,ERNIE-Bot-turbo和ERNIE 3.5 8K比較合適一些。