Test porównawczy wersji dużego modelu Baidu Wenxin: ERNIE 3.5 8K VS ERNIE 4.0 8K

源起

我开发的AI SEO WordPress Plugin最近有不少下载和付费的用户。这两天，有朋友要购买AI SEO插件，只是，他需要使用百度文心大模型4.0版本（ERNIE 4.0 8K），但我的AI SEO CN插件一直在用3.5版本，也就是ERNIE 3.5 8K这个版本。

所以，这两天在给AI SEO WordPress Plugin CN版升级，支持百度文心大模型4.0版本。

在这过程中，少不了对这两个版本进行实际的测试。这里总结一下这些测试。

ERNIE 3.5 8K VS ERNIE 4.0 8K：生成文章效果对比

以下两篇和红酒相关的文章，提示词是相同的，生成的结果相差不大。至少对于SEO来说基本没有差别。

类似的文章生成对比，我做了很多，基本上都是这样的结论。更多的差距，应该算是在文采上，4.0生成的文章文采明显比3.5好一些。

ERNIE 3.5 8K VS ERNIE 4.0 8K：价格对比

ERNIE 4.0 8K的价格比ERNIE 3.5 8K贵了不止一点半点啊。

输入贵十几倍。输出贵二十几倍。

我大概算了一下，1千tokens大概是4、5百个汉字，一篇文章按1千汉字（2千tokens）算，那么用ERNIE 4.0 8K生成一篇文章需要0.6元。批量生成1万篇文章就要6千元。这还忽略了输入的价格。

如果换成ERNIE 3.5 8K的话，生成一万篇文章只需要240元（只算输出）。

从性价比上看，还是选ERNIE 3.5 8K比较合适。

ERNIE-Bot-turbo就更便宜了，而实际上，如果对文章的大纲控制的好，ERNIE-Bot-turbo对于SEO来说，也够用了。

ERNIE 3.5 8K VS ERNIE 4.0 8K：速度

ERNIE 4.0 8K的速度明显要比ERNIE 3.5 8K慢。

当然，ERNIE-Bot-turbo更快一些

ERNIE 3.5 8K VS ERNIE 4.0 8K：错误率

ERNIE-Bot-turbo和ERNIE 3.5 8K一切正常。

ERNIE 4.0 8K有些问题，就是在批量生成文章的时候，会出现很多返回为空的现象，一开始我还以为是因为AI SEO插件采用并发调用大模型接口造成的，但改成串行后，问题依旧。而且返回空的现象基本没有规律。

Podsumować

总体来说，对于SEO，ERNIE-Bot-turbo和ERNIE 3.5 8K更合适一些。