AI 摘要

好,我现在要总结一下这个文章的内容。文章主要讲的是作者在更新Sakuracio主题到最新版本后,发现了可以使用ChatGPTSummarizer功能,但由于有费用限制而无法免费使用。于是,他想到了另一个解决方案:尝试替换成Ollama的API来生成AI摘要。 首先,他提到Sakurairo的主题更新后增加了这个功能,但需要付费才能使用。这让他比较困惑,毕竟他想在没花钱的情况下也能得到AI摘要。于是,他想到Ollama,因为听说它与ChatGPT兼容,这是一个可行的替代方案。 接下来,作者详细描述了他进行的操作步骤。他准备了一台带GPU的服务器,安装了Ollama,同时下载并安装了Sakurairo的主题。随后,他在主题中修改API地址和密钥来接入Ollama的服务,并按照一些代码示例进行操作。 然而,在实际操作过程中遇到了问题,生成AI摘要的功能没有正常工作。于是,他查阅了两者的源码,发现ChatGPTSummarizer在初始版本中缺少了一个隐藏的参数。最终,他在Sakurairo的源码中补全了这个参数,解决了问题,并成功开始使用Ollama来生成摘要。 最后,作者对比了几种模型的效果,指出Llama3:8B和Mistral:7B的一些差异,同时也提到提示词的质量对结果的影响。他建议读者可以参考他的建议选择合适的模型和prompt使用。 整个过程中,作者展示了从发现问题到尝试解决方案再到最终解决问题的完整流程,并分享了他在实现过程中遇到的问题以及如何克服的方法。 文章主要介绍了作者在更新Sakurairo主题后发现无法免费使用ChatGPTSummarizer功能,转而探索通过替换Ollama API来实现生成AI摘要的可能性。通过准备所需硬件、安装Ollama和Sakurairo主题,并在代码中调整参数,作者成功地将ChatGPT的功能转向了Ollama的使用,解决了摘要生成的问题。同时,文章还提到了不同模型的效果对比及提示词的重要性。最终,文章总结了一款性价比高的大语言模型及其使用的最佳实践。

前言

更新了Sakurairo 主题到最新版本,发现居然多了chatgpt总结摘要的功能,但是chatgpt要money啊。

难道就没有办法免费白嫖了吗。刚好我想到ollama不是号称与openai的兼容性好吗,

欸,我有一计👆🤓,虽然主题不支持ollama,但是我把chatgpt的api地址换成ollama不就可以了吗。说干就干

准备

  • 带GPU的服务器并安装ollama
  • 一个wordpress并安装了Sakurairo主题

开工

首先找到你的iro主题设置,修改api地址为你的ollama地址,密钥可以瞎填,亲测ollama不会校验

然后保存完我们发现,欸,居然不会生成ai摘要,阅读源码。发现Sakurairo源码写的好像也没问题。那问题出在哪里呢

我们再阅读HaoZiTeam\ChatGPT源码发现,new ChatGPTV2还有隐藏的第三个参数,貌似居然没在docs写出来,怪不得有问题。

修改Sakurairo源码把第三个参数补齐,就可以正常使用ollama生成ai摘要了。

$chatGPT = new ChatGPTV2($chatGPT_access_token, $chatGPT_base_url, 'llama3:8b');

效果


个人粗略试用了下,对16g显卡同学还是比较推荐使用llama3:8b这些新出的模型,mistral:7b这些太一言难尽了,效果不好。或许是我提示词用的不好吧。。。当然如果你有效果更好的model或者prompt,欢迎推荐