AI 摘要

😊 更新Sakurairo主题后发现加了对ChatGPT的摘要功能,但需要付费。于是想到使用Ollama这个免费LLM,修改Sakurairo代码,输入Ollama的API地址和密钥。发现第三个参数缺失,阅读HaoZiTeamChatGPT源码,找到隐藏的第三个参数,这样可以正常生成AI摘要。效果是可喜的,可以使用16g显卡推荐使用llama3:8b模型。但也欢迎其他模型和提示词分享!

前言

更新了Sakurairo 主题到最新版本,发现居然多了chatgpt总结摘要的功能,但是chatgpt要money啊。

难道就没有办法免费白嫖了吗。刚好我想到ollama不是号称与openai的兼容性好吗,

欸,我有一计👆🤓,虽然主题不支持ollama,但是我把chatgpt的api地址换成ollama不就可以了吗。说干就干

准备

  • 带GPU的服务器并安装ollama
  • 一个wordpress并安装了Sakurairo主题

开工

首先找到你的iro主题设置,修改api地址为你的ollama地址,密钥可以瞎填,亲测ollama不会校验

然后保存完我们发现,欸,居然不会生成ai摘要,阅读源码。发现Sakurairo源码写的好像也没问题。那问题出在哪里呢

我们再阅读HaoZiTeam\ChatGPT源码发现,new ChatGPTV2还有隐藏的第三个参数,貌似居然没在docs写出来,怪不得有问题。

修改Sakurairo源码把第三个参数补齐,就可以正常使用ollama生成ai摘要了。

$chatGPT = new ChatGPTV2($chatGPT_access_token, $chatGPT_base_url, 'llama3:8b');

效果


个人粗略试用了下,对16g显卡同学还是比较推荐使用llama3:8b这些新出的模型,mistral:7b这些太一言难尽了,效果不好。或许是我提示词用的不好吧。。。当然如果你有效果更好的model或者prompt,欢迎推荐