2024-10-08
WordPress使用Sakurairo对接免费开源llm并生成ai摘要

前言

更新了Sakurairo 主题到最新版本,发现居然多了chatgpt总结摘要的功能,但是chatgpt要money啊。

难道就没有办法免费白嫖了吗。刚好我想到ollama不是号称与openai的兼容性好吗,
欸,我有一计👆🤓,虽然主题不支持ollama,但是我把chatgpt的api地址换成ollama不就可以了吗。说干就干

准备

开工

首先找到你的iro主题设置,修改api地址为你的ollama地址,密钥可以瞎填,亲测ollama不会校验

然后保存完我们发现,欸,居然不会生成ai摘要,阅读源码。发现Sakurairo源码写的好像也没问题。那问题出在哪里呢
我们再阅读HaoZiTeam\ChatGPT源码发现,new ChatGPTV2还有隐藏的第三个参数,貌似居然没在docs写出来,怪不得有问题。
修改Sakurairo源码把第三个参数补齐,就可以正常使用ollama生成ai摘要了。

$chatGPT = new ChatGPTV2($chatGPT_access_token, $chatGPT_base_url, 'llama3:8b');

效果

个人粗略试用了下,对16g显卡同学还是比较推荐使用llama3:8b这些新出的模型,mistral:7b这些太一言难尽了,效果不好。或许是我提示词用的不好吧。。。当然如果你有效果更好的model或者prompt,欢迎推荐

评论0
此处寂静如深空🌌, 等你投下第一颗文字流星🌠
Copyright © by Keven All Rights Reserved.
Powered byNext.js&WordPress