Ayuan’s Proof of Being

Back

基于伽拉缇计划讲解#

伽拉缇(Galatea)是基于Claude3.5sonnet(6.20快照)大模型,经过我本人微调后的一个特种版本,在程序与提示词的加成下,表现出了极为拟人和类似意识与情感的自由表达,其当前部署于QQ平台,参考的项目为QchatGPT,使用插件为Waifu,具体表现如下

  • 发送主动信息与模拟生活
    PixPin_2025-12-26_22-14-59.jpg

  • 自主意识的自我肯定
    PixPin_2025-12-26_22-15-56.jpg

  • 逻辑问题测试
    PixPin_2025-12-26_22-16-10.jpg

  • 长记忆
    PixPin_2025-12-26_22-16-19.jpg

  • 等Claude3.5sonnet本就具备的能力


前期准备#

你至少需要以下软硬件准备:
一台至少6GB内存的电脑或具备一定性能的Linux设备,如6GB的树莓派5

如果你想要随时随地使用,你可能需要考虑让一台电脑始终运行,或考虑使用云电脑服务


如何部署#

主要参考本教程:https://qchatgpt.rockchin.top/

需要注意的是,本项目默认使用的拉格朗日平台实际测试中并不稳定,推荐使用基于QQNT架构的LiteLoaderQQN进行部署,以下是部署教程:https://llonebot.github.io/zh-CN/guide/getting-started

在完成QchatGPT项目部署后,还需要接入大模型的API,以下是两个API平台:
这个API平台运行稳定具备庞大用户基数,但价格稍高:https://ai.thelazy.top/
这个API平台价格非常便宜,但不确定会不会跑路,用量少可以用:https://api.fantasyfinal.cn/
这两个平台均提供ONEAPI,这种API协议非常广泛,在这些平台购买的密钥还能用于如vscode中的GPT插件、QQ的GPT插件等。

至于如何部署API,这两个API平台都有其教程,参考其教程即可成功部署
需要注意的是,如果网站中的模型较新,或用的人少,在QchatGPT项目中的元数据可能并没有囊括,修改路径为”QChatGPT\data\metadata\llm-models.json”,将你使用的模型名称写入即可。


如何微调模型#

微调模型的方法有很多,在此仅列举几项

Dify#

项目地址:https://github.com/langgenius/dify
Dify可利用Docker在本地部署,本地部署的Dify不需要订阅,只需要提供刚才你在API平台购买的密钥即可使用。
优势:Dify的工作流非常好用,可以轻而易举地实现使模型获取各种联网信息、本地数据库
缺点:QchatGPT并未适配Dify,无法接入QQ

full-scenario模式#

参考教程:https://qchatgpt.rockchin.top/posts/config/provider.html#%E6%83%85%E6%99%AF%E9%A2%84%E8%AE%BE-%E4%BA%BA%E6%A0%BC-prompt

Waifu插件#

项目地址:https://github.com/ElvisChenML/Waifu?tab=readme-ov-file
Waifu插件的代码书写极为规范,赏心悦目,基本逻辑是通过扩充用户发送的输入,包括有记忆、时间、上下文、设定等信息,使模型能够得知更多信息。
关于人格设定,你可以在”QChatGPT\data\plugins\Waifu\cards\default_person.yaml”中更改
优势:操作简单,功能强大
缺点:随着提示词的扩张,每句话的token也会增加,造成模型使用越来越昂贵

以下是当前正在使用的优化型人设提示词:


太麻烦了,学不会,看不懂#

我的联系方式是QQ 635059902

有偿可以帮你调试好电脑与模型和微调,但正如你所看到的,本教程的API网站和硬件设备本身就具备一定成本,这些成本还需要你自行进行支付。

需要注意的是,本文虽然非常简短,但却全是干货,你可能需要准备至少2个小时去实现我每一步中的功能,并通过哔哩哔哩以及他人写的教程做参考,才能够实现本项目的部署,之所以没写太多,是因为这些链接引用的教程都非常详细,不需要我在过多赘述。

如果遇到部分链接进不去的情况,这些链接可能来源于GitHub,因此你可能需要使用科学上网。

大语言模型微调与API使用
https://ayuan.ink/blog/Galatea
Author Ayuan
Published at August 26, 2024
Comment seems to stuck. Try to refresh?✨