【Python】【ChatGPT】本地部署ChatGPT学习记录

学习一下GPT项目的相关使用和部署

一、GPT4ALL模型

Github：https://github.com/nomic-ai/gpt4all

GPT4ALL项目部署简易，但是在运行体验上一般，并且是只调用CPU来进行运算，看官方文档介绍在嵌入式上有比较大的优势，但是目前个人对嵌入式方向接触不深，仅在本机部署使用。

本机配置（CPU：i5-8400、显卡：1060、内存：8）

1、模型下载

链接：https://gpt4all.io/index.html

可以自行选择不同的model类型，都有相对应的介绍，然后直接下载即可。

model使用相关文档链接：https://docs.gpt4all.io/index.html

下述是本机使用过程：

1、安装第三方库：pip install gpt4all

2、

1 from gpt4all import GPT4All
2 model = GPT4All(r'D:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False)
3 while True:
4     str = input('Loading Done! Please input: ')
5     if str == '0':
6         break
7     output = model.generate(str)
8     print(output)

使用上述代码，既可在命令行和模型连续沟通，但是体验感不佳（可能是因为我自己电脑配置的原因。。）

也可以安装界面版，相关信息github自行获取。

将陆续更新其他的模型本地部署（问就是GPT4ALL不是很好用…）

玄机博客

1.本站内容仅供参考，不作为任何法律依据。用户在使用本站内容时，应自行判断其真实性、准确性和完整性，并承担相应风险。

2.本站部分内容来源于互联网，仅用于交流学习研究知识，若侵犯了您的合法权益，请及时邮件或站内私信与本站联系，我们将尽快予以处理。

3.本文采用知识共享署名4.0国际许可协议 [BY-NC-SA] 进行授权

4.根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理，通过安装、显示、传输或者存储软件等方式使用软件的，可以不经软件著作权人许可，不向其支付报酬。”您需知晓本站所有内容资源均来源于网络，仅供用户交流学习与研究使用，版权归属原版权方所有，版权争议与本站无关，用户本人下载后不能用作商业或非法用途，需在24个小时之内从您的电脑中彻底删除上述内容，否则后果均由用户承担责任；如果您访问和下载此文件，表示您同意只将此文件用于参考、学习而非其他用途，否则一切后果请您自行承担，如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。