聊聊大模型的微调实现及其应用

转载请备注出处: https://www.cnblogs.com/zhiyong-ITNote

微调框架概述

模型的微调有多种方式，对于入门的来说，一般都是基于官方的文档微调；最近发现很多开源库，其目的就是支持应用多种微调策略来微调模型，简化模型的微调门槛。比如 ChatGLM-Efficient-Tuning、LLaMA-Factory。其架构逻辑如下：

最近试玩了这两个框架，个人觉得蛮好的，先不说实际的调试效果，这取决于多种因素，总的来说还是很方便快捷的。方便快捷的基于多种微调策略调试LLM；同时支持多种数据集类型。

LLaMA-Factory

这个开源库相比较其余的库，更全面，更方便。有如下几点我是比较喜欢的。

训练方法
1. 如图，多种训练方法都支持，很全面。不过这里的预训练，我理解为是增量预训练；即准备大量的文本数据训练。
2. 支持全参数、部分参数、LoRA等策略微调。
3. 降低门槛，一键训练。对于学习来说，可以增加知识面及使用。

数据集
1. 支持多种数据集：增量预训练数据集、指令微调数据集、偏好数据集；在官方文档都是有说明的。
2. 每次微调前，我都需要斟酌数据集的准备、格式等；但开源库已经准备的很齐全而且各种场景的数据格式都有，直接参考即可；比如单轮对话、多轮对话、指令格式等等。这就极大的方便了数据集的准备。
其它
1. 当然还有分布式训练、web界面操作等等

ChatGLM-Finetuning

Finetuning 是专门基于GLM系列的微调库，我个人也试用，还是很方便快速的，而且文档比较清晰，只是在部署时比较简陋，但对于要学习了解微调及LLM一些原理来说，还是很适合入门钻研的。

应用

目前绝大多数的大模型都是基于基座模型(GLM、QWen、LlaMa、BaiChuan)等微调训练而来，不过实现的逻辑却是有多种，要么基于官方的微调文档，要么基于开源微调库实现。CareGPT 就是基于开源微调库LLaMA-Factory实现的医疗领域大模型。其架构设计如下：

在其架构设计中，有两个部分比较值得关注：

微调框架的集成
1. 通过集成了微调框架，调用底层具备的能力，准备多种格式的数据集微调模型。
数据开放
1. 基于开源医疗数据集，准备增量预训练预料、指令监督预料、SFT预料等等；扩充基座模型的领域知识能力。

总结

基于个人使用及学习的角度，介绍了微调框架的概述及其应用。在这里面的道道还是蛮多的，有一定的大模型知识再基于这些库去做参考去做应用，将极大的降低LLM的应用门槛。更有甚者可以了解底层的实现逻辑。

转载请备注出处: https://www.cnblogs.com/zhiyong-ITNote

首发于个人公众号

玄机博客

1.本站内容仅供参考，不作为任何法律依据。用户在使用本站内容时，应自行判断其真实性、准确性和完整性，并承担相应风险。

2.本站部分内容来源于互联网，仅用于交流学习研究知识，若侵犯了您的合法权益，请及时邮件或站内私信与本站联系，我们将尽快予以处理。

3.本文采用知识共享署名4.0国际许可协议 [BY-NC-SA] 进行授权

4.根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理，通过安装、显示、传输或者存储软件等方式使用软件的，可以不经软件著作权人许可，不向其支付报酬。”您需知晓本站所有内容资源均来源于网络，仅供用户交流学习与研究使用，版权归属原版权方所有，版权争议与本站无关，用户本人下载后不能用作商业或非法用途，需在24个小时之内从您的电脑中彻底删除上述内容，否则后果均由用户承担责任；如果您访问和下载此文件，表示您同意只将此文件用于参考、学习而非其他用途，否则一切后果请您自行承担，如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。