报错ValueError: Can’t find ‘adapter_config.json’

前言

在做组内2030项目时,我具体做的一个工作是对大模型进行LoRA微调,在整个过程中有许多坑,其中有些值得记录的问题,于是便产生了这篇博客。

问题

我在得到微调好的模型后,需要对模型进行性能测评。在加载模型时,遇到如下报错

ValueError: Can't find 'adapter_config.json'

补充:报错截图忘截了,但关键报错信息如上。

解决方法

这个问题我找了几种解决方法都没用,看到朋友进行微调生成的模型能够成功评测,才明白原来是微调后的模型文件不完整的原因啊~T_T

下面是可以进行成功加载并进行评测的模型文件构成:

下面是我微调后不能成功加载的模型文件构成:

两相对比,发现缺少了文件名以adapter开头的两个文件。

在确保我和朋友代码一样的情况下,对比了我和他环境中安装的包,结果发现我的transformers版本号为4.29.2,他的transformers版本号为4.31.0

于是使用如下命令重新安装transformers,再次微调训练模型,可以发现模型文件便完整了。_

pip install transformers==4.31.0
千百度
© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容