SAM适配下游任务的探究：SAM Adapter

本文分享自华为云社区《SAM适配下游任务的探究：SAM Adapter》，作者：Hint。

近期大模型的涌现给AI研究带来显著的发展，META的工作Segment Anything（SAM），就是其中一个为图像分割任务设计的基础大模型。SAM是一种交互型的图像分割大模型，通过提供的prompt如点、框、文本描述等粗略的提示，就可以分割出图像中指定的目标，其demo的效果十分惊艳。然而在某些特殊场景的图片上并不会带来如此惊艳的效果，可能是由训练数据的差异性导致，比如阴影检测、伪装目标检测。但SAM强大的分割能力依然可以作为我们微调模型的基础，更好地为下游任务服务。

本文介绍的方法SAM Adapter[2]，设计了一个Adapter模，它可以在不微调SAM网络的情况下，通过简单而有效的适配器，将领域特定的信息或视觉提示注入到分割网络中，从而提高SAM在特定任务上的性能。该论文在多个任务和数据集上进行了广泛的实验，包括ISTD阴影检测数据集、COD10K、CHAMELEON和CAMO伪装物体检测数据集，以及kvasir-SEG息肉分割（医学图像分割）数据集。实验结果表明，SAM-Adapter不仅显著提升了SAM的性能，而且在这些任务上达到了最先进的水平。

如上图所示，该模型使用了SAM的Image Encoder和Masked Decoder，其中Image Encoder冻结了参数，Decoder是参与梯度回传的。这样可以有效利用SAM已经预训练好的分割能力，同时Decoder更新参数以适配下游任务。此外作者引入了Adaptor模块，用于引入特殊任务的知识，辅助微调模型。Adaptor的网络结构仅有两层MLP层构成，其输入的知识可以是多种多样的，对于文中的任务，其输入可以是纹理信息或者是频率信息等。各种信息用下面的权重来均衡。

作者在多个数据集上进行实验，从以下的实验结果来看，该方法的性能在下游任务中达到SOTA效果，相比原始的SAM提升效果显著，作者也证明了Adaptor模块的有效性。

[1]Kirillov A, Mintun E, Ravi N, et al. Segment anything[J]. arXiv preprint arXiv:2304.02643, 2023.

[2]Chen T, Zhu L, Ding C, et al. SAM Fails to Segment Anything?–SAM-Adapter: Adapting SAM in Underperformed Scenes: Camouflage, Shadow, and More[J]. arXiv preprint arXiv:2304.09148, 2023.

点击关注，第一时间了解华为云新鲜技术~

千百度

1.本站内容仅供参考，不作为任何法律依据。用户在使用本站内容时，应自行判断其真实性、准确性和完整性，并承担相应风险。

2.本站部分内容来源于互联网，仅用于交流学习研究知识，若侵犯了您的合法权益，请及时邮件或站内私信与本站联系，我们将尽快予以处理。

3.本文采用知识共享署名4.0国际许可协议 [BY-NC-SA] 进行授权

4.根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理，通过安装、显示、传输或者存储软件等方式使用软件的，可以不经软件著作权人许可，不向其支付报酬。”您需知晓本站所有内容资源均来源于网络，仅供用户交流学习与研究使用，版权归属原版权方所有，版权争议与本站无关，用户本人下载后不能用作商业或非法用途，需在24个小时之内从您的电脑中彻底删除上述内容，否则后果均由用户承担责任；如果您访问和下载此文件，表示您同意只将此文件用于参考、学习而非其他用途，否则一切后果请您自行承担，如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。