极市导读
本文提出一种卷积调制模块,利用卷积来建立关系,这比注意力机制在处理高分辨率图像时更高效,称为 Conv2Former。作者在 ImageNet 分类、目标检测和语义分割方面的实验也表明,Conv2Former 比以前基于 CNN 的模型和大多数基于 Transformer 的模型表现得更好。>>加入极市CV技术交流群,走在计算机视觉的最前沿
本文目录1 Conv2Former:Transformer 风格的卷积网络视觉基线模型1 Conv2Former:Transformer 风格的卷积网络视觉基线模型(来自南开大学,字节跳动)1.1 Conv2Former 论文解读1.1.1 背景和动机1.1.2 卷积调制模块1.1.3 Conv2Former 整体架构1.1.4 实验结果
(资料图片)
论文名称:Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
论文地址:https://arxiv.org/pdf/2211.11943.pdf
1.1.1 背景和动机以 VGGNet、Inception 系列和 ResNet 系列为代表的 2010-2020 年代的卷积神经网络 (ConvNets) 在多种视觉任务中取得了巨大的进展,它们的共同特点是顺序堆叠多个基本模块 (Basic Building Block),并采用金字塔结构 (pyramid network architecture),但是却忽略了显式建模全局上下文信息的重要性。SENet 模块系列模型突破了传统的 CNN 设计思路,将注意力机制引入到 CNN 中以捕获远程依赖,获得了更好的性能。
自从 2020 年以来,视觉 Transformer (ViTs) 进一步促进了视觉识别模型的发展,在 ImageNet 图像分类和下游任务上表现出比最先进的 ConvNets 更好的结果。这是因为与只进行局部建模的卷积操作相比,Transformer 中的自注意力机制能够对全局的成对依赖进行建模,提供了一种更有效的空间信息编码方法。然而,在处理高分辨率图像时,自注意力机制导致的计算成本是相当大的。
为了解决这个问题,一些 2022 年经典的工作试图回答:如何借助卷积操作,打造具有 Transformer 风格的卷积网络视觉基线模型?
比如 ConvNeXt[1]:将标准 ResNet 架构现代化,并使用与 Transformer 相似的设计和训练策略,ConvNeXt 可以比一些 Transformer 表现得更好。
从原理和代码详解FAIR去年的惊艳之作:全新的纯卷积模型ConvNeXt
再比如 HorNet[2]:通过建模高阶的相互作用,使得纯卷积模型可以做到像 Transformer 一样的二阶甚至更高的相互作用。
精度超越ConvNeXt的新CNN!HorNet:通过递归门控卷积实现高效高阶的空间信息交互
再比如 RepLKNet[3],SLaK[4]:通过 31×31 或者 51×51 的超大 Kernel 的卷积,使得纯卷积模型可以建模更远的距离。
又对ConvNets下手了!详解SLaK:从稀疏性的角度将卷积核扩展到 51×51
到目前为止,如何更有效地利用卷积来构建强大的 ConvNet 体系结构仍然是一个热门的研究课题。
1.1.2 卷积调制模块本文的关键就是本小节介绍的卷积调制模块。如下图1所示, 对于传统的 Self-attention, 给定一个序列长度为
式中,
为了简单起见,这里省略了 scale factor,自注意模块的计算复杂度随着序列长度N的增加呈二次增长,带来了更高的计算代价。
在卷积调制模块中, 不通过2式计算相似度得分矩阵
式中,
优势: 卷积调制模块利用卷积来建立关系,这比注意力机制在处理高分辨率图像时更高效。
ConvNeXt 表明,将 ConvNets 的核大小从3扩大到7可以提高分类性能。然而,进一步增加 Kernel 的大小几乎不会带来性能上的提升,反而会在没有重新参数化的情况下增加计算负担。但作者认为,使 ConvNeXt 从大于 7×7的 Kernel Size 中获益很少的原因是使用空间卷积的方式。对于 Conv2Former,当 Kernel Size 从 5×5 增加到 21×21 时,可以观察到一致的性能提升。这种现象不仅发生在 Conv2Former-T (82.8→83.4) 上,也发生在参数为80M+ 的 Conv2Former-B (84.1→84.5) 上。考虑到模型效率,默认的 Kernel Size 大小可以设置为 11×11。
权重策略的优化: 注意这里作者直接将深度卷积的输出作为权重,对线性投影后的特征进行调制。Hadamard 积之前既没有使用激活层,也没有使用归一化层 (例如 Sigmoid 或 LN 层),如果像 SE 模块那样加一个 Sigmoid 函数,会使性能降低 0.5% 以上。
1.1.3 Conv2Former 整体架构如下图3所示,与ConvNeXt 和 Swin Transformer 相似,作者的 Conv2Former 也采用了金字塔架构。总共有4个 Stage,每个 Stage 的特征分辨率依次递减。根据模型大小尺寸,一共设计了5个变体:Conv2Former-N,Conv2Former-T, Conv2Former-S, Conv2Former-B,Conv2Former-L。
当可学习参数数量固定时,如何安排网络的宽度和深度对模型性能有影响。原始的 ResNet-50 将每个 Stage 的块数设置为 (3,4,6,3)。ConvNeXt-T 按照 Swin-T 的模式将 Block 数之比更改为 (3,3,9,3),并对较大的模型将 Block 数之比更改为 (1,1,9,1)。Conv2Former 的设置如下图4所示。可以观察到,对于一个小模型 (参数小于30M),更深的网络表现更好。
ImageNet-1K 实验分为两种,一种是直接在 ImageNet-1K 上面训练和验证,另一种是先在 ImageNet-22K 上预训练,再在 ImageNet-1K 上微调和验证。
ImageNet-1K 实验设置
数据集:ImageNet-1K 训练 300 Epochs,ImageNet-1K 验证。
优化器: AdamW, lr
ImageNet-22K 实验设置
数据集:ImageNet-22K 预训练 90 Epochs,ImageNet-1K 微调 30 Epochs,ImageNet-1K 验证。
如下图5所示是 ImageNet-1K 实验结果。对于小型模型 (< 30M),与 ConvNeXt-T 和 Swin-T 相比,Conv2Former 分别有 1.1% 和 1.7% 的性能提升。即使 Conv2Former-N 只有 15M 参数和 2.2G FLOPs,其性能也与具有 28M 参数和 4.5G FLOPs 的 SwinT-T 相同。对于其他流行的模型,Conv2Former 也比类似模型尺寸的模型表现更好。Conv2Former-B 甚至比 EfficientNetB7 表现得更好 (84.4% vs . 84.3%),后者的计算量是 Conv2Former 的两倍 (37G vs. 15G)。
如下图6所示是 ImageNet-22K 的实验结果。作者遵循 ConvNeXt 中使用的设置来训练和微调模型。与 ConvNeXt 的不同变体相比,当模型尺寸相似时,Conv2Former 都表现得更好。此外,我们可以看到,当在更大的分辨率384×384 上进行微调时,Conv2Former-L 获得了比混合模型 (如 CoAtNet 和 MOAT) 更好的结果,Conv2Former-L 达到了 87.7% 的最佳结果。
如下图8所示是关于卷积核大小的消融实验结果。在 大小增加到 21 × 21 之前,性能增益似乎已经饱和。这个结果与 ConvNeXt 得出的结论截然不同,ConvNeXt 得出的结论是,使用大于 7×7 的 Kernel 不会带来明显的性能提升。
消融实验1:卷积核大小
如下图8所示是关于卷积核大小的消融实验结果。在 Kernel Size 增加到 21 × 21 之前,性能增益已经饱和。这个结果与 ConvNeXt 得出的结论截然不同,ConvNeXt 得出的结论是,使用大于 7×7 的 Kernel Size 不会带来明显的性能提升。这表明 Conv2Former 的做法能比传统方式更有效地利用大 Kernel 的优势。
消融实验2:不同融合策略的影响
如下图8, 9所示是关于不同融合策略影响的消融实验结果。除了上述两种融合策略外, 作者还尝试使用其他方法来融合特征映射, 包括在
直筒架构实验结果
遵循 ConvNeXt 的做法,作者也训练了 Conv2Former 的直筒架构 (Isotropic Models) 版本,结果如下图9所示。作者将 Conv2Former-IS 和 Conv2Former-IB 的块数设置为18,并调整通道数以匹配模型大小。字母 "I" 表示直筒架构,可以看到,对于 22M 参数左右的小型模型,Conv2Former-IS 比 DeiT-S 的表现要好得多。当将模型尺寸放大到 80M+ 时,Conv2Former-IB 达到了 82.7% 的 Top-1 Accuracy,这也比 ConvNeXt-IB 高 0.7%,比 DeiT-B 高0.9%。
目标检测实验结果
如下图10所示是不同骨干网络,以 Mask R-CNN 为检测头和 Cascade Mask R-CNN 为实例分割头在 COCO 数据集的实验结果。训练策略遵循 ConvNeXt。对于小模型,使用 Mask R-CNN 框架时,Conv2Former-T 比 SwinT-T 和 ConvNeXt-T 获得了约 2% AP 的改进。
语义分割实验结果
如下图11所示是不同骨干网络,以 UperNet 为分割头在 ADE20k 上的实验结果。对于不同尺度的模型,我们的Conv2Former可以优于Swin Transformer和ConvNeXt。
总结本文试图回答:如何借助卷积操作,打造具有 Transformer 风格的卷积网络视觉基线模型。本文提出一种卷积调制模块,利用卷积来建立关系,这比注意力机制在处理高分辨率图像时更高效。最终的模型称为 Conv2Former,它通过只使用卷积和 Hadamard 积,简化了注意力机制。卷积调制操作是一种利用大核卷积的更有效的方法。作者在 ImageNet 分类、目标检测和语义分割方面的实验也表明,Conv2Former 比以前基于 CNN 的模型和大多数基于 Transformer 的模型表现得更好。
参考
^A ConvNet for the 2020s^HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions^Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs^More ConvNets in the 2020s: Scaling up Kernels Beyond 51 × 51 using Sparsity公众号后台回复“CNN100”,获取100 篇 CNN 必读的经典论文资源下载
极市干货
技术干货:数据可视化必须注意的30个小技巧总结|如何高效实现矩阵乘?万文长字带你从CUDA初学者的角度入门实操教程:Nvidia Jetson TX2使用TensorRT部署yolov5s模型|基于YOLOV5的数据集标注&训练,Windows/Linux/Jetson Nano多平台部署全流程#极市平台签约作者#
科技猛兽
知乎:科技猛兽
清华大学自动化系19级硕士
研究领域:AI边缘计算 (Efficient AI with Tiny Resource):专注模型压缩,搜索,量化,加速,加法网络,以及它们与其他任务的结合,更好地服务于端侧设备。
作品精选
搞懂 Vision Transformer 原理和代码,看这篇技术综述就够了用Pytorch轻松实现28个视觉Transformer,开源库 timm 了解一下!(附代码解读)轻量高效!清华智能计算实验室开源基于PyTorch的视频 (图片) 去模糊框架SimDeblur投稿方式:添加小编微信Fengcall(微信号:fengcall19),备注:姓名-投稿△长按添加极市平台小编觉得有用麻烦给个在看啦~推荐内容
- 今日播报!聆达股份(300125)12月29日主
- 超越ConvNeXt!Transformer 风格的卷积
- 2022年福州市罗源县免费便民核酸采样点汇总
- 年终报道 | 2022,香港从xīn出发
- 西安西咸新区泾河新城人才交通补贴怎么领
- 【手慢无】卡西欧经典三盘六指针石英手表
- 世界热文:日本精工表示未来5年将实施300
- 形容同学上课认真听讲的优美句子_全球观
- 每日聚焦:做零食批发!你可以这样搞
- 新消息丨依米康12月28日快速反弹
- 天天看热讯:借购消费贷逾期22年不还会影
- 12月27日基金净值:浦银安盛双债增强债券
- 【环球速看料】永和股份(605020.SH):完
- 天津医药集团:“助力津门防疫 彰显津药
- 福建开展稳工招工抢开局“八闽春暖”活动
- 世界视点!傲农生物: 福建傲农生物科技
- 天天微资讯!华森制药:公司现有批件里有
- 2023-2028年中国高压往复泵行业市场深度
- 普京抨击西方试图“分裂”俄罗斯:他们总
- 【报资讯】嗨袋网逾期会不会起诉贷款人
- 【新要闻】吉林省委经济工作会议召开 强
- TCL科技(000100.SZ):TCL华星拟增加“星
- 大宏立:公司暂无股份回购计划
- 当前滚动:这个信号非常的重要!(附策略)
- 天天速读:青海超1.5万户企业获组合式税
- 股市今想20221222
- 翼龙贷网贷6万逾期暂时还不起会面临起诉吗
- 苏试试验: 关于提前赎回苏试转债的第四
- 彭博:明年全球经济增速放缓
- 匈牙利滑冰协会:同意刘少林和刘少昂更改
- 好的领域模型应该是什么样子?
- 特力A董秘回复:公司拥有较为丰富的物业
- 热点!Dance in the moment
- 唐源电气董秘回复:公司股价受多方因素影
- 放心借贷款逾期半年还不起征信有什么影响
- 【宪法宣传周】魏都检察学习宣传贯彻党的
- 不得了啦!追梦三分进球数超越乔丹 梦回2
- 吐哈油田多举措节电增效3600余万元
- 全球新消息丨动作游戏《战神》将拍摄真人
- 每日观察!本周盘点(12.12-12.16):祁连
- 银河证券:面板明年需求或有望触底回升
- 世界观点:3399元起!联想moto X40正式
- 国家统计局评价11月份经济形势:总体保持
- 信用证不可以贷款吗
- 韩国孤独死人数近五年增四成 世界最资讯
- “春之声”迎新年军民联欢晚会举行
- 天成自控(603085)12月13日主力资金净卖
- 世界视讯!喜报!亨通光电入选江苏服务型
- 中锐股份:12月12日获融资买入1770.53万
- 陶冬:中国经济拐点渐现,美国联储准备减
- 太湖之滨 海归小镇落无锡(走进海归小镇
- 热资讯!安全警示:布洛芬千万不要这样吃
- 深圳机场今年已恢复8条国际客运航线
- 孚能科技(688567)12月7日主力资金净买
- 股票行情快报:建设机械(600984)12月6
- 屏边苗族自治县持续优化营商环境 不断激
- 屏边苗族自治县持续优化营商环境 不断激
- 今年“清朗”系列专项行动处置账号13.4亿
- 见微知著 全球首台12色眼底相机亮相
- 江苏创新运用《多重身份认定表》 确保代
- 【新要闻】吉林省委经济工作会议召开 强
- TCL科技(000100.SZ):TCL华星拟增加“星
- 大宏立:公司暂无股份回购计划
- 当前滚动:这个信号非常的重要!(附策略)
- 天天速读:青海超1.5万户企业获组合式税
- 股市今想20221222
- 翼龙贷网贷6万逾期暂时还不起会面临起诉吗
- 苏试试验: 关于提前赎回苏试转债的第四
- 彭博:明年全球经济增速放缓
- 匈牙利滑冰协会:同意刘少林和刘少昂更改
- 好的领域模型应该是什么样子?
- 特力A董秘回复:公司拥有较为丰富的物业
- 热点!Dance in the moment
- 唐源电气董秘回复:公司股价受多方因素影
- 放心借贷款逾期半年还不起征信有什么影响
- 【宪法宣传周】魏都检察学习宣传贯彻党的
- 不得了啦!追梦三分进球数超越乔丹 梦回2
- 吐哈油田多举措节电增效3600余万元
- 全球新消息丨动作游戏《战神》将拍摄真人
- 每日观察!本周盘点(12.12-12.16):祁连
- 银河证券:面板明年需求或有望触底回升
- 世界观点:3399元起!联想moto X40正式
- 国家统计局评价11月份经济形势:总体保持
- 信用证不可以贷款吗
- 韩国孤独死人数近五年增四成 世界最资讯
- “春之声”迎新年军民联欢晚会举行
- 天成自控(603085)12月13日主力资金净卖
- 世界视讯!喜报!亨通光电入选江苏服务型
- 中锐股份:12月12日获融资买入1770.53万
- 陶冬:中国经济拐点渐现,美国联储准备减
- 太湖之滨 海归小镇落无锡(走进海归小镇
- 热资讯!安全警示:布洛芬千万不要这样吃
- 深圳机场今年已恢复8条国际客运航线
- 孚能科技(688567)12月7日主力资金净买
- 股票行情快报:建设机械(600984)12月6
- 屏边苗族自治县持续优化营商环境 不断激
- 屏边苗族自治县持续优化营商环境 不断激
- 今年“清朗”系列专项行动处置账号13.4亿
- 见微知著 全球首台12色眼底相机亮相
- 江苏创新运用《多重身份认定表》 确保代
- 新发现!新疆发现新矿物镁高铁角闪石 高
- 北斗铁路行业综合应用示范工程项目成功通
- 江苏常州构建全方位立体化公共安全网 筑
- 浙江省新冠病毒抗原检测试剂注册申请 获
- 总投资147.73亿元 国家电网今年首批抽水
- 针灸也能治疗新冠肺炎?张伯礼、刘保延教
- 美国纯电汽车市场扩大 特斯拉占据近四分
- 续航更长 Rivian计划在全系电动汽车中全
- 刚刚涨价的特斯拉 又在交付策略上搞事情
- 美国明确无人车乘员保护标准 自动驾驶不
- 总投资超2万亿韩元 韩国电动汽车电池制
- 汽油价格暴涨后 特斯拉在美国订单激增
- 理想L9内饰图曝光 新车续航可达1200km
- 美国华盛顿州通过法案 禁止在2030年销售
- 由于俄乌冲突导致美国油价飙升 特斯拉订
- 从寡头公司采购数百万欧元铝 特斯拉与俄
- 大众汽车发出警告 2022年增长前景或受影响
- 大众集团发布2021年财务数据 销量同比下
- 现代汽车在印度尼西亚工厂生产电动汽车
- 阿斯顿马丁将与Britishvolt合作 开发电