ResNeXt：分组卷积
输入“/”快速插入内容
ResNeXt：分组卷积
ResNeXt：分组卷积
飞书用户90719月2日修改
【置顶必看】k学长的深度宝典
1611.05431v2.pdf
1611.05431v2_translated.pdf
1、研究背景和动机
（1）深度学习的发展瓶颈
•
在 ResNet（2015） 成功后，大家发现“加深网络”确实能提升性能，但同时也带来问题：
◦
计算量急剧增加（ResNet-152 参数量和 FLOPs 都很大）。
◦
设计复杂，手工调节卷积核大小、层数、结构很麻烦。
•
动机：能不能有一种更简洁的方法，在不显著增加参数量的情况下提高模型性能？
（2）维度扩展的困境
•
提升模型能力的常规做法有三类：
a.
加深（Depth）：堆叠更多层（ResNet 的做法）。
b.
加宽（Width）：增加每层的通道数（Wide ResNet 的做法）。
c.
加复杂度（Filter size, 多分支结构）：像 Inception 那样，手工设计不同路径的卷积组合。
•
但是：
◦
深度太大会导致训练难度和梯度问题。
◦
宽度太大会导致参数暴涨，容易过拟合。
◦
Inception 风格的多分支结构，虽然高效，但设计高度依赖人工经验，不够通用。
（3）引入“基数（Cardinality）”的新维度
•
ResNeXt 提出：除了深度和宽度，还可以通过 基数（cardinality，即分支数） 来扩展网络能力。
•
核心思想：把一个大的卷积操作，拆成若干个并行的小分支（组卷积），再把它们聚合。
•
好处：
◦
在相同计算量和参数量下，增加基数比单纯加深或加宽更有效。
◦
结构简单，统一为“split-transform-merge”模式，比 Inception 更优雅、更通用。
比喻：
•
原来只有“深挖一口井”（深度）或者“挖更宽的井口”（宽度）。
•
ResNeXt 的做法是：派更多工人（分支/基数），同时挖很多小井，再把结果汇总。这样效率更高，而且成本不增加。
2、ResNeXt 的创新点
（1）提出“基数（Cardinality）”的新维度
•
ResNeXt 发现：在相同参数量和计算量下，增加基数比单纯加深或加宽更有效。
（2）统一简洁的 Split-Transform-Merge 框架
•
Inception 系列虽然强大，但需要人工设计不同的卷积分支，结构复杂。