MobileNet v2：倒残差结构

飞书用户9071

9月4日修改

【置顶必看】k学长的深度宝典

1、研究背景和动机

1.
背景：轻量化卷积网络的持续发展​

深度学习模型越来越大，效果越来越好（比如 ResNet、Inception），但是：​

•
在移动端/嵌入式设备：算力有限，内存小，模型必须小巧、速度快。​

•
挑战：如何在“小模型”里还能保留“大模型”的表达能力？​

于是出现了三条主要探索路线：

📍 (a) NASNet（2017）

•
思路：让 AI 自己搜索网络结构（Neural Architecture Search，NAS）。​

•
特点：结构复杂，像一个“超级工厂”，分很多工位（normal cell、reduction cell）。​

•
问题：虽然效果好，但太大太复杂，不适合移动端。​

📍 (b) MobileNet v1（2017）

•
思路：用 Depthwise + Pointwise 卷积 分解普通卷积，极大减少计算量。​

•
类比：把一个大工厂切分成流水线（深度可分离卷积），每个人只做一件事。​

•
问题：虽然很快，但表达能力不足，信息损失严重，精度比 ResNet/Inception 低。​

📍 (c) ShuffleNet v1（2017）

•
思路：发现 1×1 卷积计算量大，于是用 分组卷积（Group Conv）+ 通道打乱（Channel Shuffle） 进一步加速。​

•
类比：分工更细，每个小组只负责部分任务，再通过“洗牌”打乱重组，保证信息流动。​

MobileNet v2：倒残差结构​