MnasNet：NAS 自动架构搜索
输入“/”快速插入内容
MnasNet：NAS 自动架构搜索
MnasNet：NAS 自动架构搜索
飞书用户90719月4日修改
【置顶必看】k学长的深度宝典
Tan_MnasNet_Platform-Aware_Neural_Architecture_Search_for_Mobile_CVPR_2019_paper.pdf
Tan_MnasNet_Platform-Aware_Neural_Architecture_Search_for_Mobile_CVPR_2019_paper_translated.pdf
1.
研究背景和动机（MnasNet）
我们先回顾一下背景：
1.
以前的做法（人工 + 理论指标）
•
在 MobileNet、ShuffleNet 之前，网络基本靠 人类专家拍脑袋设计：
◦
用什么卷积？
◦
每层多少通道？
◦
多深？
•
改进方向主要看 FLOPs（理论计算量），但这有个大坑：
◦
FLOPs 低 ≠ 手机上跑得快。
◦
因为硬件（手机 CPU/GPU）有内存访问瓶颈，导致一些理论轻量的模型，实际并不快。
👉 举例：MobileNet v2 FLOPs 比较少，但在手机上推理并没有预期那么快。
如果一味减小网络，速度快了但精度掉太多；如果一味加深网络，精度提高了但速度变慢。
MnasNet 的核心动机就是：
•
用自动化的神经网络结构搜索（NAS）方法，帮我们在“速度—精度”之间找到最优平衡，而且是真正针对具体硬件（比如手机 CPU）来优化的。
•
2.
MnasNet 的核心创新
具体方法叫 平台感知的神经架构搜索（Platform-Aware NAS）。
•
它的主要特点：
a.
不是人手工设计，而是让 AI（强化学习控制器）自动生成模型结构。
b.
不是光看 FLOPs，而是直接在真手机上跑，测出每个候选模型的 真实延迟（Latency）。
c.
最后选择 精度高 + 延迟低 的模型，而不是单一优化。
3、MnasNet 的网络结构
传统 NAS（神经网络搜索）就像 在整个工厂里，每一台机器都要重新挑选（卷积方式、卷积核大小、是否加注意力…）。
👉 问题：搜索空间巨大，计算成本爆炸。
🚀 MnasNet 的新思路：分解层次搜索
MnasNet 说：别傻傻地在每个小零件上都重新选，我们 按车间（Block）来分工，让搜索更聪明！