9.3 网络架构搜索
- 神经网络不同的超参数
- 先确定拓扑结构：resnet，mobilenet
- 再确定个体的层：卷积的核大小，卷积层的通道数，全连接层的输出维度
- NAS自动化设计神经网络
- 如何具体化神经网络的搜索空间
- 如何遍历搜索空间
- 性能估计——判断神经网络好坏
- 方法
- one-shot NAS
- 可微的架构
- 确定一个架构，比如resnet，C1C2C3表示子网络，每次遍历一条路径，C1C2C3共享权重，因此走到最后实际上只需要训练一次超级网络
- 可微的架构
- scaling CNN
- 方法
- 用更深的层
- 用更多的输出通道
- 用分辨率更高的输入图片
- efficient net：三者同时改变
- 方法
- one-shot NAS
- 总结
- NAS搜寻一个神经网络架构来满足一个定制化的目标——最大化准确度或者满足移动设备对于延迟的要求，在一个特定硬件设备上
- NAS的两种方法
- Scaling CNN
- 可微的one-hot编码