9.3 网络架构搜索
- 神经网络不同的超参数
- 先确定拓扑结构:resnet,mobilenet
- 再确定个体的层:卷积的核大小,卷积层的通道数,全连接层的输出维度
- NAS自动化设计神经网络
- 如何具体化神经网络的搜索空间
- 如何遍历搜索空间
- 性能估计——判断神经网络好坏
- 方法
- one-shot NAS
- 可微的架构

- 确定一个架构,比如resnet,C1C2C3表示子网络,每次遍历一条路径,C1C2C3共享权重,因此走到最后实际上只需要训练一次超级网络
- 可微的架构
- scaling CNN
- 方法
- 用更深的层
- 用更多的输出通道
- 用分辨率更高的输入图片
- efficient net:三者同时改变
- 方法
- one-shot NAS
- 总结
- NAS搜寻一个神经网络架构来满足一个定制化的目标——最大化准确度或者满足移动设备对于延迟的要求,在一个特定硬件设备上
- NAS的两种方法
- Scaling CNN
- 可微的one-hot编码