论文笔记 《Slimmable Neural Networks》

这篇文章是发表在ICLR2019的《Slimmable Neural Networks》,作者是UIUC的 Jiahui Yu。属于Thomas Huang(黄煦涛)组,Thomas Huang是华人计算机视觉宗师之一,已于2020年4月25日去世。

这篇文章提出了使用一种能以不同网络宽度来前向预测的网络训练方法,可以适用于不同的准确率-计算量的tradeoff场景。作者认为BN层的统计差异是不同width的差异,因此提出了一种可切换BN。

方法

Naive的训练方法

  • 直接训练一个shared weight的网络,存在inconsistency的问题
  • 使用incremental的方法训练,没有联合适应性,准确率低

Switchable BN

  • 每个BN层对于不同的width使用不同的参数

训练

  • 每个iteration,在不同的width前向反向,加和gradient做update

实验

  • MobileNet ShuffleNet ResNet-50 4个width ImageNet
    • 和Individual比起来,基本不掉点,MobileNet V1 还增点
  • Faster Detection, Mask detection
    • AP全都增长
  • Top-activated Images Visualization
    • 相同的channel在不同的width中扮演相同的角色
  • BN层的值
    • 浅层几乎一样,深层不一样
    • 不同的features可能有不同的语义特征(在高层)

总结

BN层的问题在这里详细讨论了,后悔之前做ENAS4D的时候没有看这篇论文。
不同的features在不同width网络中扮演的角色的讨论很有意思,可以更详细的分析。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×