这篇是发表在ECCV2020的文章《Dynamic Convolution: Attention over Convolution Kernels》，作者是微软研究院的Yinpeng Chen、Zicheng Liu等人。

文章为了增加网络的表示复杂性，针对不同的输入样本动态使用不同的卷积核，虽然整个网络计算量不会发生变化，但是网络的复杂性得到提升。

方法

Dynamic Convolution

• Attention：使用和SE block一样的Global Avg Pool+FC+Softmax的方法
• Kernel Aggregation：卷积的weight是由多个weight加权得到

Insight

• Attention的加和为1
• 在早期训练的epochs里面，用的是接近均值的Attention
• 这两点是和以前的方法最大的不同

实验

• ImageNet
  • Each layer has K = 4 convolution kernels
  • DY-ResNet-18
    • 42.7M 1.85G 72.7(提升2.3) (origin 11.1M 1.81G 70.4)
  • DY-MobileNetV2 x1.0
    • 11M Param 312.9M MAC 75.2% top1 (origin 300M 72%)
  • DY-MobileNetV3-Small
    • 4.8M 68.5M 70.3(2.9) (origin 2.9M 66.0M 67.4)
• COCO 2017 single-person keypoint detection
  • Backbone和head都dynamic AP提到62.8(3.6)
  • 仅Backbone dynamic AP 62.3
  • 仅Head dynamic AP 60.3(1.1)

总结

Kernel级别的Dynamic，不一定要减计算量，增加性能也是另一个方向。

这篇是发表在CVPR2020的论文《Resolution Adaptive Networks for Efficient Inference》，清华黄高老师组的最新Adaptive的成果，第一作者是Le Yang, Yizeng Han和Xi Chen。

这篇论文对MSDNet进行了改进，提出了RANet，先以低分辨率feature maps输入一个神经网络进行计算，再使用高分辨率feature maps输入一个神经网络进行计算。低分辨率图像就足够分类简单样本了，然后再使用高分辨率的feature maps处理复杂样本。

方法

网络结构设计

• 用steam的几个conv生成不同resolution的初始特征
  • 第一个特征通过Regular-Conv层产生，后面的特征通过Strided-Conv层产生
• 最小的resolution特征上进行分类
• 更高resolution使用Fusion Blocks来融合自Sub-network的特征
  • 一种为图3b的保持特征图大小
  • 另一种为图3c的降低特征图大小
  • 上采样使用Up-Conv(Regular-Conv+Bilinear interpolation)
• TODO: 具体组织形式看代码

训练

• loss function采用weighted cumulative loss，文章里用相同weight
• train集合分出一个validation集合来进行threshold的搜索，但训练还是在整个train集合上训练的

结果

• Anytime Prediction
  • 任意一个sample都小于computation budget
  • RANets好于ResNet ensemble，是因为它是专门为simple samples设计的
• Batch Budget Prediction
  • 好于MSDNet

可视化

• 高低分辨率可能的原因
  • 同一图片多物体
  • 小物体
  • 没有明显特征
    • 从low-frequency和high-frequency的角度解释

总结

这篇论文改进了MSDNet，有更高的性能，并且讨论了可能的原因。

这篇是发表在ICLR 2020的《Once-for-all: train one network and specialize it for efficient deployment》，作者是MIT的韩松团队，第一作者是Han Cai。

为了解决在不同设备和限制条件下神经网络高效推理的问题，一般会使用Hardware aware的NAS。作者提出使用一个once-for-all的网络，能够解耦训练和搜索过程，通过一次训练一个超大网络，再从中搜索子网络来得到限制条件下最高的性能。

方法

大网络设计(搜索空间)

• 多个units，每个unit里面是多层，只有第一层是stride=2
• 每个unit
  • elastic layers: 任意数量的layers {2,3,4}
  • elastic width: 任意数量的channels: expansion ratio{3,4,6}
  • elastic kernel size: 任意kernel size {3,5,7}
• 网络数目$((3 × 3)^2 + (3 × 3)^3 + (3 × 3)^4)^5 ≈ 2 × 10^19$
  • 5个Unit，最外是5次方
  • 每个unit里面可以选择2,3,4三种block数量（幂次），加起来
  • 每个layer可以3种kernel size选择，3种width选择，所以是3x3
  • 另外，resolution还有25种可能

大网络训练

• sample各种配置的网络联合训练
• Progressive Shrinking
  • resolution: sample 128-224大小的输入，全部训练过程都有
  • 首先用最大的layers width kernel size训练，慢慢把不同配置加入sample池子
    • 子网络的loss使用knowledge distillation
  • width:大网络挑选L1最大的，作为子网络的initial，慢慢加入sample池
  • depth: 取前n层
  • kernel size: 7x7的center乘以一个变换矩阵得到子矩阵

搜索

• sample 16K个网络，在10K个image上训练accuracy predictor
  • neural network twins
    • 3层，每层有400个hidden units
    • 输入是one-hot vector based on kernel size, input size and expand ratio，如果是skipped就zero vector
• evolutionary search
  • 优化目标accuracy/latency

结果

• ImageNet
  • OFA 76% acc, 230M MAC
  • OFA finetune#25epochs 76.4% 230M MAC
  • OFA finetune#75epochs 76.9% 230M
  • 比Mnasnet的74% 317M MAC好
  • 比MobileNet V3-Large的75.2% 219M MAC好
  • 训练时间为1200GPU hours
• 在Samsung S7 Note8/10 Pixel1/2测试
• 在1080Ti CPU TX2 ZU9EG FPGA ZU3EG上测试
• FPGA经验
  • memory access是expensive的，computation是cheap的
  • 通过OPs/Byte来作为一个指标

总结

once-for-all的思路是weight sharing的一个扩展，亮点在于graph不是predefine的，而是online generate的，借用了一些pruning的技术。有一个sharing的趋势吧，应该能做更多东西出来。

这篇是发表在NIPS2018的论文《FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network》，论文作者是微软印度研究院的Aditya Kusupati和德里印度理工学院、伯克利大学。

论文对带residual connection的FastRNN进行分析，理论证明FastRNN能有很好的训练收敛性能（解决梯度消失和梯度爆炸的能力）。另外提出了它的改进版本FastGRNN，增加可学习参数提升性能，通过weight复用、low-ranking、sparse和quantization减少参数和加速计算。

方法

FastRNN

• 正常RNN$h_t=tanh(Wx_t+Uh_{t-1}+b)$变为下面
• $\tilde{h_t}=\sigma(Wx_t+Uh_{t-1}+b)$
• $h_{t}=\alpha\tilde{h_t}+\beta h_{t-1}$
  • 一般$\alpha<<1 \beta\approx 1-\alpha$
  • 都是可学习参数
  • 把当前算出来的$\tilde{h_t}$和之前的$h_{t-1}$结合

FastRNN解决病态gradients的证明

• 没仔细看
• Notation
  • T是RNN的timestep
• Convergence Bound
  • 最大的iterations被bound在O(\frac{\alpha T}{\epsilon^2} \dot poly(L(\theta_0),R_W R_U R_v,\bar{D}))，当$\alpha=O(1/T)$
• Generalization Error Bound
  • Generalization error和T无关

FastGRNN

• 使用Gated模型并增加一个可学习参数提升准确性
  • $z_t=\sigma(Wx_t+Uh_{t-1}+b_z)$
  • $\tilde{h_t}=tanh(Wx_t+Uh_{t-1}+b_h))$
  • $h_t=(\zeta(1-z_t)+v)\odot \tilde{h_t}+z_t\odot h_{t-1}$
  • 注意：W和U参数共享

压缩

• Sparse low-rank
  • $W=W^1(W^2)^T,U=U^1(U^2)^T, ||W^i||_0\le s_w^i, ||U^i||_0\le s_u^i$
  • $W^i$是$R^{D\times r_w}$
  • $U^i$是$R^{D\times r_u}$
• Byte Quantization
  • piecewise-linear approximation of the non-linear functions训练
  • 解决1.accuracy loss 2.非线性操作要转化成float算

训练

1. 训练low-rank
   • 直接训练W1 W2的形式
2. 训练
   • Iterative Hard Threshold(IHT)
3. 固定支持参数{W,U}训练

实验

• 语音唤醒任务
• PTB
• Pixel-MNIST
• 结果
  • 直接用FastGRNN可以200KB->57KB，保持精度，减少一倍训练时间
  • 使用LSQ压缩后，57KB->5.5KB
  • 只是用LS压缩，大概22KB，Q压缩减少4倍数据

总结

FastRNN理论证明部分虽然看不懂，但是深度学习理论的魅力所在，从理论上分析才是正确的道路，不能瞎搞。FastGRNN压缩网络把RNN压缩了很多，改动不是很大，LSQ都是以前的方法，但是效果不错。