论文

2017-ICCV-Learning Efficient Convolutional Networks through Network Slimming

研究方向

剪枝相关

具体内容

摘要

提出了一种新的对深度神经网络（CNNs）的剪枝方案，在剪枝前对卷积通道进行稀疏训练，达成了以下效果

• 减少了模型大小
• 减少了模型运行时的内存占用
• 在不影响精度的情况下减少了计算量

稀疏训练具体做了什么：对BN层的缩放因子参数进行L1正则化，再进行训练

相关知识介绍

剪枝属于模型压缩的一种。模型压缩可大致分为四种，分别是：知识蒸馏（教师——学生模型）、剪枝、低秩近似以及量化。

剪枝可分为结构化剪枝和非结构化剪枝、软剪枝以及硬剪枝。

非结构剪枝

就是将将满足某些条件的权重值置为0

结构化剪枝

简单来说，就是结构化的修剪网络。可分为滤波器剪枝、通道剪枝、层剪枝，一般使用的都是通道级剪枝。与非结构化零散的置零不同，结构化是成片的剪枝，例如通道剪枝，就是将网络模块整个通道置零或者直接剪掉。

软剪枝

就是权重直接填0的剪枝，不改变原始的网络结构

硬剪枝

直接修剪的剪枝，会改变原始的网络结构，一般进行的都是通道级剪枝

剪枝流程

• 训练——剪枝——训练
• 训练——剪枝——微调

该文加入了稀疏训练，稀疏训练会放在第一次训练和剪枝之间。