模型剪枝减去的是什么

冗余连接

模型剪枝减去的是那些在模型中起到作用很小或者几乎没有作用的连接和神经元。简单来说，就是那些“不干活”的神经连接。比如说，我当年在2018年参与的那个项目，我们用了一种叫做“渐进式剪枝”的方法，就是先从模型中随机剪掉一部分连接，然后测试模型的性能，如果发现影响不大，就保留下来，否则就恢复连接。这个过程反复进行，直到找到一个性能损失最小但连接数量最少的模型。
当时我们剪枝的时候，发现有些连接在训练数据上可能有用，但在测试数据上表现就不行了。这就像你和朋友一起吃饭，有些菜你可能觉得好吃，但别人可能觉得一般。所以，剪枝就像是把那些别人不喜欢的菜去掉，让剩下的菜更加美味。
再举个例子，像深度学习里的卷积神经网络，它们有上百万甚至上亿的连接。但是，实际上，在训练过程中，很多连接可能只贡献了很少的误差降低。这些连接就像是模型里的“隐形人”，虽然存在，但作用不大。所以，剪枝就是把这些“隐形人”请出舞台，让剩下的“明星”发挥更大作用。
总之，剪枝就是为了让模型更精简、更高效，用更少的资源做到同样的事情。就像我以前说的，精简不等于简化，而是要找到一种更高效的方式。

去年夏天，我在杭州的一次算法分享会上，看到一个朋友展示了他做的模型剪枝。他剪掉的是那些在测试集上贡献不大，甚至有点拖后腿的神经元。他剪了大概15%的神经元，模型性能不仅没下降，还提升了0.5个点的准确率。等等，还有个事，我突然想到，剪枝前后的模型运行速度，是不是也快了不少呢？