马萨诸塞大学自然语言处理进阶课程 | 模型蒸馏和抽取

马萨诸塞大学自然语言处理进阶课程介绍了模型蒸馏和抽取的概念。模型蒸馏是通过使用预训练的大模型来训练一个较小的模型，以减少模型的大小并保持性能。模型抽取是指攻击者通过查询预训练模型来窃取模型的信息。视频还介绍了模型蒸馏和抽取的一些实际应用和挑战。

模型压缩的方法：马萨诸塞大学自然语言处理进阶课程讨论了模型压缩的方法，即通过知识蒸馏来生成更小的模型。提出了模型压缩的原因是为了降低模型的延迟，提高推理效率。通过减少模型的层数和参数量，可以减少计算量和内存占用，进而提高模型的性能和内存效率。然而，大模型通常具有更好的性能，因此需要在模型大小和性能之间进行权衡。知识蒸馏方法通过使用一个大模型（称为老师模型）来训练一个小模型（称为学生模型），实现在模型大小较小的情况下保持性能。

知识蒸馏的过程：在马萨诸塞大学自然语言处理进阶课程中，介绍了知识蒸馏的过程。首先，有一个大模型作为教师模型，通过输入带有掩码的文本，预测缺失的单词。然后，预测的概率分布被视为软目标，用于训练一个更小的学生模型。学生模型通过输入同样的掩码文本，预测概率分布。通过这种方式，学生模型可以模仿教师模型的预测能力。这种方法可以使得模型更小、运行更快，同时保持较高的性能。

知识提炼的过程和原理：马萨诸塞大学自然语言处理进阶课程中介绍了知识提炼的过程和原理。通过使用软目标和硬目标的组合训练，可以将预训练的大型模型转化为小型模型。软目标是使用教师模型产生的概率分布，以整个词汇表作为训练目标；而硬目标则是只关注正确的单个词。这种方法可以在硬件限制下训练小型模型，同时保持高精度。

蒸馏方法训练较小模型的好处：马萨诸塞大学自然语言处理进阶课程讨论了使用蒸馏方法训练较小模型的好处。蒸馏可以使模型更高效，减少计算资源的使用，并且能够提供比硬目标更多的信息。软目标的预测分布比单个硬目标更具信息量，能够帮助模型更好地理解上下文。在训练学生模型时，通过教师模型生成软目标分布进行训练，可以提高模型的性能。这种蒸馏方法在减少成本和提高模型效率方面具有广泛的应用潜力。

模型蒸馏的概念：在马萨诸塞大学自然语言处理进阶课程中，讲解了关于模型蒸馏的概念。模型蒸馏是指用一个小而简单的模型来学习一个大模型的知识。通过对比大模型和小模型的表现，发现尽管小模型的准确率较低，但在某些任务上表现得比较好。此外，还介绍了一种名为tiny bird的模型，它在蒸馏过程中不仅蒸馏词汇，还蒸馏隐藏状态和注意力矩阵。最后，还讨论了从头开始训练小模型的方法，并发现在某些情况下，这种方法的表现也不错。

提高小模型性能的蒸馏方法：马萨诸塞大学自然语言处理进阶课程介绍了一种蒸馏方法，通过预训练和蒸馏来提高小模型的性能。通过将小模型从头开始训练，然后使用教师模型的软目标进行微调，可以使小模型的预测分布更接近于教师模型，并显著提升性能。这种方法在不同任务上都表现出色，并且比直接从头开始训练的方法更有效。

使用硬目标对收敛进行预训练：马萨诸塞大学自然语言处理进阶课程介绍了使用硬目标对收敛进行预训练，并通过一个小模型的实验结果来说明具有良好的初始参数集对模型的影响。同时，还讨论了如果学生模型比老师模型更好的情况，以及最近在机器学习社区中出现的彩票假设。该假设认为，随机初始化的神经网络中包含一些子网络，可以在单独训练时达到与原始网络相同的性能。该假设对随机初始化的重要性进行了探讨，并介绍了一种通过修剪网络参数来获得更小模型的方法。这些内容都提供了关于模型训练和优化的重要见解。

提高BERT基础模型效率的修剪策略：马萨诸塞大学自然语言处理进阶课程介绍了使用修剪策略来提高BERT基础模型的效率。通过在模型中修剪参数，可以实现稀疏性，从而减少计算量。实验结果显示，这种修剪方法可以在保持模型性能的同时，显著提高模型的速度。此外，视频还提到了使用梯度方法来选择修剪参数的可能性，并讨论了与蒸馏过程和安全漏洞相关的话题。

模型提取攻击的方法：马萨诸塞大学自然语言处理进阶课程讲述了一种被称为模型提取攻击的方法，可以通过对受害者模型进行查询来提取模型。攻击者可以提交一些无意义的查询，然后使用这些查询来训练自己的模型，这个模型可以做出准确的预测，尽管输入是没有意义的。这种攻击可以应用于公开服务的模型，对于一些竞争对手或恶意攻击者来说，这是一个巨大的问题。

攻击模型的方法：马萨诸塞大学自然语言处理进阶课程讲述了一种攻击模型的方法，通过构建随机输入来窃取受害者模型的信息。攻击者可以利用这些信息来构建自己的模型，并提供类似的服务。实验证明，这种攻击方法的成本非常低，甚至可以窃取像谷歌翻译这样的模型。此外，攻击者并不需要了解底层的黑盒模型的结构，只需要构建合适的输入即可。这种攻击方法对于情感分析和问答模型都有效，并且可以通过增加随机查询的数量来进一步改善攻击效果。

针对模型的攻击和防御方法：马萨诸塞大学自然语言处理进阶课程讨论了针对模型的攻击和防御方法。作者提到，目前没有一种单一的方法可以防止这种类型的攻击。行业级别的预训练模型很容易被窃取，并且窃取者可以通过微调这些模型来达到相似的性能。作者还提到，谷歌翻译曾经被发现使用旧版本的文本进行训练，这导致了一些问题。在防御方面，作者介绍了API水印和会员分类的方法，但这些方法都有限制。总的来说，作者认为模型的底层结构并不是最重要的，只要能产生合理的预测就可以。

防御方法：这个视频的章节讲述了两种防御方法：水印和会员分类。水印方法是在训练数据中加入标签错误的数据，以便攻击者在提取模型后会得到错误的结果。会员分类方法是通过训练一个分类器来检测不符合任务要求的输入，但这种方法有很多限制。总体而言，目前还没有真正有效的防御方法来避免模型被盗取。