深度学习

MAML算法与模型泛化：介绍了meta learning中的MAML算法，通过学习初始化参数来提高模型的泛化能力。讨论了MAML的训练过程以及调参的重要性，提出了新的改进方法MAML++。同时，与self supervised learning做了对比，强调了好的初始化对模型性能的重要性。 SSL与memo的关系：介绍了self supervised lea…

元学习概念与应用：介绍了meta learning的概念，即学习如何学习。在机器学习中，调整hyperparameter是一项繁琐的任务，业界通常通过大量GPU实验来解决。而在学界，由于资源有限，通常需要根据经验和直觉选择hyperparameter。通过meta learning，我们可以让机器学习来学习最优的hyperparameter，从而提高效率。 …

知识蒸馏原理：介绍了知识蒸馏（knowledge distillation）的概念和原理。通过训练一个大的网络作为“老师”，再用这个大网络来指导训练一个小的网络作为“学生”。学生的目标是尽量逼近老师的输出，而不是直接根据正确答案学习。 知识蒸馏与ensemble：介绍了knowledge distillation和ensemble的概念。通过ensemble…

网络压缩概念与原因：讲述了网络压缩的概念，即如何简化模型以在资源受限的环境下运行。讨论了在智能设备上进行计算的原因，包括降低延迟和保护隐私。介绍了五种软件导向的网络压缩技术，其中第一种是“never pry”，即修剪网络中无用的参数以提高效率。 网络剪枝方法介绍：介绍了网络剪枝的概念和方法。首先通过评估网络中参数和神经元的重要性，减掉不重要的参数或神经元，来…

三种Lifelong Learning解决方法：介绍了三种Lifelong Learning的解决方法，其中第一种是Selective Synaptic Plasticity，通过调整神经网络中部分神经元或连接的可塑性来实现学习。讲解了Catastrophic Forgetting问题的原因和解决方法，提出了参数重要性不同的概念。 保留旧任务重要参数：介绍了…

终身学习的重要性：介绍了终身学习（Life Long Learning）的重要性，不仅人类需要终身学习，机器也需要。机器学习可以不断积累新技能，最终实现超越人类的目标。终身学习在现实应用中也很重要，比如模型更新和参数调整。面临的难点是如何让机器在不同任务或领域中实现终身学习。 终身学习中的问题：讲述了在进行终身学习时遇到的问题，通过实验发现，同一个模型在学习…

如何训练agent与环境互动：讨论了在没有reward的情况下，如何训练agent与环境互动。在现实环境中定义reward可能困难，但可以凭人类智慧设定reward。若reward设定不当，机器可能展现出意想不到的行为。通过机器公敌和摆盘子的例子，说明了reward的重要性和影响。 imitation learning的问题：imitation learni…

引导agent学习的reward shaping：介绍了reward shaping的概念，即在强化学习中遇到reward几乎都是零的情况时，可以通过提供额外的reward来引导agent学习。通过定义额外的reward来帮助agent学习，就是reward shaping。这种方法可以解决在某些任务中reward稀疏的问题，如机械手臂栓螺丝的场景。 妙法莲…

评估actor的表现：介绍了RL中的critic，即价值函数。价值函数的作用是评估一个actor在某个游戏画面下可能获得的奖励。通过估算discounted cumulative reward，价值函数可以预测在某个状态下actor可能得到的总奖励。这种预测能力使得价值函数在游戏还未结束时就能估计actor的表现。 训练value function：讲解了如…

Actor决策与训练：讨论了强化学习中actor如何做出决策。通过收集S和A的pair来训练actor，actor可以做出不同的action，每个action的分数会影响其被选择的可能性。最终目标是最大化所有action执行完后能得到的分数，而不仅仅是最大化每个action的分数。 评估行动效果与奖励：讲述了如何评价一个actor在某个状态下采取行动的好坏，…

深度强化学习概述：介绍了深度强化学习（Deep Reinforcement Learning）的概念。与监督学习不同，强化学习中机器不知道最佳输出，需要通过与环境互动获取奖励来学习。强化学习的框架与机器学习相似，包括actor和environment的互动。本节课的目的是让学生了解强化学习的基本概念。 观察环境决定行动：介绍了在强化学习中，actor通过观察…

领域自适应概述：介绍了Domain Adaptation领域的相关概念。训练资料与测试资料分布不同会导致模型性能下降，称为Domain Shift。Domain Adaptation是一种Transfer Learning技术，将在一个领域学到的知识应用在另一个领域。训练资料与测试资料有不同类型的Domain Shift，如输入分布变化、输出分布变化等。 目…

全局解释的概念：讲解了全局解释的概念。通过对卷积神经网络中filter的分析，讲解如何利用机器自动生成一张图片，以了解filter负责检测的特征。通过最大化filter输出的feature map值，使用类似梯度下降的方法找到这张图片，从而观察filter想要检测的特征。 手写数字图片的侦测：介绍了如何通过卷积神经网络的filter来侦测手写数字图片中的笔画…

Explainable Machine Learning的重要性：讲述了Explainable的Machine Learning的重要性。机器学习模型不仅需要给出答案，还需要解释其答案的理由，以便人类理解和信任。在医疗、法律、自动驾驶等领域，可解释性模型是必需的，以确保决策的透明和公正。未来希望通过解释结果来改进模型。 线性模型与深度模型的解释能力：述了线性…

白盒攻击与黑盒攻击：讲解了白盒攻击和黑盒攻击的概念。白盒攻击需要知道模型参数，黑盒攻击则可以通过训练代理网络进行攻击。作业中使用了Cypher 10训练的模型进行攻击，黑盒攻击成功率很高。对角线处为白盒攻击，成功率100%。攻击成功率越低代表攻击越成功。 黑箱攻击的成功率：介绍了黑箱攻击在非对角线位置的成功率较高，尤其是针对non-target attack…