理解神经网络的训练
许志钦
上海交通大学
腾讯会议：3729 4576 521 密码：0911
t
2021-9-11
课程一：机器学习的介绍
本课程主要介绍机器学习的基本概念以及其面临的主要问题。
课程二：深度学习的历史
本课程主要介绍深度学习发展的历史，反思当前深度学习存在的问题以及思考未来的发展。
2021-9-18
课程三：隐式正则化一：频率原则 (Frequency Principle)
本课程介绍深度学习训练中存在的低频优先的频率原则。课程将从实验和简单的理论介绍频率原则的现象及原理。然后介绍如何利用频率原则来理解神经网络在实际使用中存在的现象，包括提前停止、泛化性能和深度效应等。
2021-9-25
课程四：神经网络的超参分区
本课程介绍在无穷宽的极限下，神经网络关于初始化存在三种相态，即，线性态、临界态和凝聚态。这些相态构成的相图使我们对神经网络在无穷宽极限下差异有清晰的认识。
课程五：隐式正则化二：参数的凝聚行为
本课程具体介绍神经网络训练过程的凝聚行为、它产生的可能机制以及对泛化的影响。
课程六：能量景观的嵌入原则 (Embedding Principle)
本课程介绍一种嵌入原则，即宽神经网络的损失函数都包含比其更窄的网络的极值点。在训练过程中，宽网络会经历这些小网络的“极值点“，使其不容易产生过拟合，且宽网络的极值点有更多下降方向，使训练更加容易。
2021-9-26
课程七：神经网络解微分方程
本课程会介绍常用的神经网络方法解微分方程，并具体介绍神经网络解微分方程中的困难。最后介绍两种网络结构：Multi-scale DNN（MscaleDNN）和Model-operator-data network （MOD-Net）。
课程时间：14:00-16:00
答疑时间：16:00-1700
VIDEOS