图杨宗瀚（图片来源：杨宗瀚）
“我们尝试提出了一种新的常微分方程模型，这种模型可以同时建模残差和非残差网络，离散化处理得到的插值网络可以在准确率和鲁棒性间取得更好的平衡。”杨宗瀚说。他是这篇论文的第一作者。神经常微分方程是近年来深度学习领域中的热点方向，相关论文曾在年获得神经信息处理系统大会（NeurIPS）最佳论文奖[2]。这项研究富有创新性地将残差网络与微分方程数值格式对应起来，进而将有限的离散层神经网络和无限的连续常微分方程联系起来。但与前人工作不同的是，在杨宗瀚等人的工作中，他们的神经常微分方程模型由于阻尼项的存在，因而不依赖于残差连接，进而实现了同时对残差和非残差网络的建模。从机器作诗到神经常微分方程
其实，杨宗瀚最初接触科研是从自然语言处理开始的，他参与的第一个科研项目与机器作诗有关。如果你对古诗词感兴趣，或许你听说过“九歌”[3]。不过，这里的“九歌”不是《楚辞·九歌》，而是由孙茂松教授领导研发的可以作诗的人工智能。“九歌”曾在央视节目《机智过人》中与人类同台作诗，且成功淘汰了一些人类所作的作品。在提及“九歌”的工作原理时，杨宗瀚是这样解释的：机器作诗最主要的原理是序列到序列学习（sequence-to-sequencelearning）。比如，给定诗的第一句，想要生成第二句，便是使用编码器-解码器（encoder-decoder）的架构，将第一句“翻译”成第二句。这种架构最主要的应用场景是机器翻译，相关论文所做的实验也大多和机器翻译相关。参与这个项目之后，杨宗瀚开始