7. 2020年《DeepMind＆UCL深度学习讲座》第7讲：自然语言处理【中文字幕】

DeepMind研究科学家Felix Hill的本讲座首先讨论了使用ANN进行语言建模的动机：语言具有高度的上下文关系，通常是非组合的，并且依赖于协调许多竞争性信息源。本节还讨论了Elman的时间发现结构和简单的递归网络，上下文和转换器的重要性。在第二部分中，他探索了从Word2Vec到BERT的语言的无监督和表示学习。最后，费利克斯（Felix）讨论了情境语言理解，基础和具体语言学习。

在此处下载幻灯片：
https://storage.googleapis.com/deepmind-media/UCLxDeepMind_2020/L7%20-%20UCLxDeepMind%20DL2020.pdf

在此处了解有关DeepMind如何增加科学获取机会的更多信息：
https://deepmind.com/about#access_to_science

演讲者简介：

菲利克斯·希尔（Felix Hill）是致力于基础语言理解的研究科学家，已经在DeepMind工作了近4年。他从小就读纯粹的数学，然后阅读了McClelland和Rumelhart的PDP书籍，对语言学和心理学产生了浓厚的兴趣，于是在剑桥大学开始了研究生院的学习，最后进入了NLP小组。为了满足他对人工神经网络的兴趣，他于2013年访问了Yoshua Bengio的实验室，并与Kyunghyun Cho和Yoshua将神经网络应用于文本处理开始了一系列合作。这导致了关于句子表达（和神经填字游戏）的迁移学习的第一批工作。他还与Jason Weston一起在纽约FAIR实习。在DeepMind，他致力于开发可在交互式3D世界环境下理解语言以及与数学和类推推理相关的问题的代理。

关于讲座系列：

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中，深度学习已发展成为领先的人工智能范式，使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别，语音识别，语音合成，预测，科学计算，控制等问题。由此产生的应用程序触动了我们在医疗保健和医学研究，人机交互，通信，运输，保护，制造以及许多其他人类努力领域中的一生。认识到这一巨大影响，深度学习的先驱获得了2019年图灵奖，这是计算机领域的最高荣誉。

在本系列讲座中，来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座，内容涵盖了通过围绕记忆，注意力和生成建模的先进思想来训练神经网络的基础知识，以及重要的负责任的创新主题。