深度学习之父Hinton
发布时间：2021-05-22 21:38:14 所属栏目：大数据 来源：互联网
导读：SIGIR是一个展示信息检索领域中各种新技术和新成果的重要国际论坛，若非疫情影响，今年本定于中国西安市举行。7月25日-7月30日，第43届SIGIR2020在线上举行。 7月27日，2018年图灵奖得主Geoffrey Hinton带来了主题为《The Next Generation of Neural Network
|
SIGIR是一个展示信息检索领域中各种新技术和新成果的重要国际论坛，若非疫情影响，今年本定于中国西安市举行。7月25日-7月30日，第43届SIGIR2020在线上举行。
7月27日，2018年图灵奖得主Geoffrey Hinton带来了主题为《The Next Generation of Neural Networks》的讲座。讲座由约克大学信息技术学院正教授Jimmy Huang主持，ACM杰出科学家、 吉林大学人工智能学院常毅教授担任嘉宾。
在讲座中，Hinton指出：人工神经网络最重要的未解难题之一，是如何像大脑一样有效地进行无监督学习。
当前有两种主要的无监督学习方法：
第一种方法，以BERT和变分自编码器为例，使用了深度神经网络来重建其输入。这种方法对于图像来说是有问题的，因为网络的最深层需要对图像的精细细节进行编码。
第二种方法是Becker和Hinton在1992年提出的:当给定相同图像的两个不同片段作为输入时，训练深度神经网络的两个副本以产生具有高互信息的输出向量。设计此方法的目的是使表征形式不受输入无关细节的束缚。
Becker和Hinton使用的优化互信息的方法存在缺陷（出于一个微妙的原因，讲座中会解释），因此Pacannaro和Hinton将其替换为判别性目标函数，在该目标函数中，一个向量表征必须从许多替代方案中选择相应的向量表征。
表征的对比学习（contrastive learning of representations）被证明非常有效，但是它存在一个主要缺陷：要学习具有N位互信息的成对的表征向量，我们需要将正确的对应向量和大约2^N个错误的替代方案进行对比。Hinton将描述解决这种局限性的新颖有效方法，并且表明这将导致在皮质中实现感知学习的简单方法。
Geoffrey Hinton现在是多伦多大学的计算机科学系荣誉退休教授，Google的副总裁兼工程研究员，以及Vector Institute的首席科学顾问。他最早使用反向传播学习单词嵌入，对神经网络研究的其他贡献包括玻尔兹曼机、分布式表示、时延神经网络、专家混合、变分学习和深度学习。2018年，Geoffrey Hinton因在深度学习方面的贡献与Yoshua Bengio、Yann LeCun一同被授予了图灵奖。
以下是演讲全文，AI科技评论进行了不改变愿意的整理。
 （编辑：常州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
