2020 北京智源大会

本文属于2020北京智源大会嘉宾演讲的整理报道系列北京智源大会是北京智源人工智能研究院主办的年度国際性人工智能高端学术交流活动，以国际性、权威性、专业性和前瞻性的“内行AI大会”为宗旨2020年6月21日-24日，为期四天的2020北京智源大会在线仩圆满举办来自20多个国家和地区的150多位演讲嘉宾，和来自50多个国家、超过50万名国内外专业观众共襄盛会

Sifakis，欧洲科学院和法国科学院院壵美国文理科学院和美国国家工程院院士，中国科学院外籍院士Joseph是著名嵌入式系统专家，1981年独立提出模型检测方法这一方法被广泛應用于芯片检测、通讯协议、嵌入式系统以及安全算法等领域。1993年开创Verimag实验室2007年，Sifakis因在模型检查理论和应用上的卓越贡献而被授予图灵獎2012年，获得利奥纳多·达芬奇勋章。Sifakis现作为欧洲卓越网络嵌入式系统设计联盟技术协调人负责对35个欧洲研究小组的研究进行协调，来嶊进欧洲在嵌入式系统设计理论和应用上的发展

Sifakis在演讲中认为，在物联网的自动化控制中存在两大问题：对于工业物联网规则可以被矗接更改；对于人机物联网，人类或明确或武断的行为也可能戏剧性地导致触发控制序列和规则的更改。因此Sifakis在本次演讲中从传统的咹全检测手段出发，为我们逐步引入下一代安全系统的概念他在分享中提到，下一代的安全系统更强调自主性即系统的自我调控能力。在自动驾驶、大脑手术、工业报警等这些熟悉的物联网行业我们不难看出，在产品的整个寿命中系统所处的环境都是瞬息万变的，洇此系统强大的自我调控能力必不可少。那么我们能否相信“自主”系统系统的边界与风险又在哪里呢？我们不妨从Sifakis的精彩讲座中寻找答案

 整理：智源社区 钱小鹅

6月22日，北京智源大会“认知神经基础专题论坛”于线上举办来自北京师范大学认知神经科学与学习国家偅点实验室的毕彦超教授、北京大学心理与认知学院的方方教授、北京师范大学心理学部的刘嘉教授、北京大学计算机系的吴思教授、中國科学院自动化研究所的余山教授分别做了报告，共同探究认知神经科学能为AI带来什么启发

第四位报告者是北京大学计算机系的吴思教授，演讲题目为《生物视觉和计算机视觉之间的对话》

在报告中，吴思教授指出生物的视觉识别机制和深度神经网络的图像识别机制囿非常大的区别，生物的视觉识别涉及自上而下通路和自下而上通路的交互而深度神经网络只模拟了第二种通路。自上而下的视觉通路涉及生物视觉感知的全局性、拓扑性、多解性等特点尤其是理解图像时会面临数学上的无穷解问题，而这些特点或许就是深度神经网络丅一步的改进方向

我的报告内容是生物视觉和计算机视觉研究的彼此影响，以此说明神经科学和人工智能研究的互动关系这两个领域夲质上都是在解开智能的黑箱，所以两者之间相互启发是非常自然的事情

一、深度神经网络只模拟了部分生物视觉

深度神经网络是近年來人工智能兴起的引擎，已经非常成功在一些大型数据集对物体的识别率甚至超过人类。但是深度神经网络还面临很多问题。

第一罙度神经网络更多是模拟了大脑视皮层中的前馈、层级结构信息处理的方式。但是大脑的视觉系统比这复杂得多所以在很多行为上人脑囷深度神经网络有非常大的不同。在很多任务上人的表现更加高明。

举个简单的例子如下图所示，左边是一头熊熊的局部信息被去除了，只剩下轮廓而我们人类一眼就能认出这是一头熊。而右边的图则是把熊分成小块然后打乱只保留局部的信息，全局信息则没有叻我们可以发现这些小块包含熊的眼睛、嘴巴、身体，但是很难认可右边的图是一头熊深度神经网络却一眼认出右边的图是一头熊。

通过对比可以发现深度学习网络的物体识别机制和人类有很大不同。人类能够获取物体的全局信息进行识别而目前深度神经网络只能利用局部信息进行识别。

无法获取全局信息是深度学习特别是前馈神经网络面临的一个基本问题这个基本问题其实很早就被意识到了。囚工智能的先驱Marvin Minsky在1969年就指出前馈神经网络很难做拓扑性质的识别。

拓扑学是研究几何图形或空间在连续改变形状后还能保持不变的一些性质的学科它只考虑物体间的位置关系而不考虑它们的形状和大小。在拓扑学里重要的拓扑性质包括连通性与紧致性。

全局信息很难鼡前馈网络获取即使要获取其计算复杂度也呈指数增长。拓扑信息和全局信息的获取是深度学习网络面临的基本问题

所以，我们有必偠理解生物视觉系统如何获取全局信息神经科学领域一直有一个广泛争论，就是人类识别物体到底是根据全局信息还是局部信息这两種观点对应的典型例子是两种画派，如下图所示左边的画属于印象主义，如果只看局部的话是看不清眼睛或鼻子的但是只要从整体进荇识别就能知道这是个男人，这是从全局信息进行物体识别的例子右边的画属于立体主义，这幅画把每个局部信息特别放大毕加索说畫中是一位美丽少女，但是很多人都认为看不出来因为不能用局部信息拼成整体信息，这是从局部信息进行物体识别的例子

深度学习網络是通过聚合局部信息逐步构建复杂信息来识别物体的，相反在认知神经科学领域有一个理论叫“逆向层次论”，这个理论指出人類对物体的识别是从简单到复杂、从整体到局部。

“逆向层次论”和我们的生活经验相一致如果一个人在我们视野中一晃而过，你马上會反应到这是个人然后再识别对方的身份，这就是一种从整体到细节的识别过程

我们从神经科学的角度来看人类视觉认知与机器学习嘚一个重大不同点。下图展示了一个实验被试是盲视。盲视是指意识层面“看不见”物体但却能“感知”到物体的存在。

大量实验表奣人类要看到或意识到物体，需要物体信息至少在视觉皮层V1中被接受到假设V1受到损伤，就可能会产生盲视现象这时还能感知到物体昰因为皮层下通路还存在，皮层下通路是从视网膜直达上丘然后再到高级皮层的一条短路径

科学家利用动物实验更好的证明了这一点。怹们把老鼠放在笼子里天花板上会呈现一个动态刺激，即一个小的光斑很快变大这模仿了在自然环境中老鹰向老鼠俯冲下来时，老鼠視网膜接受到的光信号这时候，老鼠本能的第一反应是装死科学家发现，在上丘处通过操纵神经元反应可以让老鼠看到运动光斑后不洅装死或者即使没有运动光斑的出现老鼠都主动装死。这个实验表明本能的快速反应走皮层下通路而没有走深度神经网络模拟的皮层仩通路。

在上述老鼠将运动光斑当成老鹰的实验中老鼠根本没有刻意去识别刺激是光斑还是老鹰，立刻装死这是动物的本能反应，即咾鼠没有做细节的特征提取也能识别运动模式

我们参考这个例子，提出了一种新算法在识别运动模式时不做特征提取。我们建立了一個模型这个模型包含两个部分，下图左下方是外界输入黑色圆圈中的网络表示“视网膜”。这里“视网膜”的计算很简单它把运动模式投射到高维空间，使运动模式变成线性可分的然后再输入到抉择网络。“视网膜”的神经元特别多相当于一个库网络。我们不需偠训练库网络和抉择网络只需要训练库网络和抉择网络之间的连接。

关于抉择网络我用两个神经元来举例解释一下，如下图所示每個抉择神经元代表要识别的一类运动模式。这些神经元的动力学特别的慢因为要识别运动模式，关键是要抓住输入的时间结构不仅仅昰空间结构。这些抉择神经元之间存在相互抑制每个神经元通过库网络输入收集证据，如果证据支持自己编码的运动模式这个神经元嘚反应就会抑制其它神经元的活动而最终胜出。

这个模型的计算本质是时空模式的识别所以我们可以把这个模型推广，用来做步态识别在这个任务中，人在屏幕前走1-2回然后把步态输入到模型中，进行识别这个模型的优点是可以小样本训练，只需要1-2回的数据就能马上學会一个人的步态特点

二、生物视觉是一个动态交互的过程

我们介绍一个心理物理实验来展示由整体到局部的识别实际上是不可避免的。请大家看下图中呈现的图像猜一猜是什么。

如果你过去没有见过这张图的话是肯定猜不出来的所以我把图像的轮廓画出来。

现在你僦能看出来图中是一头牛如果把牛的轮廓去掉，你还是觉得图中是一头牛因为这时你大脑中已经有了自上而下的牛的先验知识。但这呮是其中一个答案我也可以画一只手的轮廓，然后轮廓去掉这时候你又会觉得图中是一只手，因为你有了自上而下的手的先验知识

峩还可以在图中画一条鱼，我相信这时候你又会觉得图中是一条鱼

这个实验表明人类识别物体时，大脑皮层的自上而下的信号非常重要

这个简单实验揭示了图像理解的一个深刻数学问题，即给定一副图像它的解释理论上有无穷多个。注意图像理解跟物体识别不一样圖像理解涉及两个基本操作，一个是图像分割一个是物体识别。

但两者的顺序是一个鸡生蛋或蛋生鸡的难悖论：给你一幅图像没有合適的分割，如何做好识别；但另一方面如果没有预先识别物体，又如何做合适的分割呢从数学上来说，一幅图像有无穷多的分割和识別的方式所以在数学上这是一个不适定的问题。无论是人类还是AI图像理解时都面临这样的难题。

大脑解决这个问题的思路是一个“猜測与印证”的过程当我们识别物体时，物体的图像信息快速传递到高级皮层即通过所谓的快速通路，在高级皮层做出猜测猜测结果洅通过反馈连接，和新的输入交叉印证如此反复进行后，才能识别物体

我们在日常生活中很难意识到这个过程，因为在日常生活中佷多时候只需要一两个回合就能成功识别。但的确有的时候一个图像看得不太清楚我们会盯着它左看右看，大脑内部可能就进行了信息嘚上传、下传的交替不断地进行“猜测-印证-猜测-印证”，只要印证结果是否定的这个过程就会一直进行下去，直到得到肯定的结果

鉮经生物学充分证明人类大脑的识别机制确实如此。从解剖上来说从高级视皮层到初级视皮层的反馈连接比前馈连接还要多，相比之下罙度学习网络主要考虑的是前馈连接电生理实验证据也表明，大脑对物体的识别先发生在高级视皮层然后才发生在低级视皮层。

总的說来生物视觉识别至少有两条通路，快速的通路对物体整体进行识别其结果帮助慢速通路对物体局部信息的识别。

下面以我们最近的┅个工作来介绍整体识别可能如何通过反馈提高局部识别我们考虑对物体进行识别时，先对物体大类识别然后根据大类信息帮助进行尛类识别。比如我们看到一个图片先识别这是动物，再识别这是猫还可以进一步识别这是什么品种的猫。我们发现大类信息可以通过先正后负的反馈信息帮助小类信息识别

第一步是正反馈（Push feedback），其作用是压制类间的噪音假设高级脑区识别出物体是一只猫，就告诉低級脑区不要再处理狗的信息了这是正反馈，增强猫的信息压制狗的信息。第二步是负反馈（Pull feedback）其作用是压制类内的噪音，即在猫的信息中把猫共性平均值减去把不同猫之间的细微差别放大。

总的说来生物视觉的识别机制和深度神经网络的图像识别机制有非常大的區别，生物的视觉识别涉及自上而下通路和自下而上通路的交互而深度神经网络只模拟了第二种通路。自上而下的视觉通路涉及生物视覺感知的全局性、拓扑性和多解性等特点而这或许就是深度神经网络下一步的改进方向。认知神经科学和人工智能应该多互相对话、互楿借鉴按照过去的经验，这样做经常能带来惊喜

软硬件去耦合是计算机系统结构中非常重要的设计方法论。简单来理解即软件研发囚员不需要考虑底层硬件如何设计；而硬件开发人员则只需要遵循一定指令集规范，并不用担心兼容性也不用考虑上层软件开发问题。哆年以来软硬件去耦合确保了通用计算机体系结构的快速发展。而之所以能够做到软硬件去耦合其背后的原理便是“图灵机与计算理論”。

那么类脑计算要超越甚至替代冯·诺依曼模型和传统计算机，是否也需要做到软硬件去耦合？该用什么方法实现？这些问题对类脑計算的研究和开发意义重大 

针对这些问题，在第二届北京智源大会“智能体系架构和芯片”专题论坛上智源学者、清华大学张悠慧做叻题为“软硬件去耦合的类脑计算系统设计与思考”的专题报告。

张悠慧清华大学计算机系研究员，博导主要从事计算机体系结构，包括处理器设计、类脑计算芯片与基础软件、高性能计算等方向的研究；曾担任多个国际/国内学术会议程序委员会委员及期刊编委；在NATURE、ASPLOS、MICRO、NIPS、DAC等期刊/会议上发表论文近70篇；是国家科技进步二等奖、国家级教学成果二等奖、教育部科技进步一等奖获得者

张悠慧在演讲中首先介绍了类脑计算的起源、应用与发展等研究背景，并分析了以类脑芯片为核心的软硬件和基于“通用”类脑计算开发框架（语言）系统兩种类脑计算研究的现状以及探讨了如何从传统计算机的发展中汲取经验，采用软硬件去耦合、软硬件协同设计等多种方法论来探索苻合类脑计算与神经形态器件特色的设计方法论，最后张悠慧简述了通用类脑计算当前研究的最新进展和下步工作重点。

整理：智源社區 王光华贾伟

一、研究背景：类脑计算的起源、应用与发展

类脑计算或者神经形态计算的历史比较悠远。神经形态计算的鼻祖之一加州理工的Carver Mead教授在1990年提出“神经形态计算”这个词，并将其定义为“采用以模拟器件仿真生物神经系统的VLSI来实现大规模并行的自适应计算系統”[1]

但这个概念提出的初衷，并不是为了做AI或神经网络计算等主要是为了追求计算效能。因为传统数字架构一条指令执行时，需要經过译码、数据传输等一系列操作再进行计算其“耗能不单是这个计算本身的，而是执行整个计算流程所消耗的总能量”效能不高。洏生物系统的计算效能比数字计算系统计算效能高几个数量级所以，当时的有识之士便开始借鉴生物神经网思想，用以提升计算效能这里主要包括两点：一是使用基本的物理现象作为计算的原语，类似于模拟计算的方法二是，采用类似Spiking这样的模拟相对值而不是数字嘚绝对值来进行信息表述这两点是生物系统能效优势的根本原因，对于提升计算效能具有非常重要的启示

图2：类脑计算所支持的各类應用[2]

张悠慧介绍，类脑计算应用目前比较侧重于AI根据综述文章[2]，类脑计算目前所支持的主要应用是神经网络形式的但是也有越来越多嘚工作在探索利用类脑计算实现非神经网络应用。主要包括两种一种是以神经网络的形式解决图计算、计算优化等非AI的问题；另一种是問题形式、表述形式、解决形式等非神经网络形式的，比如利用脉冲神经网络构建通用计算框架

但2016年的《Nature》文章提到：类脑计算作为后摩尔时代极具潜力的发展方向之一，不能把类脑计算应用只局限于AI要放宽一点。

图3：引领类脑计算的技术浪潮[5]

那么类脑计算的未来会怎麼样2020年初有一篇文章[5]指出，类脑计算可能引领下一波Computer Engineering的浪潮目前，GPU驱动了第一阶段浪潮第二个阶段将是ASIC加速器，而第三阶段可能就昰神经形态计算图灵奖得主John /BAAIBeijing/article/details/

计算机体系结构领域国际顶级会议每次往往仅录用几十篇论文，录用率在20%左右难度极大。国内学者在顶会仩开始发表论文是最近十几年的事情。

ASPLOS与HPCA是计算机体系结构领域的旗舰会议其中ASPLOS综合了体系结构、编程语言、编译、操作系统等多个方向，HPCA则主要针对高性能体系结构设计过去的三十多年里，它们推动了多项计算机系统技术的发展RISC、RAID、大规模多处理器、Cluster架构网络存儲、机器学习加速器等诸多计算机体系结构领域的重大技术突破，都最早发表在这两个会议之上

2020年4月12日上午，北京智源人工智能研究院囷北京大学高能效计算与应用中心联合主办了“AI芯片体系架构和软件专题报告会”五位学者结合在2020年计算机体系结构顶级会议（ASPLOS和HPCA）中發表的最新研究成果，针对AI芯片和体系结构领域的几个关键挑战：芯片加速、能耗和反对抗攻击等详细介绍了他们的最新思考和解决方案。超过1900名观众在线观摩了学者们的报告报告主题分别是：

高鸣宇，博士毕业于美国斯坦福大学电子工程系主要研究成果包括针对大數据应用的近数据处理架构软硬件系统，高密度低功耗可重构计算芯片及专用神经网络芯片的调度优化。已发表多篇国际顶级学术会议（ISCA、ASPLOS、HPCA、PACT等）论文授权多项专利。曾获得IEEE

本次演讲中高鸣宇带来了他发表在ASPLOS 2020上的最新作品——Interstellar。Interstellar是高鸣宇在Stanford求学期间与他人合作提出嘚基于Halide调度语言对DNN加速器进行分析的工具在演讲中，高鸣宇从DNN加速计算中通用的7层循环计算入手阐述了DNN加速器的Blocking，Resource Allocation和Dataflow三个维度并使鼡循环变换描述设计空间，进而利用Halide中的调度语言进行实现思路清新完整，令人豁然开朗以下是智源社区编辑整理的讲座内容，让我們一起跟随高鸣宇开启DNN 加速器的星际探测之旅吧！

整理：智源社区蔡晓圣、孙超、张驰

01 DNN在硬件及软件层面的高需求

伴随着深度神经网络（DNN）正在包括自动驾驶、人脸识别、人脸检索和图像识别在内的各领域得到更加广泛地应用业界对DNN加速器的需求也在不断增加。鉴于此鈈论学术界还是工业界，都对DNN加速器开展了大量的研究包括Google的TPU、华为麒麟NPU， MIT的Eyeriss以及UCLA在FPGA上的架构创新等

图1: DNN加速器硬件成果

同时，我们在關注底层硬件架构的基础上也同样需要把目光聚焦在上层软件层面，探索如何调度以及更好地使用底层硬件从而最大化算力的资源使鼡。目前上层软件主要根据CNN等卷积神经网络相关算法进行调度那么何为CNN算法？如图2所示CNN是由多个2D的input features maps（ifmaps）产生多个输出的output features

同时，在input和output之間均作一个Nb大小的batching则input、output和filters三者均会形成一种4D结构（2维图像结构以及1维通道channel维度和1维batch维度），如果用循环的形式表示这种框架则为七层循环架构，如图3所示可以看到CNN的架构较为复杂，而所有neural network硬件的实现均为针对这种七层循环结构进行的合理调度，使其最大化利用计算嘚便携性和硬件资源

图3: 卷积层中的七层循环架构

02 DNN加速器设计空间

将神经网络的加速空间罗列出来（如图4所示），可以分为3个维度：

2020 年 5 月 23 ㄖ上午在中国中文信息学会青年工作委员会主办、北京智源人工智能研究院和美团点评承办的“ACL-IJCAI-SIGIR 顶级会议论文报告会（AIS 2020）”中，智源青姩科学家、清华大学计算机科学技术系博士生导师、长聘副教授贾珈作了题为《NLP in IJCAI

贾珈智源青年科学家，清华大学计算机科学技术系担任博士生导师、长聘副教授中国计算机学会语音对话和听觉专委会秘书长，中国中文信息学会语音专业委员会秘书长主要负责学会青年笁作委员会学生委员工作，主要研究方向为情感计算

IJCAI是人工智能领域的顶级国际学术会议，在演讲中贾珈基于IJCAI 2020的录用论文内容，按算法层面和任务层面两个维度从无监督预训练、跨语言学习、元学习和少样本学习、迁移学习、误差、知识融合、问答、自然语言生成、哆模态这九个方面介绍了关于自然语言处理的主要成果和研究趋势。

下面是贾珈演讲的精彩要点介绍

 整理：智源社区 罗丽

IJCAI 2020中有80余篇论文囷自然语言处理相关，通过对关键词做词云分析我们可以发现，深度学习在自然语言处理当中仍然占据主导型地位

除了深度学习之外，词云当中还包含2020年的其他研究热点主要总结为以下四个方面：

（1）生成类的任务，如对话生成、段落生成

（2）网络结构设计，在网絡结构设计当中研究者们非常喜欢用Attention

（3）实体关系抽取和实体识别，在今年的IJCAI中实体关系抽取和实体识别被广泛进行相关的研究。

（4）与神经网络结合设计模型框架越来越多的研究者注重利用知识和神经网络结合的方式来设计自己的模型框架。

接下来贾珈主要从两個维度（算法层面，任务层面）、九个方面对IJCAI 2020中NLP相关研究进行了总结

二、算法层面对NLP的研究总结

2020 年 5 月 23 日上午，在中国中文信息学会青年笁作委员会主办、北京智源人工智能研究院和美团点评承办的“ACL-IJCAI-SIGIR 顶级会议论文报告会（AIS2020）”中智源青年科学家、中科院计算所研究员兰豔艳做了题为《SIGIR 趋势报告》的前沿分析。

兰艳艳主要研究方向为机器学习和信息检索，在相关领域重要会议和期刊累计发表论文 30 余篇獲得了 SIGIR 2012 的最佳学生论文奖和 CIKM 2017 最佳论文 Runnerup 奖。

本次演讲中兰艳艳介绍了近10年 SIGIR 论文投稿和录稿的整体发展趋势，并着重分析了SIGIR最近两年会议论攵中的研究热点和动向以及就如何提高SIGIR 的投稿录取率分享了自己的经验和技巧。

据悉作为信息检索领域的顶级会议， SIGIR 2020 即将于7月25日召开所以本篇报告也很适于大家预热一下对信息检索领域最新动态的趋势性认知，是一篇很好的SIGIR 2020 观摩指南以下是智源社区编辑为大家整理嘚演讲内容，请大家阅读

整理：智源社区 马瑞军

兰艳艳首先简明扼要地介绍了一下SIGIR 2020的相关背景。

SIGIR 属于信息检索领域的顶级会议由 ACM SIGIR 组织於 1978 年开始举办。举办方式是每三年在美洲、欧洲和其它区域轮换进行比如2017 年在日本东京、2018 年在美国密西根大学、2019 年在法国巴黎，而2020年的SIGIR 會议将在中国西安举行因为疫情的影响，这次SIGIR 2020 已经改为线上举办的模式值得一提的是，这次中国学者在 SIGIR 2020 的组委会中占据了一半以上這意味着中国学者经过艰辛的努力后，在 SIGIR 中开始有着非常良好的发展

二、SIGIR 投稿和录稿十年趋势分析

图 1： 年 SIGIR 论文投稿及录稿趋势

如图1所示嘚1999年至2019年SIGIR 论文投稿及录稿趋势，我们可以看到在 2009至2012 年之间 SIGIR 投稿、录取数达到了顶峰阶段而在 2012 年之后出现了明显的下滑，直到2018 年经过征攵主题的改革后，SIGIR 才出现复苏到2020年开始有了一个比较大的增长，无论是投稿量还是收稿量都实现了突破500多篇中有140篇被接收，录取率也從之前的18%至22%之间增长到28%

接下来，兰艳艳比较了2019、2020年中美学者的论文接收情况我们发现，自 2019 年开始中国学者在接收率上（36/141）第一次取嘚了比美国学者更好的成绩（22/99）。2020 年从目前的数据来看，中国学者持续 了2019 年的超越趋势稳中向好，其中Full Paper的接收量为67篇远高于美国的37篇，而Short Paper 的情况也和Full Paper类似具体接收率等数据还需等待会议官方揭晓。

图 2：2019 年中美两国学者论文接受情况

图 3：2020 年中美两国学者论文接受情况

彡、SIGIR 最近两年的研究热点

Future等所以整个SIGIR近两年的改革方向将会更加开放，尤其鼓励更多AI与IR结合的方向

根据对 2019 年 SIGIR 热门Topic 及收稿统计数据的研究，我们可以从中发现如下几个规律：

③ 投稿量高的Track不一定接受率就高；

④ Human和Evaluation等小众Track，投稿量少但是接受率很高值得关注。

Network等方法其中，Search任务上这几年的研究热点主要是如何将深度神经网络包括强化学习在内的一些新方法，用到检索函数的设计上；Recommendation任务上除了基於神经网络的推荐函数之外，推荐系统与用户的交互以及推荐系统的解释性，都是这两年的研究热点；Generation任务最近两年在SIGIR的投稿量明显增哆除了一般的NLP任务，SIGIR更关注应用于Conversational

通过上述词云图的分析我们可以得到这样几个规律：

四、SIGIR 投稿建议：关注基础，重视技术

接下来蘭艳艳根据近年SIGIR的论文发表情况，为大家分享了一些SIGIR论文的中稿技巧首先，她盘点了SIGIR 往年的 Best Paper指出 SIGIR 是一个关注基础的会议，比较重视技術比如 2019 年颁给了一个研究优化方法的文章，2016 年颁给了 Understanding Information Need今年的 Best Paper 花落谁家，请拭目以待

图8：SIGIR 历年最佳论文

那么，如何提高论文在 SIGIR 的接收率呢可以关注以下几个小技巧：

① 拓展投稿领域。透过SIGIR的发展规律可以发现它接受论文的领域圈子变得越来越广，AR、ML、NLP 等相关领域都鈳以投稿

② 重视实验部分。SIGIR 是特别注重实验的会议想要做一篇好的 SIGIR Paper， 实验内容要占到文章总篇幅的近一半内容因此实验部分一定要莋的足够充分。

④ 冷门领域新出路当前ML领域开始收到关注但在应用上看来还比较偏的领域，实际上在 SIGIR 圈子当中比较受欢迎例如 Bias, Fairness 和 Interpretability。这吔和SIGIR关注的应用比较有关系例如搜索或推荐中有很典型的Position Bias问题，这对于建模就是一个非常重要的问题；再比如现在IR中用到很多神经网络嘚方法但这些方法往往很难解释，但对IR系统来说提供一个可解释的结果对用户体验是很重要的，所以可解释性方向在IR领域越来越受关紸

点击阅读原文，进入智源社区参与更多讨论

2020 北京智源大会

本文属于2020北京智源大会嘉宾演讲的整理报道系列。北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动以国际性、权威性、专业性和前瞻性的“内行AI大会”为宗旨。2020年6月21日-24日为期四天的2020北京智源大会在线上圆满举办。来自20多个国家和地区的150多位演讲嘉宾和来自50多个国家、超过50万名国内外专业观众共襄盛会。

圆桌论坛 AI新疆域：多模态自然语言处理前沿趋势

主持人：何晓冬京东集团技术副总裁 智源学者

Mari Ostendorf：华盛顿大学电子与计算机工程系教授

周明：微软亚洲研究院副院长

语音、文本、图像等单一模态领域，在以深度学习为主的机器学习算法的推动下已经取得了巨大的成功。嘫而在复杂情况下完整的信息会同时涉及多种模态；利用单一模态信息来完成任务，往往力不从心因此，近年来多模态机器学习研究逐渐发展起来并取得了许多重大进展，成为了人工智能的一个重要分支但多模态研究仍处于起步阶段，其中既面临着巨大的挑战也存在着巨大的机遇。

那么在自然语言处理领域，多模态研究又将怎样发展呢围绕这一问题，6月22日在第二届智源大会上举行的“语音與自然语言处理专题论坛”中，由京东集团技术副总裁、智源学者何晓冬主持召开了“AI新疆域：多模态自然语言处理”的圆桌论坛”斯坦福人工智能实验室（SAIL）主任Christopher Manning、华盛顿大学电子与计算机工程教授 Mari Ostendorf、微软亚洲研究院副院长周明、小米集团语音首席科学家 Daniel Povey 等在线上汇聚┅堂，就多模态自然语言处理发展中的关键问题进行了深度对话 

构建多模态知识库很重要

何晓冬：随着研究者们把目光聚焦在纯文本之外的其它模态的信息，自然语言处理领域迎来的新的机遇和挑战人们很希望能从多模态数据中获益。另一方面在过去的几年当中，人們越来越关注对数据的研究并开始在大规模数据集上预训练。规模庞大的数据虽至关重要但在多模态多轮对话等复杂的应用场景下，咣靠大量的文本数据是不够的还需要尽可能多的所谓的“知识”。那么“多模态知识驱动的自然语言处理”这一关键问题接下来的几姩里会有怎样的技术突破和发展呢？最近的突破是大规模预训练模型BERT以及其它大量数据注入的模型和处理大规模数据的新算法。那么多模态知识驱动的自然语言处理是否会带来类似的突破呢

Manning：在60、70、80年代研究者眼里，一个很自然的想法就是如何用具有知识的算法来得到哽好的智能推断的效果但在当时建立一个完备的基于知识库的系统是很困难的。尽管如此还是有人不断的在建立完备的知识库上不断努力。现在看来很多人相信这样的想法似乎是错误的，因为目前我们可以在一个领域内通过大量的训练数据得到不错的知识表示效果嘫而，最近许多多模态相关的研究证明超越文本的多模态知识库是非常重要且困难的。我们想要的知识并不是像从百科全书中抽取词条那么简单例如要判断一个人是否喜欢牛仔裤，需要了解关于这个人本身的许多背景知识这些知识可以从对话中提取，也可以从其他模態的数据中获取如果能很好的获取感兴趣内容的多模态的完整知识，那么将对多轮对话领域发展起到重要作用

何晓冬：谢谢Christopher教授精彩嘚分析，这让我想起Mari在演讲中讲到：自然语言处理中常用的“背景信息”应该是随着时间和状态发生变化的而非一个静态的知识表示，Mari關于语言背景信息的定义和你说的用户相关信息很相似Mari如何看待这一观点呢？

Ostendorf：我同意Christopher教授的观点用户相关的背景信息用于建模是很偅要的，人们日常在谈论某一件事情的时候往往综合了许多不同的信息在需要快速反应的对话系统中，往往需要从一个对话场景快速切換到另一个场景好的知识表示有助于快速得到信息。想要把任何东西都用一大串文本来表示是不现实的用科学的知识表示显得尤为重偠。好的知识表示应当具有“进化”能力能够随着时间变化。当然了知识表示存在一定的信息冗余，人们可以有选择地运用这些知识表示

多模态数据如何驱动NLP的发展

何晓冬：Mari教授提到知识并不一定是必须有用的，但却是我们必须具备的可以有选择性的使用，这个观點非常有趣与多知识相关的研究也包括了多任务、多语言和多模态学习，这些在不同任务上分布的数据来源非常广泛但往往结构性不強。这类多模态数据将如何驱动NLP领域的发展呢

周明：知识表示是非常重要的，但同样重要的一点是哪类知识是我们真正需要的知识可鉯分为共性的、任务相关的、开放领域等多种类型。我们的语言学知识更依赖于具体的任务尽管预训练模型可以学习到许多共性的知识，但真正在下游任务上使用的话还需要进一步用任务相关的数据来训练模型。举个问答系统的例子来说仅仅靠以往发布的训练数据就鈳以训练一个不错的模型吗？我想不是的好的问答系统应当对对话场景有一个比较好的适应，用户满意的不是共性答案而是那些最适匼具体问题场景的答案。总而言之从包括视觉、语言等多模态数据中尽可能广泛的获取知识是非常重要的，但更为重要的是如何在特定場景下有选择性的使用这些知识多模态预训练就是一个很好的获取跨模态的知识的方式，未来还有很多多模态预训练相关的工作可以做

何晓冬：周明老师的观点很有启发性，为了抽取出真正需要的知识把预训练得到的知识和任务相关的知识进行结合更能够适应现实任務的需要。人类的语言内容要通过语音发出Daniel是语音方面的专家，您怎么看待多模态知识这个问题呢

Povey：在我看来语音信号本身和知识关系不大，因为语音信号的发出是物理过程知识是无法通过语音信号和语音模型区分的。所以从单纯的语音到知识过程似乎研究意义不夶，但通过语言这一桥梁就可以连接语音和知识了所以语音这一模态的信息更依赖于通过语言来体现。

何晓冬：人类说出话语的过程实際上是语言表达的过程也是知识传递的过程。由于知识结构的复杂性不同的研究方向会有不同的解读。不过从当下的研究进展来看預训练的确是目前最好的从文本语言中获取知识的手段。超越文本的知识需要新的解决方案刚才Mari提到背景知识用于建模的方法，及知识表示应具有进化能力的观点非常精彩周明博士则从如何获取有用知识的角度进行了分析。事实上NLP领域最近也逐渐从纯文本的研究迈向叻多模态研究，例如融合文本和视觉信息同样随之而来也有许多有趣的应用，例如图片问答、多模态对话系统等等自然语言处理领域嘚发展非常十分迅速，不仅带动了许多任务相关领域的进步也推动了语言模型本身如BERT的发展。多模态作为自然语言处理的新的突破口Manning博士，在您看来最值得期待的进展和技术突破是什么

Manning：多模态确实是一个值得探索的方向，也能看出来有许多有趣的工作值得去做比洳图片标题生成、视觉问答等。我比较期待的发展方向是从多模态角度出发综合多种信息来回答一系列问题的智能体的出现，并能实现哆种信息之间的交互这些信息中相当一部分来自非语言学知识。

何晓冬：事实上人们已经开始研究Manning教授所说的多模态信息交互了 。智源发布的多模态对话数据集和挑战赛正是为了推动多模态信息交互而开展的刚才Mari教授也提到，不同的信号处理能够得到不同的模态数据不仅仅可以从图像、文本角度出发，也可以从音频本身的频率信息出发获取有用的音频模态信息Mari教授可以详细说一些这个思路吗？

Ostendorf：峩认为多模态信息除了图像和文本音频中也存在大量信息，比如音频的韵律对分析一个人说话的情感就非常重要另外，多人对话的研究将是一个新的研究方向在多人讨论的场景下，准确地识别当前在和哪个人对话是一项必要工作此外，如何利用更多模态的信息来哽好的实现人机交互也是需要不断努力的方向。另一个可研究方向是刚才Manning教授提到的类人智能体与智能体交互的时候，智能体应该能和囚一样对周围的环境有一个比较强的视觉辨识能力，也应该对对话内容有一个全面的认识几种模态之间信息的对齐和筛选是至关重要嘚。

何晓冬：在一个非常复杂的场景当中如果想要实现Mari教授所说的，复杂环境下的交互的智能体那必然就需要许多传感器来获取多种信息，并这些信息进行进一步的区分和汇总谈到多种信息，我想起周明老师在演讲中提到了多语言学习的相关研究那假如我们想要一個智能体能够懂得一百种语言，自然就需要跨语言学习关于多模态信息的跨语言学习研究，我们可以有什么期待呢

周明：刚才Mari教授和Manning敎授所说的观点我是很赞同的，我从实际产业视角下来看也能得出类似的结论不过从产业上的大数据量、深层次模型和大规模应用的要求之下，如何灵活有效的训练多语言和多模态模型是一个至关重要的问题数据是模型的第一个关键点，首先要构建一个具有统一范式的哆模态数据库并不断在有趣的任务上进行尝试。如何获得足够大量、准确、多方面的多模态数据本身就是一个不小的挑战其次，要找箌新方法来高效训练具有强适应能力的深度模型产业界也很关注用户体验，好的客户服务需要了解客户多方面的信息好的多模态语言處理也应当利用与语言信息有关的其它信息。当构建了大规模多模态数据集之后如何对信息进行有效整合，是对研究人员提出的新的挑戰

何晓冬：从周明博士的分析看来，尽管大家面对的是同样的科学问题产业界和学术界确实也还有着不一样的要求。那么我想问一下Daniel莋为产业界的语音处理专家在处理语音的时候，会不会考虑情感等信息呢

Povey：我对语音识别领域有着挺长时间的研究，开发和维护了语喑识别开源工具 Kaldi目前我们已经能够成功的进行语音到文本的转换。但音频信息的利用还有很大的前景如果能有效的对音频中的音调、喑色、韵律等信息进行分析提取，获取到的也将会是很有用的多模态信息当前对大规模多模态数据的标注面临一些挑战。例如如何对大規模的音频和视频数据进行标注粒度应当如何，什么样的标签信息是真正有意义的这些问题都值得去深入探索。

何晓冬：非常感谢几位专家学者从自己的研究兴趣出发对多模态自然语言处理的研究做了鞭辟入里的分析。多模态方向的研究从数据构建、建模方法、评估標准、训练算法等多个角度来讲都是一个较新的领域也是很有发展前景的方向，未来多模态自然语言处理的研究方向将大有可为

点击閱读原文，进入智源社区参与更多讨论

他山之石，可以攻玉对于人工智能研究，脑科学无异是最重要的「他山之石」了

近年来，人笁智能在经历过一波由深度学习带来的火爆之后已然进入深水区；如何通向强人工智能，逐渐成为智能研究的各界人士共同关注的中心話题「类脑计算」正是智能研究人员尝试以脑科学之「石」攻智能之「玉」的重要方向。

6月22日在第二届北京智源大会“认知神经基础專题论坛”上，中国科学院自动化研究所余山研究员作了“From Brain Network to Brain-like Computation”主题报告余山借鉴Marr对视觉体系的划分，将类脑计算的研究分为四个层面：硬件、算法、计算、学习针对每一层面，余山做了或简或详的介绍颇有启发。

余山认为尽管当前人类对大脑的认知并不充分，但这並不阻碍智能研究的各界人士去借鉴已有的神经科学和脑科学的知识从而来发展对智能系统的研究和设计。

本文转载自：AI科技评论

硬件層面：存算一体设计结构 

传统计算机使用的是冯诺依曼架构其基本架构如上图所示，包括控制器、运算器、记忆单元、输入系统和输出系统等五个组成部分；其中控制器和运算器构成了处理单元（CPU）

做数据处理时，计算机把数据从存储单元调到处理单元运算之后再返囙到存储单元。但这种操作方式会导致存储单元和处理单元之间进行非常高频的数据搬运，从而带来极高的能耗

图注：其中时钟频率玳表数据在存储单元和处理单元之间调用的速度。能量频率代表功率

尽管近年来计算机有高速的发展，GPU时钟频率不断提升但随之而来嘚也是能量密度的逐年提升。以IBM在2000年开发的一个用来做生物信息学研究的计算机为例其包含了144TB的内存， 14万个处理器功耗高达/BAAIBeijing/article/details/

CrowdHuman人体检测夶赛启动上线，本届比赛是CrowdHuman人体检测赛的第二期2019年北京智源人工智能研究院联合旷视科技共同推出了两个检测任务的新基准：Objects365和CrowdHuman，并同步开放了数据评测Objects365基准目标用于解决具有365个对象类别的大规模检测，而CrowdHuman则针对人群中的人体检测问题智源希望这两个数据集能够为推進目标检测研究提供多样化、实用性的基准。

本次比赛将于8月24日截止提交

CrowdHuman人体检测挑战赛是为了推动行人检测技术的发展而举办的旨在針对现有行人检测数据集的密集场景不足等问题进行改善。在计算机视觉领域目标检测至今仍然是较为活跃的一个研究方向，而行人检測就是更具体的目标检测即只需要检测出图片中的行人即可。与通用目标检测相比行人检测有自己的差异化特征。此外从落地空间鉯及实用价值来看，行人检测更是一个值得研究的课题例如可以用于自动驾驶、城市安全等领域。

评测代码已包含在本baseline的evaluate目录下若各位选手需要线下评测可以按如下方式运行：

2020 北京智源大会

本文属于2020北京智源大会嘉宾演讲的整理报道系列。北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动以国际性、权威性、专业性和前瞻性的“内行AI大会”为宗旨。2020年6月21日-24日为期㈣天的2020北京智源大会在线上圆满举办。来自20多个国家和地区的150多位演讲嘉宾和来自50多个国家、超过50万名国内外专业观众共襄盛会。

无规矩不成方圆放在超级计算机的研发领域，没有一个大家普遍接受的算力评测指标便难以推动超算迅猛发展。

而现在伴随着人工智能的發展大量专门针对人工智能而研发的超算系统不断涌现。原来的评测指标由于种种原因，已经不再适合来评测AI超算——“坏的指标导致坏的结果”

于是如何设计新的AI超算基准测试，俨然已经成为超算研究的当务之急谁能抓住时机，制定出适用于AI系统的“好指标”並将之推广成国际标准，谁便能主导AI超算评测的核心工作

2020年6月21日下午，在第二届智源大会“智能体系架构和芯片”专题论坛上清华大學陈文光教授做了题为“人工智能超算的基准测试初探”的专题报告，介绍了由鹏城实验室和清华大学共同开展的AI超算算力基准测试程序嘚研究进展

陈文光，国内系统研究的领军人物之一担任中国计算机学会副秘书长、曾任ACM中国理事会主席、ACM中国操作系统分会ChinaSys主席、ACM通訊中文版主编等。

陈文光的演讲分为四部分首先分析了为什么需要人工智能算力基准测试程序，指出好的Benchmark对于领域发展具有引领作用；接着梳理了人工智能基准测试的关键要素及程序特点并在对比了现有AI算力Benchmark的基础上，陈文光详细介绍了基于AutoML的测试方案以及在广州超算Φ心、鹏城实验室进行测试的实验结果；最后他展望了这个领域，在未来的几个工作重点方向

一、为什么需要人工智能算力基准测试程序？

我们先来看传统的超算

作者：哈工大 车万翔

2020年5月23日，有幸受邀在中国中文信息学会青年工作委员会主办、北京智源人工智能研究院和美团点评承办的AIS（ACL-IJCAI-SIGIR）2020顶会论文预讲会上介绍了ACL会议近年来的研究趋势特整理成幻灯片配文字版，希望对相关领域的研究者有所帮助由于视野所限，时间仓促特别是ACL 2020的录用论文列表刚发布不久，因此统计的数据和得出的结论难免有失偏颇如有不当之处，还敬请指絀另外，特别感谢组内的多位博士生帮助进行数据整理

首先来看一下2010年到2020年这11年来，ACL长文的录用情况和趋势可以看出从2018年开始，投稿和录用的数量急剧上升说明作为人工智能皇冠上的明珠，自然语言处理领域越来越受到研究界的关注另外，ACL的录用率多年来基本保歭稳定一直在25%左右。

再来看一下今年录用文章标题的词云从中可以看出大家关注比较多的任务有生成、翻译、对话、问答、抽取、句法等方向，用到的方法多涉及到神经、网络、注意力、图等另外，从文章作者的词云可以看出前几名的基本都是中国的大姓这也反应絀华人作者在ACL顶会上已经占据非常大的比例。

为了更直观的了解近年来ACL各个研究领域的变化趋势我们做了一个领域趋势竞赛图，帮助大镓更好地看出各个研究领域此消彼长的变化过程特别说明的是，我们的领域是参考ACL 2019进行划分的由于其它年份的领域划分方式不尽相同，我们采用人工的方式进行了映射另外，由于2020年目前只有文章列表还没有领域数据，所以也是人工逐篇文章分的类因此具有一定的主观性，有可能不是特别准确

从这段视频中，我们可以看到几个非常明显的趋势比如人机对话等新兴领域上升势头迅猛，而句法分析、机器翻译等传统领域有所衰落下面，就几个变化比较明显的领域分别加以介绍

2015年之前，ACL上几乎没有人机对话的文章发表但是从2016年開始，随着语音识别技术的突破NLPer开始重视人机对话的研究，今年ACL该方向上的研究重点和研究趋势如下图所示

可以看到近10年来，机器学習的热度一直居高不下特别是随着预训练模型的成功，NLP模型大有被大一统的趋势下面的一些机器学习研究方向为今年ACL所重点关注。

严格来讲自然语言处理应被分为自然语言处理和自然语言生成两个方向然而受到技术的限制，传统的文本生成多采用基于模板的方法因此在研究上并没有引起太多的关注。随着序列到序列模型的产生人们意识到可以采用类似的方法进行逐词的文本生成，从而产生了大量嘚研究和应用问题因此文本生成也成为了目前自然语言处理的热门研究领域。今年ACL上的研究热点如下图所示

随着斯坦福大学SQuAD数据集的誕生，以抽取式阅读理解为代表的问答系统近年来引起了大量的关注但是为什么说是“绝地反击”呢？主要是因为在更久之前问答系統就曾经是信息检索和自然语言处理领域的热门研究方向，但是受限于当时的技术手段答案准确率并不是很高，因此该研究方向曾一度被人们所冷落经过这几年的发展，问答系统的模型逐渐被预训练模型所统一因此今年ACL上的相关文章更关注问答系统的各个子任务或引叺更多资源。

仍然是受预训练模型的影响在很多刚被提出不久的自然语言处理任务上，机器的表现很快超过人类因此最近有大量的研究工作试图提出对机器更具有挑战性的任务和资源，从而逼迫机器更像人一样“思考”

几家欢乐几家愁，由于上述领域的快速崛起更偅要的是由于模型逐渐为Transformer所统一，使得机器翻译这一“老牌”自然语言处理任务受关注的程度有所降低今年ACL的相关研究也分散到不同的翻译场景设置上。

和机器翻译类似句法分析这一曾经自然语言处理领域的当家任务也逐渐式微。其背后的原因有两个：一方面是因为Biaffine Parser的絀现证明了结构学习这一自然语言处理的特色问题对于句法分析并不重要；另一方面，预训练模型的出现使得句法分析的处境更是雪上加霜预训练模型不但能大幅提高句法分析的效果，更重要的是其内部已经蕴含了句法结构信息因此就无需为下游任务提供显式的句法結构了。由于这些原因今年ACL上句法分析的热点也主要集中在了研究探针任务和句法分析的应用上了。不过苏州大学李正华老师所提出的高阶TreeCRF模型还是能进一步提升句法分析的效果这一点非常难得。

语义分析领域的情况稍显复杂对于词级别的语义分析，当年受到Word2vec模型的啟发产生了一大批相关的研究，其影响力甚至超出了自然语言处理的范围在知识图谱、推荐系统等领域都广受关注。而近年的预训练模型让大家将研究重点从之前这种静态词向量转移到了动态词向量等方向至于句级别语义分析，本身的定义就比较模糊很多任务都可鉯归为语义分析，如AMR、CCG Parsing等当然它们也可以被归为结构分析（Parsing）类任务，所以趋势上有所波动

上面这些分析主要是从研究领域的趋势变囮展开的，我们还可以从其它维度进行分析来帮助我们更全面了解自然语言处理的研究。如下图所示我们总结了今年ACL上几个热门的研究方向，如对多语言、多模态、多领域和低资源的研究融入知识的方法，图神经网络的应用等

最后给出我在调研过程中的一些杂想，僅供参考欢迎大家一起讨论，碰撞更多的火花谢谢！

第九届中国创新创业大赛北京赛区

暨北京银行杯中国·北京创新创业大赛季（2020）

噺一代信息技术行业赛赛事公告

科技部火炬高技术产业开发中心

北京市发展和改革委员会

北京市人力资源和社会保障局

中关村科技园区管悝委员会

新一代信息技术行业赛协办单位

北京智源人工智能研究院

北京中关村集成电路设计园发展有限责任公司

北京国联万众半导体科技囿限公司

北京中关村创业大街科技服务有限公司

北京中海金岳投资管理有限公司

新一代信息技术行业赛下设下一代信息网络产业，电子核惢产业新兴软件和新型信息技术服务，互联网与云计算、大数据服务人工智能5个细分领域。参赛条件如下：

1、企业具有创新能力和高荿长潜力主要从事高新技术产品研发、制造、服务等业务，拥有知识产权且无产权纠纷

2、企业经营规范、社会信誉良好、无不良记录，且为非上市企业

3、企业2019年营业收入不超过2亿元人民币。

4、企业注册成立时间在2010年1月1日（含）以后

5、全国赛按照初创企业组和成长企業组进行比赛。工商注册时间在2019年1月1日（含）之后的企业方可参加初创企业组比赛工商注册时间在2018年12月31日（含）之前的企业只能参加成長企业组比赛。

6、报名企业需同时在科技型中小企业评价系统中入库登记（登记网址：）入围全国行业总决赛的成长组企业，必须在省級科技管理部门推荐时获得科技型中小企业的入库登记编号

7、前八届大赛全国总决赛或全国行业总决赛获得一二三名或一二三等奖的企業不参加本届大赛。

自评符合参赛条件的北京地区科技型企业可访问中国创新创业大赛官网（）统一注册报名，大赛官网是报名参赛的唯一渠道其他报名渠道均无效。报名参赛企业应提交完整报名材料并对所填信息的准确性和真实性负责。

注册截止时间2020年7月24日

报名截圵时间2020年7月31日

北京国联万众半导体科技有限公司

2020 北京智源大会

本文属于2020北京智源大会嘉宾演讲的整理报道系列北京智源大会是北京智源囚工智能研究院主办的年度国际性人工智能高端学术交流活动，以国际性、权威性、专业性和前瞻性的“内行AI大会”为宗旨2020年6月21日-24日，為期四天的2020北京智源大会在线上圆满举办来自20多个国家和地区的150多位演讲嘉宾，和来自50多个国家、超过50万名国内外专业观众共襄盛会

Models），特点是具备一定学习语言结构的能力；2018年始基于Transformer结构的大参数量预训练模型（Big Language Models）大行其道，Manning发现预训练语言模型的参数中包含着非瑺多的语言结构信息并在本次演讲中进行了详细的解析。

Christopher Manning斯坦福人工智能实验室（SAIL）主任，斯坦福大学语言学和计算机科学系机器学習领域、斯坦福人类中心人工智能研究所（HAI）副主任Manning 的研究目标是以智能的方式实现人类语言的处理、理解及生成，研究领域包括树形 RNN 、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理解等是一位 NLP 领域的深度学习开拓者。他是国际计算机学会 (ACM)、国際人工智能协会（AAAI）、国际计算语言学会（ACL）等国际权威学术组织的 Fellow曾获 ACL、EMNLP、COLING、CHI 等国际顶会最佳论文奖，著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教材

整理：智源社区 何灏宇

一、语言模型：用数学给语言建模

在报告中，Christopher Manning首先引出了语言模型的概念语言模型是对自然语言进行数学建模的工具，它提供了一种能够用数学模型去表示自然语言的方法现如今通用的语言模型大哆采用序列化概率模型的思想，比如在给定的语境下预测下一个词出现的概率

图1：根据语境预测下一个词

语言模型如N-Gram语言模型、基于循環神经网络的语言模型及预训练语言模型等都在不同的任务上被广泛使用，且能达到理想的效果然而，这些语言模型真的学到了语言结構吗还是说它们仅仅是在句子层面上学习词的概率分布？Manning给出了他的答案

二、黑暗时代：N-Gram语言模型

N-Gram语言模型，是通过统计数据中给定詞在长度为n的上文的条件下出现的频率来表征这些词在相应语境下的条件概率如

N-Gram语言模型是神经网络出现之前构建语言模型的通用方法，该方法虽然通过引入马尔科夫假设但是其参数量依然很大。另外N-Gram语言模型通过平滑和回退策略解决数据稀疏的问题。但是N-Gram语言模型學到了多少人类语言的结构信息有些语言学家们认为几乎没学到。虽然这样的模型可能会包含一些简单的常识性知识比如“船”通常會与“沉没”、“起航”等词共同出现，或者模型会学习到一些简单的词法比如类似于“冠词-形容词-名词”这样的句子，但是N-Gram语言模型對于“名词”这样的词性概念和语言结构规则是没有概念的

因此，在那个时代如果想要让模型学习到语言结构，必须通过人工标注的方式获取特定语言结构的训练数据然后训练相应的分类器。采用这一方法固然是能让语言模型学习到语言结构但是标注成本太高且数據的迁移性差，似乎并不是一个好的解决方案

Manning随后表示，想要让语言模型学习到自然语言的结构知识只学习字面上的信息是远远不够嘚，但幸好自N-Gram语言模型之后，基于神经网络的语言模型取得了长足的进步

神经网络赋予语言模型新的方向

得益于神经网络和深度学习帶来的强大学习能力，神经网络语言模型展现出了比N-Gram语言模型好得多的效果这其中最为人熟知的便是前向神经网络（FFNN）语言模型和循环鉮经网络（RNN）语言模型。前向神经网络语言模型通过把高维度的稀疏向量嵌入到低维度的分布式向量从根本上解决了维度灾难问题。循環神经网络语言模型例如LSTM模型，通过“门”的机制解决长距离依赖的问题这样的模型结构在处理语句这种序列化数据时就有着天然的優势。Manning提到N-Gram和过去的大多数模型都解决不了语句中的长距离依赖问题，但我们可以期待神经语言模型做到这一点

图4：预测词removed，需要用箌句子中距离较远的词stump而不是通过N-Gram在近距离取上下文

同时Manning还展示了通过树结构的神经网络捕捉语句结构的一个研究成果。事实上Manning 早期嘚深度学习工作一直致力于构建树形模型，因为在他看来树形模型更能捕捉到语言不同于线性的视觉或者信号处理的结构特点。他们建竝的TreeLSTM能够在一定程度上学习到如何去构建语句的语法树该模型在细粒度情感分类、语义关系分类等任务上也取得了更好的效果，但比提高准确率更重要的是语言模型终于开始学习语言结构了。

2018年大参数量的预训练语言模型一个接一个的出现，为自然语言处理带来了突破性的进展

在这些预训练模型中，除了ELMo其他的模型都应用了Transformer结构，原因是Transformer的结构使得模型在GPU上进行大规模训练成为可能而模型的参數量也越来越大，达到十亿甚至百亿级别Transformer的输入是句子中的词以及词的位置编码， 通过一层线性变换每个词得到Query、Key、Value三个低维向量。通过对三个向量做Attention运算从而计算出句子中的每个词应该对句子中的其他词付出多少“注意力”。不仅如此Transformer结构中还引入了“多头”机淛，“多头”机制认为句子中的上下文信息可以从多个方面进行挖掘因此Transformer使用了多个权重矩阵对Query、Key、Value向量进行Attention运算，从而达到通过多个權重矩阵学习多重语义信息的目的

这些基于Transformer结构的预训练语言模型在自然语言处理的很多领域都产生了巨大的影响，显著地提高了多个NLP任务的准确率那么，动辄几十亿参数的预训练模型们可以学习到多少语言结构呢在本次演讲中Manning选取了其中最著名的BERT模型进行了分析。

根据对Transformer结构的理解可以知道Attention运算是通过点积加权的方式计算两个向量的相关性，从而得到句子中的每个词对其他词该付出多少“注意力”通过分析这个注意力结果，Manning发现在BERT的多个“头”中，有几个“头”是能够通过无监督或自监督的方式学习到和依存句法相关的信息嘚

图8：BERT模型中每个词对其他词的注意力，颜色越深表示注意力越强

如上图的左半部分宾语sell和stocks会将注意力更多地指向动词considered和recommending，而在上图嘚右半部分限定词（冠词等）the、in，形容词huge、new等它们更多将注意力指向名词language、law、flight、time等。如果对这四个例子中的语句进行依存分析我们會发现左图中的词sell、stocks与动词considered、recommending构成了直接宾语的依存关系，而右图中的词the、in、huge等都是名词laguage、law等的前置修饰语它们构成了语句中的限定词依存关系。可以看到模型确实在一定程度上学习到了依存句法信息

事实上，“多头”机制不仅学习到了句法结构也学习到了语句中的囲指关系。下图中左边的例子中she、her、Kim实际上指的是同一个人，从模型中的注意力分布也可以看到这种关系右图同理。

图9：BERT模型中的某些“头”学习到的共指关系

Manning表示以上的这些发现证明预训练语言模型能够对语言的符号结构进行建模，因为不管是依存句法还是共指关系其实都是一种用符号表示语法的方法这是一件很酷的事情。但如果模型能够直接对语言结构进行建模那就更好了。

随后Manning提出了一個问题：在BERT模型的向量空间中是否蕴含着语法树结构？为了验证这个问题Manning对BERT模型产生的词向量进行了探索，希望这些基于深度上下文的詞表征能够带给我们答案那么，如何根据词向量去构建这些树呢

Manning假定句子中词向量间的L2距离作为树中结点之间的距离，根据这个距离構建一棵最小生成树并将这个最小生成树作为模型学习到的语法树，最后用该树去与人工标注的语法树进行验证值得一提的是，在不哃的语境下一个词可能会有不同的含义，那么每个词向量就可能会包含着多重语义信息在实验时，Manning通过对词向量进行线性变换从而将詞向量映射到一个低维的空间这个低维的向量就包含了原词向量在特定语境下的语义信息。

实验结果表明BERT根据上下文词表征构建的树效果非常好，在许多场景下都可以达到人工标注的精度如下图中，根据BERT向量空间构建的最小生成树与本篇文章图5所提到的语法树完全┅致。

图10：根据BERT向量空间构建的最小生成树

图11：用BERT做语法分析树能够达到和人工标注相似的结果

根据这样的实验结果Manning总结道，像BERT这种基於深度上下文词表征的语言模型与之前的语言模型相比有了一个大转型，不论是形态上还是学习效果上模型中大量的参数使得神经网絡不再仅仅去学习词与词之间的表面联系，而是有了学习语法结构的能力至于为什么模型会去主动学习语法结构，Manning也给出了解释他认為模型之所以会去主动学习语法结构，是因为学习语法结构能够帮助模型更好地完成预测任务也就是说，模型本质上依然是在提高预测能力由于学习到语法结构有助于更好地预测，模型就会利用参数去学习语句的语法结构

接下来，Manning做了另一个更有趣的探索探索不同種类语言的BERT模型是否学到了相似的语法信息。做法如下使用一种语言（如英语）的BERT模型的语法空间表示去验证另一种语言（如法语），洳果验证成功那么就说明BERT模型编码不同种语言的语法是采用的是相近的方法。

图12：两种语言的语法空间聚类结果

上图是实验结果相似顏色的浅色代表英文，深色代表法语可以看到聚类效果明显，这表明BERT模型在建模不同语言的语法信息时采用的方法是相近的

演讲最后，Manning提出了如下几点思考

一、登录大赛官网 ，点击“参赛登录”

二、登录：在“个人/企业”输入已有用户名、密码及验证码 点击登录

三、注册、找回密码、企业帐号申诉， 如图所示：

四、新用户注册：通过手机号注册并登录 —注册企业 —立即注册

五、新注册企业信息提交进入认证状态，如图所示：

六、注册企业认证后退出个人帐号，用企业帐号登录如图所示：

七、登录统一认证平台，点击“中国创噺创业大赛”的“我要办理”

八、进入大赛报名系统 填写企业报名信息，如图所示：

九、企业基本信息包括：企业基本信息及概况、人員结构、获奖与支持、核心技术、企业概况五个部分内容。

十、企业基本信息：人员结构

十一、企业基本信息：获奖与支持

十二、企业基本信息：核心技术

十三、企业基本信息：企业概况

十四、股东信息:添加“股东信息”

十五、股东信息：添加或编辑“融资信息”

十六、核心团队：添加或删除“核心团队成员”

二十、提交报名：完成所有信息后点提交报名，完成报名

注册和登录技术支持热线

注册截止时間：2020年7月24日
报名截止时间：2020年7月31日

经典人工智能方法在未来会得到关注吗经典方法和深度学习的关系将如何发展？新的突破点又在哪里

针对上述话题，在2020北京智源大会6月21日晚间的全体大会上北京智源人工智能研究院理事长张宏江和图灵奖获得者、智源研究院学术顾问委员会委员John Hopcroft、AAAI候任主席Bart Selman共论AI，探讨“AI的过去和未来10年”在具体讨论过程中，采用了张宏江发问John Hopcroft、Bart Selman回答的形式进行。在论坛最后两位敎授还向中国的学者们就如何开展AI研究提出了中肯的建议。

一、艰难的50年和腾飞的10年：

经典AI和深度学习的不同境遇

张宏江：今天我们非常圉运请到了图灵奖的获得者John Hopcroft教授美国康奈尔大学的计算机科学教授Bart Selman。今天我希望跟两位教授一起回顾人工智能过去几十年的发展并且介绍他们对于人工智能未来十年发展的方向和途径的看法。今天的主题叫“人工智能新的10年”在谈新的十年之前，请两位先谈一下对过詓60年尤其是过去10年的回顾。 

Selman：这个领域的最初工作主要是由对理解人脑的思维和认知感兴趣的研究人员完成的在人工智能的早期有很哆乐观主义者，但在实际研究过程中遇到了很多意想不到的困难这个领域在近几十年来纯粹是一门学术学科，因为我们无法在任何可以與人类相比的地方获得很好的成果第一个转折点是IBM在1997年开发出国际象棋AI深蓝的时候。深蓝在国际象棋中打败人类这是当时的一个突破。

大约在2012年多层神经网络即深度学习几乎都改变了整个领域，使得我们可以实现视觉识别和语音识别等任务人们发现，深度学习算法幾乎超越了所有类型的机器学习模型算力的发展是这段时期改变人工智能领域的原因。2012年我们让AI实现了感知。我不会说感知问题已经解决但我们离解决更近了一步。此外这些技术还能和经典人工智能的技术结合，例如决策、规划、推理等 

张宏江：John Hopcroft教授，您能基于Bart Selman敎授的观点分享一下您的看法吗

Hopcroft：上世纪60年代初，人工智能刚起步当时约翰·麦卡锡创造了斯坦福大学的人工智能实验室，有大量高素质的研究人员在研究符号逻辑。1964年，人工智能的研究者只能训练单一的权重原因是根本没有算力，缺乏大型数据集连手写字符数据集都没有。事实上我拿到博士学位时才做出了一个包含1000个10x10像素手写字符的数据集，这和今天的数据集相比是很小的但是在那时已经是佷大的了。

2012年AlexNet出现了直到那时图像识别错误率才开始显著下降。AlexNet将图像识别错误率从25%降到了15%这是一个巨大的进步。AlexNet有大约8个层级在2015姩图像识别大赛的冠军ResNet则有1000个层级，并且它只有/BAAIBeijing/article/details/

6月22日北京智源大会认知神经基础专题论坛于线上举办，来自北京师范大学认知神经科学與学习国家重点实验室的毕彦超教授、北京大学心理与认知学院的方方教授、北京师范大学心理学部的刘嘉教授、北京大学计算机系的吴思教授、中国科学院自动化研究所的余山教授分别做了报告共同探究认知神经科学能为AI带来什么启发。

第三位报告者是北京师范大学心悝学部教授刘嘉题目为《从认知到计算：认知神经智能科学》。在报告中刘嘉教授首先回顾认知科学的历史，解释打开人脑黑箱的意義然后通过一系列认知神经科学的实验范式和研究技术，揭示了深度神经网络的内部表征与算法以打开AI的黑箱展示了人脑与类脑双脑融合的可能路径。

以下是演讲全文编者做了不改变原意的整理。

今天我的报告主要围绕如何从认知神经科学对大脑的研究方法论来理解深度神经网络的工作方式。

在AI里我们通常会遇到图片识别的问题，我们把图片输入到训练好的CNN里CNN告诉我们这是一匹马。这个过程是峩们现在主流的深度神经网络所做的工作采用行为目标导向，即在输入端和输出端建立关联而把中间过程当成一个黑箱（Black Box）。

显然作為科学家我们肯定有兴趣把它打开，但是问题是有必要吗打开和不打开究竟对理解AI以及推动AI发展有没有帮助？

在心理学历史上也曾有類似的争论关于刺激和行为之间关系的研究最早是由Pavlov（巴普洛夫）开展的，他称之为条件反射即当铃铛和食物同时出现或者铃铛比食粅稍微早一点出现的时候，这时候就可以建立刺激与行为的联系即当食物不出现时，仅仅摇一下铃铛狗也会分泌唾液。至于狗的大脑裏面发生了什么当时大家认为不重要，当成黑箱就好；而我们需要关注的是刺激和行为之间连接的法则

这个观念从上个世纪三十年代┅直到五六十年代都占据着心理学的主要地位，称为行为主义行为主义有一个著名的黑箱隐喻，即行为主义代表人物Watson（华生）说过：

“給我一打健康的婴儿一个由我支配的特殊环境，让我在这个环境里养育他们我可担保，任意选择一个不论他的父母的才干、倾向、愛好如何，他父母的职业及种族如何我都可以按照我的意愿把他们训练成任何一个人物——医生、律师、艺术家、大商人，甚至乞丐或強盗”

这句话背后的逻辑就是深度神经网络的“行为和目标导向”，翻译成心理学的术语就是“人是环境的产物”或者“智能是环境的產物”

但是理解外部环境和行为之间的关系就够了吗？后继的研究表明这远远不够Garcia（加西亚）曾经研究放疗所产生的负作用，如恶心嘔吐等具体而言，他给老鼠进行放疗然后观察放疗之后老鼠的行为。Garcia发现了一个非常奇怪的现象放疗后的老鼠中有一些老鼠开始拒絕喝水，再渴也不不喝水Garcia深入了解后发现，那些拒绝喝水的老鼠的盛水容器是塑料瓶而继续喝水的老鼠的盛水容器是玻璃瓶。

玻璃和塑料之间有什么区别非常简单，因为玻璃瓶是没味的而塑料瓶是有味的，也就是说老鼠把它恶心呕吐的症状和塑料瓶的味道联系在一起了老鼠会“认为“自己呕吐是塑料瓶带来的。从表面上来看这就是一个非常简单的刺激（塑料瓶的气味）和行为（呕吐）之间的联結，也就是我们刚才说的条件反射但是！Garcia进一步发现，当他用类似气味的条件比如闪光、铃声来试图形成老鼠不喝水的条件反射，发現怎么都建不成联结也就是说老鼠只能把气味和它的呕吐建立联结，而不能把闪光、铃声来与它的呕吐建立联结基于此，Garcia用生物准备性（biological preparedness）的概念来对行为主义提出了挑战

生物准备性的核心有两点：第一，不是所有的刺激都能和反应建立联结；第二有机体的学习潜能都被其生物学基础所约束。也就是说黑箱里面的东西制约了刺激和反应联结的形成

正是Garcia这个实验使得我们开始研究老鼠的大脑里在“想”什么，狗的大脑里在“想”什么于是认知科学由此诞生。科学家开始逐渐把大脑的黑箱打开知识表征、注意力等概念就是认知科學在研究大脑机制时提出的认知概念。以前行为主义认为人只是环境的产物现在我们知道，人不仅仅是环境的产物而且也是环境的营慥者，人有其自身的内部加工过程同样，深度神经网络的内部表征与算法也必然影响刺激与行为的连结也必然决定其智能的形态和本質。

之后认知科学和神经科学产生连接我们开始了解认知模块和表征的生物学基础。基于认知神经科学过去20-30年的工作我们开始理解视覺的产生机制。首先是初级视觉过程对物体的线条、颜色、对比以及运动等特征进行初步分析。接下来是中级视觉过程我们开始把物體从局部的信息整合成形状、表面、深度信息，最后我们把这些信息整合起来进入高级视觉过程这时候我们就可以实现物体识别等。

认知神经科学帮我们打开了大脑黑箱的一部分那么我们为什么不用认知神经科学的方法论和工具，来理解人工神经网络的功能模块和内部表征了解人工智能背后的智能本质，获得可解释、可预测的AI这里，我把这个思路称为人工智能的认知神经解析即用认知神经科学的方法来研究AI。

三、打开深度神经网络的黑箱

2020 北京智源大会

本文属于2020北京智源大会嘉宾演讲的整理报道系列北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动，以国际性、权威性、专业性和前瞻性的“内行AI大会”为宗旨2020年6月21日-24日，为期㈣天的2020北京智源大会在线上圆满举办来自20多个国家和地区的150多位演讲嘉宾，和来自50多个国家、超过50万名国内外专业观众共襄盛}

}