机器之心发布
机器之心修改部
8 月 24 日至 27 日在杭州举行的 2019 年全国常识图谱与语义核算大会（CCKS 2019）上，百度 CTO 王海峰宣布了题为《常识图谱与语义了解》的讲演。
CCKS 2019 由我国中文信息学会言语与常识核算专业委员会主办，浙江大学承办，以「常识智能」为主题，招引了来自海内外的八百多名科研学者、工业界专家和知名企业代表参加。
对常识的研讨贯穿于整个人工智能的开展史，常识图谱在人工智能技能范畴的热度也逐年上升。王海峰以为，常识图谱是让机器像人类相同了解客观国际的柱石。在讲演中，他用生动的实例展现了百度在常识图谱和语义了解范畴的技能探究及运用，并探讨了其未来的开展方向。
以下是讲演实录：
十分高兴能有时机参加常识图谱和语义核算大会。
我现在在百度担任的技能触及互联网、大数据、人工智能等方方面面，可是我的专业其实是自然言语处理、常识图谱。大约 26 年前，我在哈工大，在李生教授和赵铁军教授的辅导下做机器翻译体系。其时，首要是依据规矩的体系，也要用到常识，那时的常识是把人类专家的常识修改在规矩里，完成言语的了解、生成，然后完成翻译。
曩昔 20 多年，这一范畴从根底研讨到运用，都现已发作了十分大的改变。当然，20 多年比较于自然言语处理这个范畴 70 多年的前史来说，还很年青。
自然言语处理这样一个有 70 多年前史的专业，现在依然蒸蒸日上，我想有两个方面的原因：一方面是由于有许多用户的实在需求，促进咱们更多地投入这方面探究运用；另一方面自然言语处理开展了 70 多年遇到的许多问题都还没有处理，需求咱们进一步深化研讨。
我首要从人工智能初步介绍。
咱们都知道，人类前史开展到现在，现现已历了三次工业革新，每次工业革新都会带来天翻地覆的改变，生产力的前进带来了整个社会的革新，日子方式随之发作深化改变。第一次工业革新使人类走向机械化年代，第2次是带来了电力，第三次是信息化革新。咱们很走运，今日处在第四次工业革新的初步，第四次工业革新的中心驱动力便是人工智能。当然，人工智能是为了模拟人的才干，需求包含语音、视频、图画、AR/VR 等感知方面的技能，也需求常识图谱、言语了解等认知方面的技能。当然，还有机器学习，以及最近这些年很重要的深度学习等等。
感知才干许多生物都有，而且许多生物这方面的才干比人类强。认知才干则是人类特有的，包含咱们的言语和常识。咱们经过言语的沟通、常识的出现（常识出现其实也是依据言语），把常识传承下来。关于言语和常识，不管是关于人类仍是关于人工智能都是十分重要的。
常识图谱是让机器像人类相同了解客观国际的柱石。
曩昔这些年，AI 技能经过深度学习取得了十分好的作用，尤其是在语音、视觉等感知技能上取得了十分大的打破，甚至在许多方面，深度学习到达的作用现已超越了人类。
深度学习也给自然言语处理以及常识相关的技能带来了十分大的协助，可是咱们继续深化研讨、运用实践的时分会发现，咱们还需求更好地结合常识、推动常识图谱相关的作业，才干取得更好的作用。
根本的常识图谱，会触及到实体的特色联络，每一个实体或许有若干个特色，实体和实体之间有许多联络，每一个联络根本上能够了解为是一个现实。因此常识图谱便是对客观国际的描绘。百度 AI 多年技能堆集和事务实践的集大成是百度大脑，百度大脑开展了近 10 年的时刻，其间的常识图谱技能是从 2013 年初步做的。一方面常识图谱的规划在快速增加，另一方面，依据常识图谱来供给服务，每天满意用户各种需求的量级也在快速增加。曩昔这些年，百度常识图谱的服务规划大约增加了 490 倍。
百度大脑技能才干的运用，一初步首要会集在查找引擎上，之后初步打破互联网事务的范畴，面向各种企业级的用户，比方金融、客服、商业等，开展各式各样的运用，一同也进行 AI 技能敞开，比方经过百度大脑的 AI 敞开渠道，让咱们运用到咱们的 AI 技能。
下图所示是一个比较完好的百度言语和常识技能的布局。底层的根底便是常识图谱，经过常识发掘、常识整合与补全、分布式图索引及存储核算等进程，构建了包含实体、关注点、事情、职业常识、多媒体等等多元异构常识图谱。自然言语处理信任咱们都不生疏，一个相对完好的自然言语处理体系包含词法、句法、语义到华章各个方面。构建一个常识图谱的时分，这儿边许多技能也会被概括运用。百度言语与常识技能一方面全面支撑百度自己的产品，比方查找、问答、对话、机器翻译等等，一方面经过敞开赋能许多企业级的运用。
广义来看，常识图谱也是言语科学的一部分，常识的获取和运用是了解言语不可或缺的；反过来，为了更好地去构建、发掘常识图谱，言语了解技能也是十分必要的，言语与常识技能是相得益彰的。
接下来，我会从这几个方面来介绍：一方面是多元异构的常识图谱构建，这儿边会触及到图谱构建的一些运用，包含杂乱常识等等；另一方面，触及自然言语处理技能的一些探究。当然，咱们的架构图远比我今日所讲的要完好。在实践运用中，咱们还会经过百度的开源敞开渠道，进行数据和技能的敞开。
首要说多元异构常识图谱的构建。说到常识图谱，首要就触及到图谱的构建，触及到在敞开的、海量的数据里怎样样去发掘数据、构建超大规划常识图谱。咱们人类学习常识，是靠各种视觉、听觉等等去感知国际，不断地树立和完善常识体系。机器怎样学习？或者说让一个机器的大脑怎样去学？那就要靠数据, 比方互联网上海量的多形状数据，蕴含了许多职业运用的有价值信息。
首要，咱们从许多无标签非结构化数据中进行敞开常识发掘，一方面咱们依据多维数据剖析和言语了解技能主动获取常识发掘模板，并经过不断迭代获取新模板、发掘新常识；另一方面咱们依据长途监督学习来主动构建练习语料。为了去除主动构建练习语猜中的噪声样例，咱们提出注意力正则化（Attention Regularization）技能依据实体上下文进行剖析，经过模型输出辅导标示语料的挑选。经过这样一套办法，咱们完成在千亿级文本中进行更精准地敞开常识抽取。
依据敞开常识发掘抽取了许多的 SPO 三元组，需求对其进行概括收拾，咱们提出了自底向上的敞开本体构建，即从敞开数据中发掘实体和联络，从海量实体联络中主动学习实体类别联络、类别上下位联络，并逐层笼统构本钱体结构，完成常识体系的自学习和构建。使用这样一套技能今后，本体规划增加了 30 倍，一同现实掩盖也有一个安稳的增加。
另一方面，在这样海量的数据里，有许多类似常识或许是从不同的数据、不同的文章里边抽取到的，这些常识怎样进行交融、沙里淘金，让它更精确、有用？这又触及到多源数据常识的整合。咱们经过语义空间改换技能完成实体消歧、实体归一等等，处理常识表明方式多样，相关交融困难的问题。依据前面说到的这些技能，咱们现在构建了一个十分巨大的常识图谱，里边含有 6 亿实体，现实的量或者说各种联络量现已到达了 3780 亿。比咱们人类大脑里边储藏的常识多得多。
根本的常识图谱构建了今后，实在要用于各种实在运用，又触及到许多更杂乱的常识。所以咱们从简略实体拓宽到杂乱事情，能够描绘事情的动态、时序、空间、条件、概率等等联络。
下面咱们说一下杂乱常识。
比方桃园三结义的相片，在没有任何常识的情况下只能辨认出画面中有三个人，有酒，有树。可是结合实体常识，咱们能够知道这三个人的身份和更多的信息，比方树是桃树。进一步依据事情常识，咱们知道是东汉末年，刘备、关羽、张飞三人在桃园结义。有了事情常识今后，还能够对动态改变的客观国际进行建模。
事情图谱以事情为根本单位，表达事情相关的元素以及事情间的相相联络，比方图中的内马尔转会，中心最左面是类似事情——姆巴佩转会, 中心则以时刻为线，从皇马开价、被评为最佳球员、皇马和巴萨的抢夺、到到达转会协议……构成了一个完好的事情演化头绪。而参加事情的人物称为事情论元，如：内马尔、姆巴佩、巴萨、皇马等等，与对应的实体图谱相相关。
完好的事情图谱技能包含，底层的数据，事情图谱的构建（构建触及到事情抽取、事情联络抽取、事情检测等技能），事情图谱的认知核算，例如事情链接、事情核算、事情推理，事情核算包含重要性核算、热度核算、质量核算、类似度核算；事情推理包含事情联络推理、事情论元猜测、事情演化猜测等。现在咱们根本上能够做到分钟级的热门事情录入，完成千万量级规划的事情库，有十几个范畴、4300+事情的类型。事情图谱运用，比方查找热门「华为正式发布鸿蒙」能够出现出完好的事情开展进程，协助用户清楚地了解事情的来龙去脉；又如三峡大瀑布景区歇业紧急通知，触及地图信息点的发现、更新。
说完了杂乱常识，咱们再说职业常识。
职业数据量十分巨大，可是实在运用在一个职业里的时分，都需求转化为职业相关的专业性常识。职业常识，需求究竟大到什么程度，举一些比方：研讨陈述以为，到 2020 年，职业数据的体量会是十分巨大的，比方说法令专业每年产出 4 亿卷宗，医疗方面的数据会提高 48% 以上。还有一些职业是常识密集型的，而运营商会用到许多的人工客服，我国有全职客服 500 万人，人力本钱巨大。另一方面，传统职业关于大数据的运用份额仍是很低的，比方金融职业非结构化数据占 80% 左右，有用使用率只要 0.4%，而人工构建常识图谱，以 freebase 为例，每条人工本钱大约为 2.25 美元，也都不廉价。
与通用常识图谱比较，职业常识图谱有共性也有所区别。比方说，通用图谱相对浅层，但掩盖十分广。由于通用常识图谱首要是以互联网、大数据为根底的。咱们知道，互联网经过 20 多年的开展，现已和人类日常日子的方方面面都密不可分了，某种程度上，互联网能够被了解为客观国际的一个映射。这个巨大的网络能够构建许多种图谱，可是实在触及到某个职业的十分详尽、深化的常识图谱，互联网不能都掩盖到。所以，许多职业的常识图谱是相对关闭的，一般是由一些专家去构建、去标示。从图谱服务的视点，通用图谱能够让咱们都去运用，可是职业图谱是针对特定职业的需求，定制化程度比较高，也有不同的运用方向。所以，以通用图谱为根底，面向职业的开发者，在图谱开发的时分，会触及到一系列特有问题。
依据这样的布景，咱们构建了一体化的职业常识图谱渠道，将多年堆集的通用图谱构建才干搬迁至职业，建设了职业图谱的根底架构和构建渠道，以及智能问答、语义检索、推理核算、智能引荐、内容生成等根底才干组件，支撑职业运用，而且针对职业特色完成一些优化，服务于不同范畴的用户。
这儿简略介绍一下医疗的常识图谱。为了构建一个医疗场景的常识图谱，咱们跟许多协作伙伴协作构建了这样一个结构，包含结构化的解析、实体链接、人机结合、因果联络学习、确诊途径发掘等等。咱们能够看到，专业医疗图谱触及到医院、医生、疾病等等各个方面，经过医疗的认知核算，供给各种医疗临床辅佐决议计划服务。
多媒体常识图谱。今日我讲的标题，是常识图谱和自然言语处理，但实践上，人类几千年传承靠常识来做载体，还包含了语音、视觉，以及各式各样的方式。现在视觉类的产品，坦率来说都不智能。比方，核算机视觉技能能够辨认，但辨认出来之前，怎样将这些孤立的数据联络起来？仍是跟图谱相关。咱们能够依据图谱把常识相关起来，进行它们之间的相关与核算，然后能够做结构化的语义了解。
咱们看到，这是《大河唱》的一些片段。这些片段里边，咱们经过概括运用核算机视觉技能、语音辨认技能、自然言语了解技能，把其间的语音、视觉、文本交融起来，并经过与布景常识的相关，构成对视频的深化了解。
接下来介绍常识增强的言语处理技能。
如前面所说，一方面言语了解是咱们发现常识很重要的根底，另一方面，有了这些常识，能够更好地协助咱们做人工智能。
在言语方面，首要介绍语义表明。咱们知道，自然言语存在许多歧义，一同一个意思也能够用不同的词来表述，语句表达的方式十分多。因此好的方式化语义表明是核算机处理言语的根底，语义表明能够分为方式化符号表明和计算分布式表明。
跟着深度学习的鼓起，计算分布式语义表明这几年很受欢迎。简略回忆一下前史，信任咱们都很清楚，2003 年，图灵奖取得者 Bengio，最早提出了前馈神经网络言语模型，这些年得到了很大的开展，这两年出现了许多依据分布式表明的预练习言语模型。本年百度先后发布了两版语义了解结构 ERNIE。
ERNIE1.0 是依据常识增强的语义表明模型。咱们为了练习这些模型，运用了包含百度百科、新闻、对话等等海量的多样化语料，一同强化了中文的词、实体等先验语义常识，然后得到更好的语义表明模型。
在 1.0 常识增强的根底上，咱们期望不断更新这个体系，ERNIE2.0 在常识增强的一同，又增加了继续学习的才干，经过依据多使命学习的预练习使命迭代，不断提高模型功用。经过对百科、对话，华章结构、网页查找、语义联络等超越 13 亿常识不断地学习，不断地堆集，ERNIE 在多项中英文自然言语处理使命上取得了业界最好作用。
依据语义表明，咱们能够做更杂乱的言语了解使命, 例如机器阅览了解。
机器阅览了解便是让机器来阅览文本，而且答复相关的问题。常识关于机器阅览了解会起到什么作用呢？比方这个比方，问的是《人在囧途》是谁的代表作，仅靠文本本身的内容是不行的，需求依据一些外部常识来得到想要的答案。为此咱们提出文本表明和常识表明交融的阅览了解模型 KT-NET，经过交融前面讲的常识图谱增强文本阅览才干。这个技能在实体对话等许多范畴现已得到了十分好的运用作用。
阅览了解才干也广泛运用于查找产品。现在咱们的移动设备越来越小，而咱们的作业日子节奏越来越快，期望查找不再像曾经是一条条的 URL、摘要，更直观、精确的成果是咱们更期望看到的。这儿边就触及到智能问答的技能，比方「香格里拉酒店的老板是谁」，这个问题，咱们就需求很直观的答复。有时智能问答不只仅是直接给出一个答案就能够，更多的应该是一段话来进行高度相关的解说。比方面对「煎鱼怎样不粘锅」这个问题，咱们会给出办法一、办法二两个答复。
关于谈天，咱们提出依据常识的主动谈天技能。现在相对遍及的技能是用户问一句，然后机器进行答复，用户主动地问，机器被迫应对。而实在场景的谈天，用户是期望机器能够主动地建议对话的。所以咱们规划了依据常识驱动的自主对话使命，让机器依据给定的常识图谱信息，主动来引领对话进程，到达信息充沛交互。
依据百度飞桨（PaddlePaddle），咱们开源了检索模型、生成模型两个主动对话的基线模型。一同咱们举办了一个常识驱动的对话比赛，这个比赛影响很广泛，参加度很高，部队报名数 1536 支，提交成果数 1688 次。
最终介绍一下言语生成，包含机器辅佐写作和智能主动创造。
现在内容创造进程中面对一些痛点，包含捕捉不到热门信息，实时报导速度不行快，也包含人工审阅本钱高、收集资料费时吃力、创造用词缺少创意、多模态内容需求等等。这些问题凭借咱们的技能，都能够缓解。创造前能够辅佐选题、激起创意，包含热门发现、热词剖析、事情检索、观念剖析等等。创造中或许需求更多辅佐的资料，把许多相关的内容出现出来，这个时分需求做信息的引荐，参加一些范畴常识库，一些前史相关的事情头绪，协助写作。当然还有标题的生成，这个也是很有技能含量的。创造后保证质量、提高分发。保证质量包含文本纠错、低质检测、词语润饰；提高分发，包含增加文章标签、主动摘要、文本分类。
这是一个辅佐写作体系完好的架构图。
这是一些辅佐写作示例。第一个热词剖析是以「中美贸易战」为例，第二个便是事情头绪，第三个是标题生成，最右边是文本纠错、词语润饰、文本标签。
以上首要是经过辅佐写作提高功率，让作者从重复作业中解放出来。别的一方面，机器也能够主动创造，能够实时的追寻事情的动摇，主动把相关的信息会聚，生成文章，掩盖重要信息。比较人工写作，既省时省力，还能够提高稿件质量，运用程度十分高，也十分广。这是依据结构化数据主动生成新闻的根本进程，包含微观规划、微观规划、表层完成。
为了完成智能创造，百度打造了智能创造可视化渠道。
上述言语和常识技能，都是依据百度飞桨深度学习渠道完成的，飞桨是国内仅有功用完好、开源敞开的深度学习渠道。其间 PaddleNLP 是中文言语与常识模型及数据集，敞开了大规划的数据集，包含阅览了解、对话、语音翻译、信息抽取、实体链指数据集等等。供给根底网络，支撑序列标示、文本分类、语义匹配、言语生成等等各种类型使命，还包含百度最新的前沿研讨成果。
这个是百度大脑言语与常识技能敞开渠道全景，不只包含常识表明、语义了解等根底技能，还包含运用渠道。比方翻译敞开渠道，咱们能够直接调用翻译渠道，进行翻译使命。翻译方面，咱们供给多模翻译、范畴翻译、通用翻译等多项抢先技能。此外还有 UNIT 渠道，能够进行对话装备与练习，以及职业常识图谱渠道、智能创造渠道……此外，百度大脑还包含面向各种职业场景化的处理方案。
最终，百度愿与学界、业界同仁，一同打造协作共赢的 AI 敞开生态。
我的陈述就到这儿，谢谢咱们！
本文为机器之心发布，转载请联络本大众号取得授权。
------------------------------------------------
