首页 > 热点专题

KG 高引论文解读两篇 | 两种模型:多层卷积神经网络、知识感知路径递归网络

文章作者:来源:www.xax495.com时间:2020-03-14



1.卷积2d知识图嵌入

author: timdettmers,pasquale miner vini,pontus stenetorp .Sebastian Riedel(伦敦大学学院)

来源:第三届第二届AAAI人工智能会议(AAAI,2018)

点击此处获取“论文地址”

①研究问题

知识地图的链接预测任务是预测节点之间的潜在关系。传统的链路预测方法侧重于浅层和快速模型,因为它可以扩展到大规模KG。然而,浅模型学习的特征比深模型少得多,这极大地限制了模型的性能。解决这一问题的方法之一是增加嵌入维数,但会增加模型参数的数量,这不利于扩展到大规模KG。此外,现有的一些数据集存在测试集泄漏的问题:测试集三元组可以通过轻微翻转训练集中的三元组来获得,然后通过使用基于规则的模型来获得最佳性能。本文通过构造一个简单的翻转来衡量问题的严重性,并清理一些数据来解决问题。

②研究方法

本文针对知识地图的链接预测任务,提出了一种多层卷积神经网络模型。与自然语言处理中常用的一维卷积不同,通过将多个向量叠加成一个矩阵,嵌入之间的关系可以通过使用二维卷积核(如图形)来提取。

142829.png

模型的过程概括如下:

实体和关系的矢量表示通过查找嵌入获得,然后通过变形和叠加转换成2D版本。

用多次卷积检查卷积堆叠的矩阵以获得特征图γ。

向量化γ,并通过全连接层将其映射到k维空间。

最后,与目标实体的嵌入相乘以获得相应的分数。

对分数进行sigmoid运算得到概率P,从而最小化交叉熵来训练模型。

值得一提的是,与传统模型中对三重关系进行一对一评分的模式不同,ConvE将实体关系对作为输入,同时对所有候选实体进行评分。这种方法大大加快了计算速度。实验结果表明,即使实体的大小增加10倍,计算时间也只增加25%。

③研究结果

142830.png

在4个数据集WN18、FB15K、YAGO3-10和国家进行了测试,并与DisMult、R-GCN等模型进行了比较。实验结果表明,参数为0.23M的CONVER与参数为1.89M的DistMult具有相似的性能。总的来说,CONVER的参数效率是R-GCN的17倍以上,是双的8倍以上。此外,作者还发现ConvE在YAGO3-10和FB15k-237上比在WN18RR上表现更好,因为前两者包含具有高渗透度的节点。这种复杂的KG需要更深层次的模型,而像DistMult这样的浅层次模型在更简单的KG上有优势。

2 .为推荐人解释知识图谱

作者:王祥、丁仙旺、徐粲然、香南河、曹艺馨。新加坡国立大学(易趣)

论文来源:AAAI人工智能会议的进展。2019年(AAAI' 19)。

点击此处获取“论文地址”

①研究问题

最近,如何将知识地图集成到推荐系统中越来越受到关注。通过在知识地图中探索从用户到商品的路径,可以为用户和商品之间的交互提供丰富的补充信息。这些路径不仅揭示了实体和关系的语义,还有助于理解用户的兴趣。然而,现有模型未能充分利用路径来推断用户偏好,尤其是在建模的顺序依赖性和路径的整体语义方面。本文构造了一个知识感知路径递归网络,通过结合实体和关系的语义来生成路径表示。利用路径中的顺序依赖,可以基于路径进行有效的推理,从而推导出用户-项目交互场景中的基本原理。此外,本文设计了一种新的加权池操作来区分用户和项目之间不同路径的优势,并赋予我们的模型一定的可解释性。下图显示了一个基于知识地图的音乐推荐场景示例,虚线表示关系,实线表示用户-商品交互路径。

142831.png

②研究方法

知识地图和路径:知识地图由一组三元组(H,R,t)组成,代表实体H和实体t形成的关系R。文章中的知识地图还集成了用户-商品交互信息,即包含三元组(用户、交互模式、商品),其中交互模式是预定义的关系。路径被定义为一系列实体或关系,从用户开始,到商品结束。给定一组用户、商品以及连接用户和商品的路径,我们希望该模型能够计算用户和商品之间交互的可能性,即是否有三元组(用户、交互方法、商品)。

142832.jpg

模型分为三层:在嵌入层,路径的每个行为都是通过嵌入来计算的。对于给定的三元组,分别计算实体名称、实体类型和关系(或交互模式)的嵌入,然后拼接得到最终的特征表示。LSTM层按时间顺序输入路径上每个单元的特征表示,并将最后时刻的隐藏层状态作为路径的特征表示。在汇集层,将所有路径的特征表示集输入到两层前馈神经网络中,对输出进行加权汇集运算,得到最终的预测结果。

③研究结果

文章在公共电影数据集MI和音乐数据集KKBox上进行了实验,验证了该模型的有效性。与将实体映射为向量表示的方法相比,KPRN还可以从路径中挖掘用户与商品之间的交互原因,提高了模型的可解释性。

142833.jpg

如上图所示,用户u4825从她互动记录中随机选择了电影《爱情中的莎士比亚》。然后,我们提取连接用户-项目对的所有受限路径,并获得每个路径的分数s1=0.355,s2=0.289,s3=0.356,即模型更倾向于认为用户u4825通过路径3与电影“恋爱中的莎士比亚”具有交互关系。

对过去时期的回顾:

NLP高被引论文解读| BERT模型,班数据集

神经科十年前100名名单发布!这些丹尼尔值得崇拜!

迈克尔乔丹在2020年获得了美国电气工程师学会冯诺依曼奖,培养了本吉奥和其他丹尼尔学生

青青草华人明星视频,青青草在现线久2019