计算机学院在图机器学习、知识图谱、智能交通领域取得多项成果-大连理工大学电子信息与电气工程学部
学部新闻
学部新闻
当前位置: 首页 学部新闻 >> Content

计算机学院在图机器学习、知识图谱、智能交通领域取得多项成果

2022-05-30点击:[]

近日,国际机器学习领域顶级会议ICML传来喜讯,大连理工大学计算机科学与技术学院尹宝才、张强、申彦明、齐恒教授科研团队在图机器学习、知识图谱领域的2项成果被录用。ICML与ICLR、NeurIPS并称机器学习领域三大顶会,也是CCF推荐的人工智能领域A类会议。ICML今年共收到5630篇提交,其中接收1235篇,接收率为21.9%。

博士生杨明奇为第一作者论文 “A New Perspective on the Effects of Spectrum in Graph Neural Networks”选择谱域光滑度(Spectral smoothness)作为切入点,为图神经网络两个基础问题的分析,即1)深层图神经网络的oversmoothing问题;2)谱图卷积难以应用更具表现力滤波器的问题,提供了一个统一的视角。针对第一个问题,文章量化了谱域光滑度对graph signal相关性的影响,相比现有工作,该分析指出了节点特征空间收敛的单调性以及放松了现有的收敛性分析对图连通性的限制,为深层模型、残差连接等改进工作的有效性提供了解释。针对第二个问题,文章分析了谱域光滑度对多项式近似滤波器的近似能力的限制以及如何改造谱域提升近似能力。同时,基于谱域光滑度的分析还启发了对新的图神经网络架构的思考,文中提出的Correlation-free架构有效地缓解了上述两个问题,在一系列图表示学习任务上获得了优异的性能。论文获得了ICML 4名审稿人的一致好评,审稿人都肯定了该文的“novelty, technical advances and analysis, and insights of this paper on GNN”。

硕士生李锐为第一作者的论文“HousE: Knowledge Graph Embedding with Householder Parameterization”针对现有知识图谱表示方法的局限性进行分析:(1)现有方法中的关系旋转固定于低维空间,这很大程度地限制了模型的建模能力;(2)现有方法无法全面地建模知识图谱中重要的关系模式与映射属性。为解决这些问题,文章提出了一个更强大更全面的知识图谱表示模型HousE,设计了一套新的基于两种Householder变换的关系参数化方法:(1)Householder旋转,实现了更强大的建模能力;(2)Householder投影,可有效地处理复杂的关系映射属性。文章从理论上证明了HousE可以全面地建模知识图谱中重要的关系模式和映射属性,并且能够自然地将旋转变换扩展到任意高维空间,是现有基于旋转的知识图谱表示模型的推广。实验上,HousE在五个公开数据集上均取得了最新的SOTA性能。ICML审稿人对该文给出了高度评价,其中一名审稿人表示“the approach is very elegant”。李锐目前正在微软亚洲研究院实习,实习导师给学校导师的反馈中表示李锐同学是他带过的最优秀的实习生,表明我校学生具有扎实的理论基础、勤奋的工作作风、进取的创新精神。

博士生杨明奇为第一作者的另一篇关于图神经网络表达能力的工作“Breaking the Expression Bottleneck of Graph Neural Networks”也于近日被IEEE TKDE录用,TKDE是数据挖掘领域的国际著名期刊,也是CCF推荐的A类期刊。该工作将聚合操作的区分能力形式化为偏序关系,系统地分析了聚合操作如何成为图神经网络表达能力的瓶颈以及如何通过保秩操作打破该瓶颈。同时,基于该理论分析所设计的图神经网络模型ExpC在有图机器学习领域“世界杯”之称的OGB(Open Graph Benchmark, https://ogb.stanford.edu/)中长期占据ppa数据集榜单的第一名。

硕士生孙桂明为第一作者的论文“TCSA-Net: A Temporal-Context-based Self-Attention Network for Next Location Prediction”近日被智能交通领域的国际顶级期刊IEEE TITS(中科院一区)录用。该工作针对出行规律挖掘中的位置预测问题,提出了一个基于时序上下文的自注意力网络模型TCSA-Net,与当前最先进的一系列位置预测模型相比,该模型巧妙地引入了自注意力机制强大的序列建模能力,同时极大限度的降低了自注意力模型本身的计算及存储复杂性,使其能更好地应用于捕获人类复杂的移动模式信息。该模型在两个广泛使用的公共数据集上取得了显著优于基准模型的位置预测性能。

这些工作获得了国家科技创新2030重大项目“复杂动态系统智能理论与方法”,国家自然科学基金重大项目“基于大数据的智慧交通基础理论与关键技术”,以及大连市双重项目“基于知识图谱的跨媒体大数据搜索与挖掘”等项目的支持。