arXiv Artificial Intelligence· Junxian Li, Bin Shi, Erfei Cui, Hua Wei, Qinghua Zheng·· 19 小时前AI 评分22
让 MLP 获得更多图信息:三阶段多任务知识蒸馏框架
Teaching MLP More Graph Information: A Three-stage Multitask Knowledge Distillation Framework
AI 导读
针对图神经网络在大规模图数据推理时耗时耗内存的问题,研究者提出一种三阶段多任务知识蒸馏框架,通过降低对图结构的依赖来缓解该问题。该框架用位置编码(Positional Encoding)捕获位置信息,并引入 Neural Heat Kernels 处理图数据、以隐藏层输出匹配提升学生 MLP 隐藏层表现。
来源:arXiv Artificial Intelligence · arxiv.org