1a;

提出一种预训练方法通过非对称对比学习捕获节点间的高阶相似性避免传统方法对同质图homophily的依赖有效处理异质图。

统一任务模板

将预训练与下游任务如节点分类、链接预测统一为相似性计算模板减少目标差异导致的负迁移问题。

例如节点分类通过类原型class

自适配器与参数重用

重用预训练阶段的投影器projector作为下游任务的适配器self-adapter无需额外参数显著提升调优效率。

自提示机制

结构提示通过添加两跳邻居等结构信息增强上下文表示。

语义提示利用节点属性如替换邻接矩阵为单位矩阵保留语义信息。

g(\cdot)

\mathcal{L}-\frac{1}{|\mathcal{V}|}\sum_{v\in\mathcal{V}}\frac{1}{|\mathcal{N}(v)|}\sum_{v^\in\mathcal{N}(v)}\log\frac{\exp(\mathbf{z}_v{}^\mathsf{T}\mathbf{h}_{v^}/\tau)}{\exp(\mathbf{z}_v{}^\mathsf{T}\mathbf{h}_{v^}/\tau)\sum_{v^-\in\mathcal{V}^-}\exp(\mathbf{h}_v{}^\mathsf{T}\mathbf{h}_{v^-}/\tau)},

L−∣V∣1​∑v∈V​∣N(v)∣1​∑v∈N(v)​logexp(zv​Thv​/τ)∑v−∈V−​exp(hv​Thv−​/τ)exp(zv​Thv​/τ)​,

节点分类任务

\mathcal{C}\{\mathbf{t}_1,\mathbf{t}_2,\ldots,\mathbf{t}_C\}

C{t1​,t2​,…,tC​}。

作者通过labeled节点的token均值来初始化原型向量。

\mathbf{t}_c\frac{1}{N_c}\sum_{v\in\mathcal{V}_L,y_vc}\mathbf{t}_v,\forall

c\in1,2,\ldots

tc​Nc​1​∑v∈VL​,yv​c​tv​,∀c∈1,2,…C,

Self-prompt结构

\***ta^*,\phi^*\arg\min_{\***ta,\phi}\mathcal{L}_{pre}(f_\***ta,g_\phi,\mathcal{G})

θ∗,ϕ∗argminθ,ϕ​Lpre​(fθ​,gϕ​,G)

prompt时GNN

gϕ​可以包含更多的语义应该用于下游训练。

因此下游任务的优化可以表示为

arg

\phi^{**}\arg\min_{\phi^*}\mathcal{L}_{dow}(g_{\phi^*},\mathcal{V}_L,\mathcal{Y})

自结构语义的构建作者认为2-hop代表同配性并包含丰富的语义信息。

因此

\mathbf{t}_vf_\***ta(\mathcal{G}_2)[v]f_\***ta(\mathbf{A}_2,\mathbf{X})[v]

子语义提示

\mathbf{s}_{v}f_{\***ta}(\mathcal{G}_{I})[v]f_{\***ta}(\mathbf{I},\mathbf{X})[v].

\mathbf{h}_vf_\***ta(\mathcal{G})[v]f_\***ta(\mathbf{A},\mathbf{X})[v].

\mathbf{t}_vw_v\mathbf{s}_v(1-w_v)\mathbf{h}_v,w_vsim(h_v,s_v),

tv​wv​sv​(1−wv​)hv​,wv​sim(hv​,sv​),

Prompt

\mathcal{L}_{dow}-\sum_{v\in\mathcal{V}_{L}}\log\frac{\exp(\mathbf{t^{\prime}}_{v}\mathbf{t^{\prime}}_{y_{v}}/\tau)}{\exp(\mathbf{t^{\prime}}_{v}^{\mathsf{T}}\mathbf{t^{\prime}}_{y_{v}}/\tau)\sum_{c1,c\neq

y_{v}}^{C}\exp(\mathbf{t^{\prime}}_{v}^{\mathsf{T}}\mathbf{t^{\prime}}_{c}/\tau)},

Ldow​−∑v∈VL​​logexp(t′vT​t′yv​​/τ)∑c1,cyv​C​exp(t′vT​t′c​/τ)exp(t′v​t′yv​​/τ)​,其中

\mathbf{t^{\prime}}_{v}q_{\phi}(\mathbf{t}_{v})

t′v​qϕ​(tv​)

\mathcal{L}_{dow}-\sum_{(v,a,b)\in\mathcal{T}}\log\frac{\exp(\mathbf{t^{\prime}}_v^\mathsf{T}\mathbf{t^{\prime}}_a/\tau)}{\exp(\mathbf{t^{\prime}}_v^\mathsf{T}\mathbf{t^{\prime}}_a/\tau)\exp(\mathbf{t^{\prime}}_v^\mathsf{T}\mathbf{t^{\prime}}_b/\tau)}

Ldow​−∑(v,a,b)∈T​logexp(t′vT​t′a​/τ)exp(t′vT​t′b​/τ)exp(t′vT​t′a​/τ)​