#paper/⭐⭐
发表于：Neurips23
k-MIGNN
其利用互信息为message passing加了一个重要性系数，如下：
h v ( t + 1 ) = σ ( h v ( t ) , W ( t + 1 ) ∑ w ∈ V ( I ′ ) k ( v , w ) ⋅ h w ( t ) ) \mathbf{h}_v^{(t+1)}=\sigma\left(\mathbf{h}_v^{(t)},\mathbf{W}^{(t+1)}\sum_{w\in V}(I^{\prime})^k(v,w)\cdot\mathbf{h}_w^{(t)}\right) hv(t+1)=σ(hv(t),W(t+1)w∈V∑(I′)k(v,w)⋅hw(t))
其实可以和GAT做对照：
h i ( l + 1 ) = ∑ j ∈ N ( i ) α i , j W ( l ) h j ( l ) h_i^{(l+1)}=\sum_{j\in\mathcal{N}(i)}\alpha_{i,j}W^{(l)}h_j^{(l)} hi(l+1)=j∈N(i)∑αi,jW(l)hj(l)
可以看到，其相当于将注意力分数用节点互信息机制去代替
粗略公式：（具体公式看论文）
假设，我们有两个节点v和w，以及随机节点变量 X v k , X w k X_{v}^k,X_{w}^k Xvk,Xwk
节点v和节点w的kth节点互信息
I k ( v , w ) : = H k ( v ) + H k ( w ) − H k ( v , w ) I^k(v,w):=H^k(v)+H^k(w)-H^k(v,w) Ik(v,w):=Hk(v)+Hk(w)−Hk(v,w)
节点距离被节点互信息引导：
D k ( v , w ) : = 1 − I k ( v , w ) H k ( v , w ) D^k(v,w):=1-\frac{I^k(v,w)}{H^k(v,w)} Dk(v,w):=1−Hk(v,w)Ik(v,w)
规范化节点互信息：
( I ′ ) k ( v , w ) : = 1 − D k ( v , w ) = H k ( v ) + H k ( w ) − H k ( v , w ) H k ( v , w ) . (I')^k(v,w):=1-D^k(v,w)=\frac{H^k(v)+H^k(w)-H^k(v,w)}{H^k(v,w)}. (I′)k(v,w):=1−Dk(v,w)=Hk(v,w)Hk(v)+Hk(w)−Hk(v,w).
