GNN-CS224W: 3 Node Embeddings

graph representation learning

Automaticly learning efficient task-independent feature for machine learning with graphs，从而避免了特征工程

why embedding？

1. Similarity of embeddings between nodes indicates their similarity in the network.
2. Encode network information
3. Task independent, Potentially used for many downstream predictions

a simple pattern of Learning Node Embedding

1. Encoder: maps from nodes to embeddings

   $ENC(v)=z_v$, 输入为node，输出为node的embedding，

   例如一种简单的方式为给每个node定义一个向量，用node取embedding时直接执行embedding lookup操作

2. Define a node similarity function (i.e., a measure of similarity in the original network)

   $similarity(v,u)$

   一个计算node similarity的function，输入为没有转化为embedding的、original network的node，输出为2个node的相似度

3. Decoder: maps from embeddings to the similarity score

   计算两个node的embedding的similarity，

   例如可以用embedding向量的内积来表示相似度，即$z_v^T{z}_u$

4. 优化encoder的参数使得 (优化目标)：$similarity(v,u)=z_v^T{z}_u$

为什么向量内积可以表示相似度？

假设有N个向量，要找出和向量1最相似的向量。

依次计算向量2到N和向量1的内积。

内积=向量1的模 * 向量n在向量1上投影的长度

对所有向量计算的内积来说，向量1的模不变，那内积最大的就是在向量1上投影长度最大的向量

投影长度表示在向量1方向上的分量，可以认为是相似度。

How to define Node similarity

Random Walk

Notation:
$z_u$: The embedding of node u
$P(v|z_u)$: The (predicted) probability of visiting node v on random walks starting from node u
$N_R(u)$: neighborhood of u obtained by some random walk strategy R

What is random walk

Intuition: if random walk starting from node u visits v with high probability, u and v are similar (high-order multi-hop information)，所以用这种方法得到 node similarity function

如果边没有权重，访问u的neighbor完全随机，则$p(v|u)$大表示v和u距离近；如果边有权重，且将权重大的选择的可能性大，则$p(v|u)$大表示v离u近或者v到u的路径权重较大，或者又近权重又大。总之$p(v|u)$大则u和v的联系越紧密。

优点：

1. incorporates both local and higher-order neighborhood information
2. Efficiency: Do not need to consider all node pairs when training; only need to consider pairs that co-occur on random walks

How to learn Random Walk Embeddings

given $G=(V,E)$, goal is to learn $f(u)=z_u$

步骤

1. Run short fixed-length random walks starting from each node u in the graph using some random walk strategy R

2. For each node u collect $N_R(u)$, the multiset of nodes visited on random walks starting from u

   multiset的意思是一个node可以出现多次。
   ( 应该意思是把所有random walk path中出现过的节点都放到一个集合里，同一个元素可以出现多次，$P_R(v|u)=\frac{v出现的总次数}{所有节点出现的总次数}$。 括号内的部分不适用于这里，但是是一个有用的思想)

   到目前为止做到了Estimate probability of visiting node v on a random walk starting from node u using some random walk strategy R, 即 $P_R(v|u)$ (概率没有用到)

3. Optimize embeddings according to: Given node u, predict its neighbors $N_R(u)$

   Maximize log-likelihood objective: $$\underset{f}{\max }\sum _{u\in V}\log P(N_R(u)|z_u)$$

   其中$P(N_R(u)|z_u)=v\in N_R$