从BERT到GraphCodeBERT：程序员需要了解的代码表示学习演进史

从BERT到GraphCodeBERT：程序员需要了解的代码表示学习演进史

在代码智能领域，模型如何"理解"代码一直是个迷人的课题。想象一下，如果AI能像资深工程师一样读懂代码逻辑、自动生成文档甚至优化代码结构，开发效率将获得怎样的飞跃？这背后离不开代码表示学习技术的突破性进展——从最初处理自然语言的BERT，到专为代码设计的GraphCodeBERT，模型对程序语义的捕捉能力正在发生质的跃迁。

1. 预训练模型的起点：BERT如何开启语言理解新范式

2018年问世的BERT模型彻底改变了自然语言处理的技术路线。其核心突破在于两点：

1. 双向上下文编码：传统模型（如LSTM）只能单向处理文本，而BERT通过Transformer架构同时捕捉前后文信息
2. 预训练-微调范式：先在海量无标注数据上预训练通用语言表示，再针对具体任务微调

# 典型的BERT输入表示
[CLS] 这段代码实现了快速排序 [SEP] def quicksort(arr): [SEP]

但直接将BERT用于代码处理存在明显局限：

• 代码的强结构性：编程语言需要理解括号匹配、作用域等语法约束
• 跨模态关联：代码与注释/文档间的对应关系需要特殊建模
• 执行语义：变量数据流、控制流等运行时特性无法通过文本表面捕获

实验显示：直接用BERT处理代码在代码搜索任务上的准确率比专用模型低23%

2. CodeBERT：跨越自然语言与编程语言的鸿沟

微软2020年推出的CodeBERT标志着代码专用预训练模型的开端。其创新点主要体现在：

2.1 双模态预训练架构

CodeBERT采用共享参数