基于Glyph的化学结构识别：MarkushGlyph与OCSRGlyph模型解析与实践

如果你是一名化学信息学研究者、药物研发工程师，或者正在处理海量化学文献和专利，那么你一定遇到过这个令人头疼的问题： 如何让计算机真正“看懂”一张化学结构图？

从 PDF 文献中提取一个苯环结构，看似简单，但面对复杂的 Markush 结构（一种在专利中广泛使用的、表示一类化合物的通用结构式），传统的光学化学结构识别（OCSR）工具往往束手无策。识别率低、对模糊图像敏感、无法处理通配符（R基团）和重复单元，这些问题长期阻碍着化学信息的数字化和自动化分析。

最近，两个新的开源模型—— MarkushGlyph 和 OCSRGlyph ——的出现，正在改变这一局面。它们并非简单的迭代更新，而是针对 OCSR 任务中两个最核心的痛点，提出了全新的解决方案架构。简单来说：

• OCSRGlyph 专攻 “识别准” ，它革新了原子和化学键的检测与分类方式，在标准化学结构识别上达到了新的精度。
• MarkushGlyph 则挑战 “认得全” ，它是首个专门为理解复杂的、带有不确定性的 Markush 结构而设计的端到端模型，填补了该领域的空白。

本文将深入解析这两个模型为何重要、它们解决了什么具体问题、以及你如何快速上手使用。我们不止步于介绍论文，更会提供清晰的环境搭建、代码运行、结果解读和避坑指南，让你能切实地将这项前沿技术应用到自己的研究或项目中。

1. 化学结构识别（OCSR）的困境与破局点

在深入模型之前，我们必须先理解问题的复杂性。化学结构识别（Optical Chemical Structure Recognition, OCSR）的目标是将化学结构图像（如从PDF中截取的图表）自动转换为机器可读的格式，如SMILES、InChI或Mol文件。

传统流程与核心挑战： 传统的OCSR流程通常是一个“流水线”，包括图像预处理、图形元素分割（分离出原子符号、键线）、光学字符识别（OCR）识别原子标签，最后通过规则或图算法重建化学结构。这个流程脆弱且容易出错：

1. 图像质量依赖性强 ：扫描模糊、低分辨率、倾斜的图像会导致分割失败。
2. 上下文依赖严重 ：一个“C”是碳原子还是“Cl”的一部分？需要依赖周围像素判断。
3. Markush 结构是“噩梦” ：专利中的 Markush 结构包含 R 基团（可变取代基）、重复单元（n）、原子列表（如 C, N, O）等。传统方法缺乏统一的框架来理解和表示这种不确定性。

MarkushGlyph 和 OCSRGlyph 的破局思路： 这两个模型都采用了“目标检测”的现代深度学习范式，但进行了关键改造：

• 将化学结构视为“图文”混合体 ：不再将原子符号视为需要OCR识别的“文本”，而是将其与化学键一样，视为图像中需要被检测和分类的“视觉对象”（Glyph，字形）。
• 端到端学习 ：模型直接从原始图像像素，学习预测原子和键的位置、类别以及它们之间的连接关系，避免了脆弱的多阶段流水线。
• 专门化设计 ：OCSRGlyph 优化了对标准、确定性结构的识别精度；MarkushGlyph 则扩展了原子和键的类别体系，新增了用于表示不确定性的特殊“Glyph”，从而原生支持 Markush 结构。

理解这一点，你就明白了它们的价值： 它们不是优化了某个环节，而是用一套新的“语言”（基于Glyph的目标检测）重新定义了OCSR任务，尤其是为Markush结构识别提供了可行的技术路径。

2. 核心概念解析：Glyph、Markush 与模型架构

2.1 什么是 Glyph（字形）？

在这两个模型中，“Glyph”是一个核心抽象。你可以把它理解为化学结构图像中的一个 基本视觉单元 。它主要分为两类：

• 原子 Glyph ：代表一个原子符号（如 “C”, “N”, “O”）或一个原子团（如 “CH3”, “Ph”）。在 MarkushGlyph 中，还包括了特殊 Glyph，如 “R”（可变取代基）、”*”（连接点）、”[n]”（重复单元指示符）等。
• 键 Glyph ：代表化学键，如单键、双键、三键、楔形键（立体化学键）、芳香键等。

模型的任务就是在图像中找出所有这些 Glyph，并预测它们的 类别 、 边界框 以及 连接关系 。

2.2 什么是 Markush 结构？

Markush 结构是化学专利中用于保护一类化合物的表述方式。它通过引入“变量”来定义一组结构相似的化合物。

• R 基团 ：表示该位置可以被一系列指定的原子或基团取代。
• 重复单元 ：例如 “(CH2)n”，表示亚甲基单元可以重复 n 次（n为整数）。
• 原子列表 ：例如 “X = C, N, O”，表示该位置可以是碳、氮或氧原子。
• 环系变化 ：表示环的大小或组成原子可以变化。

传统 OCSR 输出一个确定的分子，而 Markush 结构识别需要输出一个 带有变量的模板 。MarkushGlyph 的识别目标正是这种模板。

2.3 模型架构总览

两个模型都基于强大的目标检测框架（如 YOLO 或 DETR 变体），但 head（头部）设计针对化学结构进行了定制。

OCSRGlyph 架构要点：

1. 骨干网络 ：通常采用 ResNet 或 Transformer 架构的视觉编码器，用于从图像提取特征。
2. 检测头 ：同时预测原子 Glyph 和键 Glyph 的边界框及类别。
3. 关系解码 ：关键的一步。模型不仅检测出独立的 Glyph，还通过一个额外的网络头或后处理步骤，预测哪些原子 Glyph 和键 Glyph 是相连的，从而构建出化学图。

MarkushGlyph 架构要点： 在 OCSRGlyph 的基础上，主要进行了以下扩展：

1. 扩展的 Glyph 类别体系 ：在原子类别中加入了 R_GROUP , ATTACHMENT_POINT , REPEATING_UNIT 等，在键类别中也考虑了 Markush 特有的表示法。
2. 增强的关系建模 ：Markush 结构中连接关系更复杂（如虚键表示可选连接），模型需要更精细的关系推理能力。
3. 输出表示 ：最终输出不是标准的 SMILES，而是一种能够表达变量和选择的中间表示（如带有 R 组标记的 Mol 文件或自定义 JSON 格式），后续可转换为 MRV（Marvin）文件或 RGroup 分解可用的格式。

3. 环境准备：从零搭建运行环境

要运行或测试这些模型，你需要一个配置合理的 Python 环境。以下步骤将引导你完成设置。

3.1 基础环境要求

• 操作系统 ：Linux (Ubuntu 20.04/22.04 推荐) 或 Windows (WSL2 推荐)。macOS 也可行，但需注意某些依赖的编译。
• Python ：版本 3.8 或 3.9。3.10+ 可能存在部分包兼容性问题，建议使用 3.9。
• 包管理器 ：使用 conda 或 venv 创建虚拟环境，强烈推荐，以避免依赖冲突。
• 深度学习框架 ：PyTorch。模型通常基于 PyTorch 实现。
• CUDA ：如果你有 NVIDIA GPU 并希望加速训练和推理，需要安装对应版本的 CUDA 和 cuDNN。CPU 也可运行，但速度较慢。

3.2 逐步安装指南

我们以 Linux/ WSL2 环境为例，使用 conda 管理环境。

步骤 1：创建并激活虚拟环境

# 创建名为 ocr_glyph 的 Python 3.9 环境
conda create -n ocr_glyph python=3.9 -y
conda activate ocr_glyph

步骤 2：安装 PyTorch 访问 PyTorch 官网 获取适合你 CUDA 版本的安装命令。例如，对于 CUDA 11.8：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

如果仅使用 CPU：

pip install torch torchvision torchaudio

步骤 3：安装核心科学计算与图像处理库

pip install numpy pandas matplotlib opencv-python pillow scikit-learn

步骤 4：安装化学信息学工具包 RDKit 是处理化学结构的基石，但它的安装有时比较棘手。使用 conda 安装通常最可靠：

# 首先添加 conda-forge 通道（如果尚未添加）
conda config --add channels conda-forge
conda config --set channel_priority strict
# 安装 rdkit
conda install -c conda-forge rdkit -y

验证 RDKit 安装：

python -c "import rdkit; print(rdkit.__version__)"

步骤 5：克隆项目仓库并安装依赖 假设项目的代码托管在 GitHub 上（这是常见情况）。你需要找到 MarkushGlyph 和 OCSRGlyph 的官方仓库。

# 示例，请替换为实际仓库URL
git clone https://github.com/author_name/OCSRGlyph.git
git clone https://github.com/author_name/MarkushGlyph.git

cd OCSRGlyph
# 安装项目特定的依赖，通常通过 requirements.txt
pip install -r requirements.txt
# 如果项目是 pip 可安装的，也可能需要
pip install -e .

对 MarkushGlyph 重复类似操作。

步骤 6：安装其他可能需要的工具

• PDF 处理 ：如果需要从 PDF 提取图像，你可能需要 pdf2image 和 Poppler。

  pip install pdf2image
  # Ubuntu 安装 Poppler
  sudo apt-get install poppler-utils
  

• 可视化 ：用于绘制化学结构。

  pip install cairosvg  # 如果需要 SVG 支持
  

完成以上步骤后，你的基础环境就准备好了。接下来，我们进入核心的模型使用环节。

4. 实战：使用 OCSRGlyph 识别标准化学结构

我们假设你已经成功克隆了 OCSRGlyph 仓库并安装了依赖。以下是一个完整的从图像到分子对象的推理流程。

4.1 准备输入图像

模型输入通常是裁剪好的、只包含单个化学结构的 PNG 或 JPEG 图像。背景最好是白色，结构清晰。你可以从公开数据集中获取，或者自己从 PDF 中裁剪。 例如，将你的图像命名为 test_structure.png 。

4.2 运行推理脚本

查看项目根目录，通常会有 predict.py 或 inference.py 这样的脚本。你需要准备一个配置文件（ config.yaml ）和训练好的模型权重（ .pth 文件）。作者通常会提供预训练模型。

示例命令行：

python tools/inference.py \
  --config configs/ocsrglyph_config.yaml \
  --checkpoint path/to/pretrained_ocsrglyph.pth \
  --image_path ./test_structure.png \
  --output_dir ./results

4.3 代码解读与自定义推理

如果项目提供了更灵活的 API，你可以编写自己的 Python 脚本。下面是一个模拟的、基于典型代码结构的示例：

# 文件：infer_ocsr.py
import torch
from PIL import Image
import cv2
from models.ocsrglyph import OCSRGlyph
from utils.config import get_config
from utils.postprocess import glyphs_to_mol

def main():
    # 1. 加载配置和模型
    cfg = get_config('configs/ocsrglyph_config.yaml')
    model = OCSRGlyph(cfg)
    
    # 加载预训练权重
    checkpoint = torch.load('pretrained/ocsrglyph_best.pth', map_location='cpu')
    model.load_state_dict(checkpoint['model'])
    model.eval()  # 设置为评估模式
    model.to('cuda' if torch.cuda.is_available() else 'cpu')
    
    # 2. 预处理图像
    image_path = 'test_structure.png'
    # 使用项目提供的预处理函数，通常包括缩放、归一化等
    image = Image.open(image_path).convert('RGB')
    # 假设有一个预处理的 transform
    from utils.transforms import get_inference_transform
    transform = get_inference_transform(cfg.INPUT.SIZE)
    input_tensor = transform(image).unsqueeze(0)  # 增加 batch 维度
    
    # 3. 模型推理
    with torch.no_grad():
        if torch.cuda.is_available():
            input_tensor = input_tensor.cuda()
        # 模型输出可能包括原子/键的预测框、类别、分数、连接关系
        outputs = model(input_tensor)
    
    # 4. 后处理：将 Glyph 预测转换为化学分子
    # 这通常是项目中最复杂的部分之一
    atom_glyphs = outputs['atom_preds']  # 形状: [N_atoms, 6] (x1,y1,x2,y2,class,score)
    bond_glyphs = outputs['bond_preds']  # 形状: [N_bonds, 6]
    adjacency = outputs['adjacency']     # 可能是一个邻接矩阵或连接列表
    
    # 使用项目提供的后处理函数
    mol = glyphs_to_mol(atom_glyphs, bond_glyphs, adjacency)
    
    # 5. 输出结果
    if mol is not None:
        # 生成 SMILES
        from rdkit import Chem
        smiles = Chem.MolToSmiles(mol)
        print(f"识别成功的 SMILES: {smiles}")
        
        # 保存分子图像用于可视化对比
        from rdkit.Chem import Draw
        img = Draw.MolToImage(mol, size=(300, 300))
        img.save('./results/recognized_mol.png')
        
        # 保存为 Mol 文件
        writer = Chem.SDWriter('./results/recognized_mol.mol')
        writer.write(mol)
        writer.close()
    else:
        print("结构识别失败，可能后处理无法构建有效分子。")
        
if __name__ == '__main__':
    main()

关键点说明：

• 配置与权重 ：你必须使用与预训练模型匹配的配置文件。 config.yaml 定义了模型结构、输入尺寸、类别数等关键参数。
• 后处理 ： glyphs_to_mol 是核心函数，负责将模型输出的离散检测框和连接预测，组合成一个连贯的 RDKit 分子对象。这个函数通常由项目提供，逻辑复杂，不建议自己从头实现。
• 设备 ：代码中自动判断使用 GPU 或 CPU。

5. 实战：使用 MarkushGlyph 识别专利结构

MarkushGlyph 的使用流程与 OCSRGlyph 类似，但输入输出更具挑战性。

5.1 输入图像的特点

Markush 结构图像可能更复杂：

• 包含大量的 R、R1、R2 等标记。
• 有虚线框、虚线键表示可选部分。
• 结构可能非常大，占据多页。 在预处理时，可能需要先将大图分割成包含单个子结构的区域。有些工具或模型可能集成了分割功能。

5.2 推理与输出解析

运行推理的命令行类似：

python markush_inference.py \
  --model_cfg configs/markush_config.yaml \
  --weights path/to/markushglyph.pth \
  --input ./patent_diagram.png \
  --output ./markush_output.json

5.3 理解输出：从 Glyph 到 Markush 模板

MarkushGlyph 的输出不是标准分子，而是一个 结构模板 。以下是一个模拟的输出 JSON 结构，展示了核心信息：

{
  "success": true,
  "input_image": "patent_diagram.png",
  "recognized_glyphs": {
    "atoms": [
      {"id": 0, "type": "C", "bbox": [x1, y1, x2, y2], "confidence": 0.99},
      {"id": 1, "type": "C", "bbox": [x1, y1, x2, y2], "confidence": 0.98},
      {"id": 2, "type": "N", "bbox": [x1, y1, x2, y2], "confidence": 0.97},
      {"id": 3, "type": "R_GROUP", "label": "R1", "bbox": [x1, y1, x2, y2], "confidence": 0.96},
      {"id": 4, "type": "ATTACHMENT_POINT", "connected_to": [3], "bbox": [x1, y1, x2, y2], "confidence": 0.95}
    ],
    "bonds": [
      {"id": 0, "type": "SINGLE", "from": 0, "to": 1, "confidence": 0.99},
      {"id": 1, "type": "DOUBLE", "from": 1, "to": 2, "confidence": 0.98},
      {"id": 2, "type": "SINGLE", "from": 0, "to": 3, "confidence": 0.97},
      {"id": 3, "type": "DASHED", "from": 4, "to": 5, "confidence": 0.90, "optional": true}
    ]
  },
  "markush_template": {
    "core_smiles": "C1=CC=CC=C1", // 核心骨架的SMILES
    "r_groups": {
      "R1": {
        "attachment_atom": 0, // 连接到核心骨架的原子ID
        "variants": ["H", "CH3", "OCH3", "Cl"] // 可能的取代基列表（可能需要从专利文本额外解析）
      }
    },
    "repeating_units": [
      {"unit_smiles": "C", "min_count": 1, "max_count": 6, "label": "n"}
    ]
  }
}

如何利用这个输出？

1. 可视化检查 ：根据 recognized_glyphs 中的边界框信息，可以在原图上绘制检测结果，验证识别准确性。
2. 生成核心分子 ：利用 core_smiles 和 RDKit，可以构建出核心骨架的分子对象。
3. R 组处理 ： r_groups 信息可以与专利文本挖掘结合，用于枚举化合物库或进行 R 组分析。
4. 转换为标准格式 ：可以编写代码将此 JSON 转换为 MRV (Marvin) 文件或直接用于下游的化学信息学管道。

6. 效果验证与性能评估

运行模型后，如何判断识别得好不好？

6.1 定性评估（肉眼检查）

这是最直接的方法。将原始图像、模型检测出的 Glyph（用框标出）、以及最终生成的分子结构（或 Markush 模板）并排显示。

使用 RDKit 和 Matplotlib 进行可视化对比的示例代码：

import matplotlib.pyplot as plt
from PIL import Image
import cv2
from rdkit.Chem import Draw

def visualize_comparison(orig_image_path, atom_boxes, bond_boxes, rdkit_mol, output_path='comparison.png'):
    fig, axes = plt.subplots(1, 3, figsize=(15, 5))
    
    # 子图1：原始图像
    orig_img = Image.open(orig_image_path)
    axes[0].imshow(orig_img)
    axes[0].set_title('Original Image')
    axes[0].axis('off')
    
    # 子图2：Glyph检测结果（绘制边界框）
    # 假设 atom_boxes, bond_boxes 是列表，每个元素为 [x1, y1, x2, y2, class_id, score]
    img_with_boxes = cv2.imread(orig_image_path)
    img_with_boxes = cv2.cvtColor(img_with_boxes, cv2.COLOR_BGR2RGB)
    
    for box in atom_boxes:
        x1, y1, x2, y2, cls, conf = box
        cv2.rectangle(img_with_boxes, (int(x1), int(y1)), (int(x2), int(y2)), (255, 0, 0), 2) # 蓝色框-原子
        # 可以在框附近添加类别文本
        label = f"Atom:{cls}({conf:.2f})"
        cv2.putText(img_with_boxes, label, (int(x1), int(y1)-5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255,0,0), 1)
    
    for box in bond_boxes:
        x1, y1, x2, y2, cls, conf = box
        cv2.rectangle(img_with_boxes, (int(x1), int(y1)), (int(x2), int(y2)), (0, 0, 255), 2) # 红色框-键
    
    axes[1].imshow(img_with_boxes)
    axes[1].set_title('Detected Glyphs (Blue:Atom, Red:Bond)')
    axes[1].axis('off')
    
    # 子图3：RDKit生成的分子
    if rdkit_mol is not None:
        mol_img = Draw.MolToImage(rdkit_mol, size=(300, 300))
        axes[2].imshow(mol_img)
        axes[2].set_title('Recognized Molecule')
    else:
        axes[2].text(0.5, 0.5, 'Recognition Failed', ha='center', va='center')
    axes[2].axis('off')
    
    plt.tight_layout()
    plt.savefig(output_path, dpi=150)
    plt.show()
    print(f"对比图已保存至: {output_path}")

# 调用函数
# visualize_comparison('test.png', atom_preds, bond_preds, mol, 'result_comparison.png')

6.2 定量评估（使用标准数据集）

如果你是进行严肃的研究或模型比较，需要使用带有真实标注（Ground Truth）的数据集进行定量评估。

常见评估指标：

• Glyph 检测指标 ：使用目标检测领域的标准指标，如平均精度（Average Precision, AP），分别计算原子和键的检测精度。
• 分子级指标 ：比较预测的分子（SMILES）与真实分子是否一致。常用 精确匹配率 或 Tanimoto 相似度 （基于分子指纹）。
• 对于 MarkushGlyph ：评估更为复杂，可能包括 R 组检测的准确率、连接点识别的正确率等。需要专门标注的 Markush 数据集。

运行官方评估脚本： 项目通常提供 eval.py 脚本。

python tools/eval.py \
  --config configs/ocsrglyph_config.yaml \
  --checkpoint path/to/model.pth \
  --dataset_dir ./path/to/test_dataset \
  --output_metrics ./eval_results.json

评估脚本会遍历测试集，计算各项指标并输出报告。

7. 常见问题与排查指南

在实际使用中，你可能会遇到以下典型问题。这里提供排查思路。

8. 最佳实践与工程化建议

要将这些研究模型应用于实际生产或研究流水线，需要考虑以下方面：

8.1 数据预处理标准化

• 图像归一化 ：建立统一的预处理流程，包括：转换为灰度图或RGB、二值化（对于清晰线条图）、尺寸调整（保持长宽比并填充至模型输入尺寸）、归一化像素值。
• PDF 提取优化 ：使用 pdf2image 或 PyMuPDF 时，设置合适的 DPI（建议 300-400 DPI）。对于复杂的专利文档，可能需要先进行版面分析，定位化学图表区域。
• 处理大图 ：对于超大的化学结构图，实现一个滑动窗口或基于连通成分分析的自动分割算法，将大图切割成多个可处理的小图，识别后再拼接结果。

8.2 模型集成与微调

• 模型集成 ：对于关键任务，可以同时运行 OCSRGlyph 和另一个优秀的开源 OCSR 工具（如 DECIMER 或 ChemGrapher ），通过投票或置信度加权的方式融合结果，提高鲁棒性。
• 领域微调 ：如果你主要处理某一特定领域（如有机化学、高分子、药物专利）的图表，收集几百张该领域的标注图像对预训练模型进行微调，能显著提升在该领域的识别率。注意需要按照项目要求的格式准备标注数据（通常是 COCO 或自定义 JSON 格式）。
• 持续验证 ：建立一个包含多样本、多难度的测试集，每次模型更新后都运行评估，监控性能变化。

8.3 后处理与结果校验

• 化学规则校验 ：利用 RDKit 的化学有效性检查。识别生成的分子，先用 Chem.SanitizeMol(mol) 进行 sanitization，如果失败，则说明结构可能存在价态、键级等化学不合理之处，需要记录为低置信度结果或触发人工复核。
• 与文本信息交叉验证 ：在专利或文献中，化学结构附近常有文本描述（如分子式、化合物编号）。可以将识别出的 SMILES 计算的分子式与文本中提取的分子式进行比对，作为一致性校验。
• 置信度过滤 ：为原子、键的检测置信度以及最终分子生成设置阈值。低于阈值的结果应被标记，不直接进入下游流程。

8.4 生产环境部署考虑

• 服务化 ：使用 FastAPI 或 Flask 将模型封装为 RESTful API 服务。这样可以被其他系统（如文献挖掘平台、ELN 系统）调用。

  # 简化的 FastAPI 服务示例
  from fastapi import FastAPI, File, UploadFile
  from PIL import Image
  import io
  app = FastAPI()
  # 加载模型 (全局变量，启动时加载一次)
  model = load_your_model()
  @app.post("/recognize/")
  async def recognize_structure(file: UploadFile = File(...)):
      contents = await file.read()
      image = Image.open(io.BytesIO(contents))
      result = model.predict(image)
      return {"smiles": result["smiles"], "confidence": result["confidence"]}
  

• 批处理与队列 ：对于大量文件的处理，使用消息队列（如 RabbitMQ, Redis）和后台任务队列（如 Celery）进行异步处理，避免 HTTP 请求超时。
• 监控与日志 ：记录每次请求的输入哈希、处理时间、识别结果、置信度以及任何错误信息。这有助于追踪问题和分析模型性能衰减。

8.5 处理 Markush 结构的特殊策略

• 分而治之 ：复杂的 Markush 结构图可能包含多个子结构或示例化合物。开发一个简单的基于规则或机器学习的分割模块，将大图分解为多个独立的识别任务。
• 模板库匹配 ：对于常见药效团或骨架，可以建立 Markush 模板库。当识别出一个结构时，先与模板库进行子图匹配，匹配成功则直接应用模板的变量定义，可以提高准确性和效率。
• 人机协同 ：全自动识别 Markush 结构目前仍是极高难度的挑战。设计一个良好的人机交互界面（GUI），让专家可以快速修正模型识别出的 Glyph 和连接关系，并将修正后的数据反馈用于模型改进，是可行的落地路径。

通过遵循这些最佳实践，你可以将 MarkushGlyph 和 OCSRGlyph 从研究原型稳步地转化为能够解决实际化学信息提取问题的强大工具。记住，没有哪个模型是万能的，理解其能力边界，并在关键环节引入校验和人工复核，是构建可靠系统的关键。