ASTER：An Attentional Scene Text Recognizer with Flexible Rectification

转自：https://www.cnblogs.com/lillylin/p/9315180.html

代码链接：https://github.com/bgshih/aster

方法概述

本文方法主要解决不规则排列文字的文字识别问题，论文为之前一篇CVPR206的paper（Robust Scene Text Recognition with Automatic Rectification，方法简称为RARE）的改进版（journal版）。

1. 主要思路

• 针对不规则文字，先矫正成正常线性排列的文字，再识别；
• 整合矫正网络和识别网络成为一个端到端网络来训练；
• 矫正网络使用STN，识别网络用经典的sequence to sequence + attention

2. 方法框架和流程

方法ASTER全称为Attentional Scene TExt Recognizer with Flexible Rectification，包括两个模块，一个用来矫正（rectification network），另一个用来识别（recognition work），如下图所示。

3. 文章亮点

• 效果太好了，针对普通文字和不规则文字，尤其是不规则文字
• 端到端训练 + 不需要人工标注（无需矫正网络的控制点）

方法细节

1. 背景

问题定义

本文要解决的问题是irregular text的识别问题，包括：多方向文字（oriented text）、透视形变文字（perspective text）、曲线文字（curved text），如下图所示：

TPS

TPS全称Thin-Plate-Spline，可以对形变图像（仿射、透视、曲线排列等）进行校正，通过对control point进行定位和映射，来得到校正后的图像，方便后续进行识别。如下图所示，详细算法可以阅读参考文献1。