代码地址暂无1. 概述导读这篇文章提出的文本检测算法LOMO主要致力于去解决极端长文本与任意形状的文本检测问题这篇文章处理文本区域表达的时候会处理多次体现于IRM模块也对应文章标题的Look More Than Once。这篇文章的检测算法主要由直接回归单元direct regressorDR源于EAST、迭代优化模块iterative refinement moduleIRM与任意形状表达模块shape expression moduleSEM三部分组成。DR生成一个文本区域的四边形检测框IRM模块通过先前会对四边形检测框提取的特征块进行迭代优化从而逐渐感知到整个长文本SEM模块结合文本区域的几何特征在IRM模块的基础上重建更加精准的文本区域表达包括文本的区域、文本中心线以及边界的偏移量现有的文本检测方法存在CNN感受野不足实际感受野小于理论值与文本区域表达存在限制的问题具体见图1所示在图1a中每个虚线网络代表的是对应点出的感受野可以看出对于那种横贯整个图像的文本CNN是很难一次性全部捕获的对此文章是从局部到整体逐步优化实现的。在图1b中展示的是文本表达能力的限制扭曲形状更适合扭曲文本表达的形式。对于上面提到的两个问题文章中的算法通过IRM与SEM模块进行解决。对于长文本的检测IRM会在DR四边形检测结果的基础上多次回归与GT对应的坐标依赖于位置的attention机制IRM可以感受这些位置信息从而优化整个输入区域。对于任意形状的文本这里借鉴了Mask RCNN与TextSnake的机制使用文本中心线与对应偏移量的形式来表示一个文本。文章的主要贡献1提出了一个迭代优化模块IRM去优化长文本的检测2提出了SEM模块适应任意形状的文本检测3文章提出的检测算法是端到端的并且在现有的多个数据集上表现为state-of-the-art2. 方法设计2.2 网络结构文章的网络结构backbone选用的是ResNet-50使用FPN将stage2~5的特征融合起来得到分辨率为原始输入图尺寸1 4 \frac{1}{4}41​的特征图通道为128。对于DR部分直接是参考EAST中的回归方法由于感受野的关系得到的检测结果并不能很好包含文本区域见图22所示。之后IRM模块在DR输出的基础上进行迭代优化使得检测框与GT接近。之后SEM模块中去学习文本的中心线与边界的偏移从而得到任意形状文本的检测结果。文章的网络结构backbone选用的是ResNet-50使用FPN将stage2~5的特征融合起来得到分辨率为原始输入图尺寸1 4 \frac{1}{4}41​的特征图通道为128。对于DR部分直接是参考EAST中的回归方法由于感受野的关系得到的检测结果并不能很好包含文本区域见图22所示。之后IRM模块在DR输出的基础上进行迭代优化使得检测框与GT接近。之后SEM模块中去学习文本的中心线与边界的偏移从而得到任意形状文本的检测结果。其网络结构见下图所示2.2 DR模块在DR模块中将文本与非文本的二分类问题转换为了二值分割问题并使用了尺度不变的dice-coefficient作为损失函数其定义为其中y yy是二值标注y ^ \hat{y}y^​是预测结果w ww是二维权值空间其中对于正样本位置设置为值l 64 l64l64负样本位置为1.0。对于检测框的坐标值回归使用的是smooth L1损失函数对于4个角点采用的是8个特征图进行预测。则对于这部分的损失函数为L d r λ L c l s L l o c L_{dr}\lambda L_{cls}L_{loc}Ldr​λLcls​Lloc​这里λ 0.01 \lambda0.01λ0.01。2.3 IRM模块IRM模块的设计参考了基于区域的检测算法思路其中的边界框回归任务这里采用RoI transform layer去提取四边形proposal区域这样的好处是保持长宽比例不变所以并未采用RoI Pooling或RoI align Pooling其输出的维度是1 ∗ 8 ∗ 64 ∗ 128 1*8*64*1281∗8∗64∗128。由于与文本区域角点接近的位置能够在相同感受野下获得更加精准的边界信息这里使用Corner attention机制去回归相对每个角点的坐标偏移。IRM模块的结构见下图所示RoI transform layer的输出经过3个3 ∗ 3 3*33∗3的卷积得到f r f_rfr​之后使用一个1 ∗ 1 1*11∗1的卷积与sigmoid操作去学习4个角点的特征图m a m_ama​之后将两个输出做分组点乘与sum reduce操作其输出结果为f c i f_c^ifci​代表的是第i ii个角点回归特征维度为1 ∗ 1 ∗ 1 ∗ 128 1*1*1*1281∗1∗1∗128。这样就可以得到4个角点的回归特征图。在训练的时候选择DR模块中的前K KK个结果用于训练则角点部分的损失函数被定义为2.4 SEM模块SEM模块中三个比较关键的部分是文本区域分割图、文本中心线以及文本区域的边界偏移。对于文本中心线是在原文本区域的基础上进行收缩得到的而边界偏移是文本中心线在一个点上的法线与上下边界的角点这里用4个特征图去回归。则整个SEM模块的结构见下图所示这里涉及到三个部分的回归损失对于这三个部分的损失采用的是如下方式进行组合其中λ 1 λ 2 0.01 , λ 3 1 \lambda_1\lambda_20.01,\lambda_31λ1​λ2​0.01,λ3​1对于文中涉及到的3个部分的损失这里是使用如下的方式进行组合加权值都为1.03. 实验结果3.1 性能比较ICDAR 2015ICDAR 2017-MLT3.3 消融实验IRM中迭代优化次数与角点注意力机制对性能的影响中心线上点的采样个数对性能的影响IRM与SEM对性能的影响