Unzip the codes and walk into the 'TATT_ROOT/', place the pretrained weights from recognizer in 'TATT_ROOT/'. Run the test-prefixed shell to test the corresponding model. title={A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution}, author={Ma, Jianqi and Liang, Zhetong and Zhang, Lei},

2024年2月19日 · 在本文中，我们提出了一个基于CNN的文本关注网络（TATT）来解决这个问题。 文本识别模块首先提取文本的语义作为文本的先验信息。 然后，我们设计了一个新的基于 Transformer 的模块，该模块利用全局注意机制，在文本重建之前发挥文本的语义指导作用。 此外，我们提出了一种文本结构一致性损失，通过将结构一致性强加于规则文本和变形文本的重建，来改善视觉外观。 在基准TextZoom数据集上的实验表明，提出的TATT不仅在PSNR/SSIM度量 …

2022年3月17日 · In this paper, we propose a CNN based Text ATTention network (TATT) to address this problem. The semantics of the text are firstly extracted by a text recognition module as text prior information. Then we design a novel transformer-based module, which leverages global attention mechanism, to exert the semantic guidance of text prior to the text ...

TPG的作用是用来预测识别的文本序列中的字符的probability，以此来作为text的先验信息 f_P 。 其中 f_P \in \mathbb {R}^ {l\times \left | \mathcal {A} \right | } ，代表着 l -length的sequence是由类别可能性向量（categorical probability vectors）组成的，向量的长度是 \mathcal {A} 。 \mathcal {A} 被定义为字符集合包含了'0'到'9'，'a'到'z'和一个blank class，一共37个。 在作者提出的结构中，TPI是最关键的部分。 TPI的目的是将文本先验 f_P 融入进图片的特征 f_I 里。

2023年9月16日 · 实验表明，使用本文提出的显式位置建模方案可以进一步提升超分辨率模型在下游识别任务中的精度，同时对复杂样例表现出很强的鲁棒性。 场景文本识别是一项重要的计算机视觉任务，在自动驾驶、证件识别等领域具有广泛的应用。 尽管取得了令人印象深刻的进展，但目前的场景文本识别方法仍然难以处理低分辨率图像。 因此，为场景文本图像定制超分辨率网络已成为一个热门的研究课题。 为此，近年来许多场景文本图像超分辨率方法被提出并取得了可喜的 …

本文简要介绍CVPR 2022录用论文“A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution“的主要工作。 该工作提出了一个新的用于场景文本图像超分的文本注意力网络， 利用文本先验知识来指导整个超分过程；现有基于CNN的场景文本超分方法难以为空间形变文本重建高分辨率图像，针对这一问题，该工作提出了一个基于Transformer架构的TP Interpreter模块，利用全局注意力机制将文本先验和图像特征进行对齐，以实现更好的SR恢复 …

2022年10月7日 · 这篇工作是作者对其先前工作TPGSR[2]的改进，TATT和TPGSR都是基于文本先验引导（TP-guided）的方法；但作者认为TPGSR 模型仅采用了一种简单的方法来利用文本先验：它只是通过卷积将文本先验与图像特征合并，而这种卷积操作只能让文本先验与图像特征在较小 …

2024年8月29日 · Furthermore, TATT is a text-aware super-resolution method utilizing a self-attention mechanism to capture long-range dependencies and enhancing text details effectively. It exploits the correlation between text regions and combines text-aware attention maps along with the super-resolution process to improve text readability.

2024年8月7日 · To overcome these challenges, based on the TATT model, this paper introduces a new STISR network framework guided by enhanced text priors, named EEP, aimed at enhancing image edge features and facilitating multi-scale feature extraction to avoid the misleading effects of redundant information.

2022年3月17日 · In this paper, we propose a CNN based Text ATTention network (TATT) to address this problem. The semantics of the text are firstly extracted by a text recognition module as text prior information.