做 OCR 项目的人可能都经历过这种尴尬模型在英文、中文公开测试集上刷分很漂亮一部署到孟加拉语的街道、商店招牌、公交车身上识别率肉眼可见地崩。很多人第一反应是“模型不够强”于是换更大的 backbone、加更多训练数据却忽略了一个更基础的问题——你手上根本没有一套能代表真实世界分布的孟加拉语评测数据连“崩了多少、崩在哪里”都说不清楚。BanglaWild 正是为这个缺口提出的一个 in-the-wild 孟加拉语场景文本识别基准目标受众是传统 OCR 模型和视觉语言模型VLM。本文不打算只转述论文而是把这类基准的评估方法论拆开讲孟加拉语文字到底难在哪、一个靠谱的评测流程长什么样、指标怎么算、结果怎么读、哪里最容易踩坑。读完你可以把任何 OCR 或 VLM 模型接入这套评估流程得到可比较、可复现的对比结果。先给一个明确判断对于小语种场景文本识别评测基准和模型本身同等重要。没有统一基准你无法判断模型的进步是真能力提升还是恰好拟合了私有数据。如果你正在做多语言 OCR、中文大模型的多语言能力评估或者想在生产环境接入孟加拉语识别这篇文章值得读到最后。1. 场景文本识别与文档 OCR 的本质差别很多人听到 OCR 三个字母第一反应是“把扫描件变成文字”这是文档 OCR。它处理的是白纸黑字、排版规整、字体有限的印刷材料难点在版面分析、表格结构、分栏顺序。场景文本识别Scene Text RecognitionSTR完全是另一个世界输入是手机随手拍的路牌、霓虹灯招牌、公交车票、超市价签文字可能是弯曲的、倾斜的、被栏杆挡住一半的背景更是毫无规律。技术链路上的差异更明显。传统 OCR 通常是“检测 识别”两阶段先找到文字区域再对裁剪出来的区域做转录。STR 领域延续了这套思路检测模块输出文本框或多边形识别模块负责把区域内容变成字符串。而近年火起来的视觉语言模型VLM直接把整张图片和文本提示prompt一起送进模型输出端到端的文字转录甚至在复杂场景中直接做“文本发现 转录”。这两条路线都需要基准来兜底。VLM 路线尤其依赖基准因为多模态大模型的评测常常只报告英文、中文通用能力低资源语言的场景文本能力被藏在“幻觉”“多语言能力不足”这类模糊描述后面。没有公开基准厂商不会主动暴露自己在孟加拉语上的失败案例。维度文档 OCR场景文本识别STR输入扫描件、截图自然场景照片、视频帧背景单一、低噪声复杂背景、反光、霓虹灯字体有限印刷字体艺术字、手写体、异形字文本形态水平排列弯曲、倾斜、透视畸变主要难点版面、分栏检测定位、形近字、低分辨率典型基准印刷文档语料ICDAR 系列、Total-Text、BanglaWild2. 孟加拉语文字为什么难倒大多数 OCR 模型孟加拉语Bangla使用孟加拉文属于婆罗米系文字中的元音附标文字abugida。这意味着它和拉丁字母的拼写逻辑完全不同每个辅音字母自带一个固有元音元音的变化不是直接写一个独立字母而是通过附加符号在孟加拉语中称为 matra即元音符号加在辅音字符的上方、下方、左侧或右侧。举一个最直观的例子。基本辅音“ক”读作 ka加上元音符号“া”变成“কা”读作 kaa加上符号“ি”变成“কি”但这个“ি”在视觉上跑到辅音的左边去了。模型如果只按从左到右的顺序扫描字符串很容易把这类“字形位置和字符顺序不一致”的文本认错。更让 OCR 模型头疼的是连字conjunct。当两个辅音之间没有元音时孟加拉文会通过一个 hasanta্符号把它们组合成一个新的连字字形。比如 কka、্、ষṣa组合后变成“ক্ষ”视觉上是一个全新的、无法从单字符拼出来的复合字形。这意味着字符集合不是模型训练时看到的几十个类而是包含大量连字的几百种形状组合。叠加场景因素后问题会进一步放大。街拍图片里的孟加拉语文字可能有透视畸变、运动模糊、夜间反光、部分遮挡再加上艺术字体的自由变形字符级别的形近混淆几乎无法避免。低分辨率下一些形状接近的字符更容易相互污染。和英文相比孟加拉语还没有大小写这个“免费易用”的辅助信息模型少了一个天然的分辨线索。工程上还有一个隐藏坑Unicode 规范化。同一个孟加拉语字符串在编码层面可能存在多种等价表示有的用预组合字符有的用基字符加组合标记拆开写。如果标注文件用的是 NFC模型输出的是拆分序列肉眼看着一模一样字符串比较却直接判错。文档 OCR 的英文评估基本不会有这种“看起来对、程序觉得错”的地狱级后处理问题。3. BanglaWild 基准补上什么缺口长期以来场景文本识别领域有大量公开英文基准ICDAR 系列、SVT、IIIT5K、Total-Text、COCO-Text 等这几年也不少论文在中文、日文等方向做扩展。但对孟加拉语这种拥有上亿母语使用者的语言一个被社区广泛接受、公开可比的 in-the-wild 场景文本基准一直存在缺口。很多孟加拉语 OCR 研究只能各自收集私有数据论文里报告的数字彼此之间完全不可比。从论文标题 Tri 能读出两个关键信息第一它强调“In-the-Wild”意味着数据来源是真实拍摄的自然场景而不是实验室里渲染的合成文本第二它同时面向“OCR 和 Vision-Language Models”说明这个基准不只是给传统检测识别链路用的还希望成为多模态大模型能力评测的一部分。一个完整的 in-the-wild 基准通常包含几个部分真实场景图片、文字转录标注通常还有文本位置信息、固定的训练/测试划分、以及标准评估协议。具体到 BanglaWild它的图片规模、采集范围、标注规范、是否提供词表约束都需要以论文正文和官方仓库发布的信息为准。本文不展开没有公开的细节而是把使用这类基准的方法论讲透这样无论数据何时开放你拿到手就能跑。公共基准的价值在于三件事可比较性、可归因性、可追踪性。可比较性是让不同论文、不同模型在同一个测试集上报数数字才有意义可归因性是统一的错误样本能帮你判断模型到底败在“孟加拉语脚本特性”matra、连字还是“场景因素”模糊、遮挡可追踪性是让你在大版本迭代后有客观指标而不是靠感觉说“好像变强了”。对于 VLM 评测这个基准还有额外一层价值。很多多模态模型在英文场景文本上表现惊人但在孟加拉语上会暴露两个深层问题一是视觉编码器对孟加拉语字形特征的抽取能力不足二是 LLM 的 tokenizer 对孟加拉语字符覆盖不够生成阶段就会出现音译、残缺甚至大量幻觉。这类短板没有基准就完全暴露不出来。4. 评估环境准备与数据格式约定跑评估之前先约定环境。指标计算不需要 GPU普通的 Python 3.9 环境即可推理环节如果跑 VLM 或大模型才需要 GPU。建议新建一个干净的虚拟环境避免依赖污染全局 Python。mkdir -p banglawild-eval/{data,outputs,scripts} cd banglawild-eval python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate pip install editdistance jsonlines tqdm评估工作的核心原则是把“模型输出”和“指标计算”解耦。不管你是用 PaddleOCR、Tesseract 还是某个 VLM 做识别最终都统一写成一个 JSONL 预测文件然后由一个独立的评估脚本读入指标计算。这样换模型、换参数、做对比时指标计算部分完全不用改。标注文件和预测文件约定为按行读取的 JSON每行一个样本{image: data/banglawild/test/0001.jpg, text: কলকাতা, category: street_sign} {image: data/banglawild/test/0002.jpg, text: রেস্তোরাঁ, category: signboard} {image: data/banglawild/test/0003.jpg, text: বাংলা, category: poster}预测文件格式更简单只需要图片路径和模型输出文本{image: data/banglawild/test/0001.jpg, prediction: কলকাতা} {image: data/banglawild/test/0002.jpg, prediction: রেস্তোরাঁ} {image: data/banglawild/test/0003.jpg, prediction: বাংল}目录结构建议如下banglawild-eval/ ├── data/ │ ├── banglawild_test.jsonl │ └── images/ │ ├── 0001.jpg │ ├── 0002.jpg │ └── ... ├── outputs/ │ ├── model_a.jsonl │ └── model_b.jsonl ├── scripts/ │ ├── metrics.py │ └── evaluate_predictions.py └── venv/5. 完整评估流程与代码实现整个评估分三步第一步准备符合格式的预测文件第二步用评估脚本计算指标第三步做错误分析和模型对比。这里给出可直接运行的代码。先写指标计算模块。场景文本识别最常用的三个指标是 Word Accuracy整词准确率、CER字符错误率和 NED归一化编辑距离。# 文件路径scripts/metrics.py import editdistance def word_accuracy(preds, gts): 整词准确率预测与标注完全一致的比例 correct