benchmark.md 1.6 KB

Benchmark

本文给出了中英文OCR系列模型精度指标和在各平台预测耗时的benchmark。

测试数据

针对OCR实际应用场景,包括合同,车牌,铭牌,火车票,化验单,表格,证书,街景文字,名片,数码显示屏等,收集的300张图像,每张图平均有17个文本框,下图给出了一些图像示例。

评估指标

说明:

  • 检测输入图像的长边尺寸是960。
  • 评估耗时阶段为图像预测耗时,不包括图像的预处理和后处理。
  • Intel至强6148为服务器端CPU型号,测试中使用Intel MKL-DNN 加速。
  • 骁龙855为移动端处理平台型号。

预测模型大小和整体识别精度对比

模型名称 整体模型
大小(M)
检测模型
大小(M)
方向分类器
模型大小(M)
识别模型
大小(M)
整体识别
F-score
PP-OCRv2 11.6 3.0 0.9 8.6 0.5224
PP-OCR mobile 8.1 2.6 0.9 4.6 0.503
PP-OCR server 155.1 47.2 0.9 107 0.570

预测模型在CPU和GPU上的速度对比,单位ms

模型名称 CPU T4 GPU
PP-OCRv2 330 111
PP-OCR mobile 356 11 6
PP-OCR server 1056 200

更多 PP-OCR 系列模型的预测指标可以参考PP-OCR Benchmark