ocr文本检测微调，训练模型转inference 模型之后预测效果不一致

[zgy520]

操作系统：
ubuntu 22.04
paddle的版本：
paddlepaddle-gpu3.0.x版本
使用的微调训练模型是：ch_PP-OCRv4_server_det，对应的配置文件为：[ch_PP-OCRv4_det_teacher.yml]
针对文本检测的微调后，基于训练后的模型（未进行训练模型转inference模型）进行指标评估时，效果不错；但是将检测模型转inference模型之后，再进行模型预测时，发现效果很差。
根据文本检测的FAQ提示，对inference模型进行了如下所示的修改：

对以上两行进行注释，重新导出了inference模型，再测试后，发现效果好了很多，但还是存在如下问题：

1. inference模型与训练后为转之前的模型对比，发现有图片无法检测到文本，如下图：
   
2. 对于检测到的文本，通过与训练后的模型对比，发现坐标不一致，如下图所示
   
   现在不确定这种坐标上的差异是否是正常的
3. 基于训练后的模型，到处的结果图片上，在检测到的文本上是绘制了对应的文本框；而infernece模型的结果，对原图片未作修改，有坐标值的图片也未进行绘制。

[GreatV]

根据您的描述和提供的背景信息，您在对微调的文本检测模型进行训练后，将模型转为推理（inference）模型时，出现了预测效果不一致的问题。以下是可能的原因分析和建议解决方案：

---

可能原因

1. 模型转换中的配置不一致

   • 从训练模型转换为推理模型时，部分配置参数（如图像预处理、后处理参数）可能与训练阶段不一致。这可能导致推理模型的预测效果与训练模型的评估结果差异较大。

2. 推理模型的后处理参数未调整

   • 根据您提到的FAQ中对inference模型的修改，注释了某些代码后效果有所改善，但未完全解决问题。这可能表明后处理参数（如unclip_ratio、检测阈值等）仍需进一步调整。

3. 推理过程中图像预处理不一致

   • 推理阶段的图像预处理（如图像缩放、输入尺寸设置）与训练阶段不一致，可能导致模型的输入特征分布发生变化，从而影响结果。

4. 推理代码未可视化结果

   • 您提到推理模型的结果未在原图上绘制文本框，这可能是因为推理代码未包含结果可视化的逻辑。虽然这不影响核心预测结果，但会影响结果的直观展示。

---

建议解决方案

以下是逐步排查和优化的方法：

1. 确保模型转换配置一致

• 检查训练阶段和推理阶段的配置文件（如ch_PP-OCRv4_det_teacher.yml）是否一致，尤其是以下参数：
  • 图像输入尺寸：test_image_shape（训练和推理应保持一致）。
  • 检测后处理参数：如det_db_box_thresh、det_db_unclip_ratio等。
• 如果推理代码中未明确指定这些参数，可以手动调整以匹配训练配置。

2. 调整推理阶段的后处理参数

• 尝试调整以下后处理参数：
  • det_db_box_thresh：默认值为0.5，可以尝试降低至0.3，以减少漏检。
  • det_db_unclip_ratio：默认值为1.6，可以适当调大（如2.0或更高）以扩展检测框。
  • det_db_score_mode：如果检测文本较弯曲，可尝试将fast模式切换为slow模式（更精确但速度稍慢）。

3. 统一图像预处理逻辑

• 确保推理代码中的图像预处理（如归一化、长宽比调整）与训练时的逻辑一致。
• 训练代码中可能使用了random_crop等数据增强方法，而推理时不需要这些增强操作。

4. 可视化推理结果

• 在推理代码中加入结果可视化逻辑，将预测的文本框绘制到原图上，便于直观评估模型的检测效果。
• 示例代码：

  import cv2
  for box in detected_boxes:
      cv2.polylines(image, [box], isClosed=True, color=(0, 255, 0), thickness=2)
  cv2.imwrite("output.jpg", image)

5. 检查模型转换代码

• 确保模型转换过程中未漏掉关键操作。如果需要，可以参考PaddleOCR官方的模型转换工具和文档：

  python tools/export_model.py -c configs/det/ch_PP-OCRv4_det_teacher.yml \
                               -o Global.checkpoints=./output/rec_model/best_accuracy \
                               -o Global.save_inference_dir=./inference/ch_PP-OCRv4_det

6. 测试不同图片的推理效果

• 针对推理效果较差的图片，检查是否存在以下问题：
  • 图像分辨率过低：尝试提高图片分辨率或调整输入尺寸。
  • 文本框形状：若文本框弯曲形变较大，考虑优化检测后处理参数。

7. 模型微调

• 如果推理效果仍不理想，可以尝试进一步微调模型：
  • 增加更多与目标场景相似的数据。
  • 调整训练参数（如learning_rate、batch_size）以提高模型的鲁棒性。

---

参考文档与链接

1. PaddleOCR FAQ 文档
2. PaddleOCR 模型导出教程

---

针对您的问题的具体建议

1. 图片无法检测到文本的问题：

   • 尝试降低det_db_box_thresh或调大det_db_unclip_ratio。
   • 检查图片分辨率是否过低，必要时提高分辨率或调整test_image_shape。

2. 坐标不一致的问题：

   • 检查推理阶段的后处理逻辑是否与训练阶段一致。
   • 如果检测框形状变化较大，尝试将det_db_score_mode切换为slow模式。

3. 结果图片未绘制文本框：

   • 在推理代码中加入检测结果的可视化逻辑，便于直观分析。

如果问题仍未解决，可进一步提供更多调试信息，如推理代码片段、具体错误示例等，我会帮助您更详细分析！

---

Response generated by feifei-bot | chatgpt-4o-latest

[zgy520]

通过调整参数det_limit_side_len和det_limit_type="min"，运行代码发现经过ppocr.data.imaug.transform方法之后的data数据在infer_det和predict_det脚本之后的结果是完全一致的，但是后处理前的参数对比，发现preds中的maps还是不一致，preds位置如下：

导致，运行后的效果还是不同，坐标差距很大

[zgy520]

通过对比训练模型预处理和inference模型预处理的参数（[ppocr/data/imaug/operators.py])，发现参数完全一致；
想了解，如果我要对比后处理的参数，应该对比哪个文件？
@GreatV

[zgy520]

此外，后处理使用的是默认的：DBPostProcess
对比了训练后以及转inference的模型发现都是一样的，如下图所示：
训练后的：

转inference后的：

[zgy520]

基于训练后的模型测试的照片效果如下所示：

符合预期；
但是转interence后的效果如下：

很明显，坐标被检测到了错误的位置，均在图片的下方，且叠加到了一起！
请大佬帮忙看下，什么原因导致的？非常感谢

[GreatV]

用的是哪个版本的PaddleOCR？

[GreatV]

怎么inference的？

[zgy520]

PaddleOCR用的是最新的main分支；
inference是通过以下命令导出的：

PaddlePaddle用的版本是3.0.x的

[GreatV]

换成paddleocr2.9.1试试

[zgy520]

好的，我试试

[zgy520]

目前通过调试代码发现，预处理后的结果完成一致，但是在进行模型之后的结果preds的值是不一样的，但无法确认哪出了问题

[xihuanafeng]

有解决吗