MOJI es un proyecto que tiene el ambicioso objetivo de facilitar la experiencia de lectura de mangas japoneses para hablantes de español. Basado en técnicas avanzadas de Machine Learning, MOJI aborda los siguientes desafíos clave: segmentación de texto en imagen, reconocimiento óptico de caracteres (OCR) para extraer texto de páginas de manga traducción del texto al español, limpieza de la imagen y reinserción del texto traducido en la imagen.
Modelo de segmentación: Con ayuda de Roboflow se entrenó un modelo de segmentación de imagenes en que se identifica texto. Se empleó un dataset compuesto por 510 imágenes de páginas de manga en japonés, en las cuáles se identificaron 4,028 anotaciones distribuídas en dos clases: text_bubble y text_free. Más información disponible en https://universe.roboflow.com/moji-znju4/.manga-text-detection
Modelo OCR: Dado el límite de tiempo asignado para el desarrollo del projecto (8 días), se empleó la librería especializada Manga OCR.
Traducción de texto: Para la traducción del texto obtenido vía OCR, se utilizó la librería deep-translator.
Limpieza y reinserción del texto traducido: Gracias al uso de las bibliotecas Pillow y OpenCV, fue posible realizar limpieza de imagen y reinserción del texto traducido.
MOJI utiliza las siguientes bibliotecas y recursos:
manga-ocr: Para el reconocimiento óptico de caracteres en japonés.
deep_translator: Para la traducción automática.
Y otras librerías python especificadas en el archivo requirements.txt
Se agradece a los desarrolladores de estas bibliotecas por sus contribuciones.
MOJI ha sido desarrollado y mantenido por los siguientes colaboradores: