Cómo el aprendizaje automático ha cambiado el OCR: desde los primeros modelos hasta el aprendizaje profundo

Autores

Philip Zetterberg
Ingeniero de software de IA, TRENPEX

Colaboradores

Angie Zetterberg
Relaciones públicas, TRENPEX

Compartir

El OCR en transformación: cómo el aprendizaje automático ha abierto nuevas posibilidades

El reconocimiento de texto fue uno de los primeros problemas prácticos de la visión artificial y, durante mucho tiempo, se resolvió con métodos clásicos basados en reglas. Solo con la llegada de los modelos estadísticos y, más tarde, de las redes neuronales artificiales, este campo comenzó a cambiar de forma radical. Mientras que los métodos tradicionales se basan principalmente en reglas fijas, valores umbral y características geométricas, el aprendizaje automático se basa en datos: el sistema aprende cómo son los caracteres en lugar de analizarlos en función de propiedades definidas de forma fija.

Sin embargo, la transición del OCR clásico al OCR basado en ML no fue abrupta. Más bien, el campo se desarrolló a lo largo de varias décadas. Cada nueva generación de modelos aportó sus propias fortalezas y limitaciones, y muchos de los conocimientos adquiridos en los primeros años siguen teniendo repercusiones en la actualidad. Una mirada retrospectiva muestra el fuerte impacto que han tenido las diferentes tecnologías entre sí y cómo han dado lugar a los modernos sistemas de OCR que se utilizan hoy en día en la investigación y la industria.

Los primeros años: estadística y reconocimiento de patrones

Antes de que las redes neuronales se aplicaran en la práctica, los investigadores se centraban en enfoques estadísticos y probabilísticos para el reconocimiento de caracteres. En las décadas de 1980 y 1990, métodos como k-Nearest Neighbors, los modelos ocultos de Markov (HMM) y las máquinas de vectores de soporte dominaban la literatura científica.

Los HMM desempeñaron un papel especialmente importante, sobre todo en el reconocimiento de la escritura manuscrita. Trabajos de investigación como el de Rabiner (1989)¹ sentaron las bases para los modelos secuenciales, capaces de analizar no solo caracteres individuales, sino secuencias completas de caracteres. La idea subyacente era que el contexto de un carácter ayuda a su reconocimiento. Esto resultaba especialmente ventajoso para los textos manuscritos, en los que la forma y el tamaño varían considerablemente.

Paralelamente, también se desarrollaron descripciones de características diseñadas específicamente para los procesos de aprendizaje automático. Procesos como HOG o SIFT no solo se utilizaron para el reconocimiento de objetos, sino que también se aplicaron a la investigación sobre OCR. Esta combinación de clasificadores ML y descriptores visuales dio lugar a los primeros sistemas híbridos que utilizaban tanto información estadística como geométrica.

La influencia de las primeras redes neuronales

Aunque el aprendizaje profundo no se popularizó hasta mucho más tarde, los investigadores ya experimentaban con redes neuronales en los años 80 y 90. Probablemente, el hito más importante de esta fase fue el desarrollo de las redes neuronales convolucionales (CNN) por parte de Yann LeCun y sus colegas.

Su modelo, conocido como **LeNet-5**, se presentó en 1998² y se desarrolló originalmente para el reconocimiento de números escritos a mano en cheques estadounidenses. Aunque LeNet parece pequeño desde la perspectiva actual, supuso un paso importante hacia los sistemas de aprendizaje integral. Por primera vez, una red neuronal podía aprender directamente a partir de píxeles, sin necesidad de características creadas manualmente. Muchos de los conceptos que se introdujeron entonces —convoluciones, agrupación, estructura por capas— siguen siendo la base de los modelos modernos.

A pesar de su importancia, LeNet no se impuso inicialmente fuera del ámbito de la investigación. Una de las razones fueron las limitaciones técnicas: la potencia de cálculo del hardware de la época no era suficiente para entrenar redes neuronales más grandes en un tiempo aceptable. Por lo tanto, el uso práctico de las redes neuronales en el OCR se limitó inicialmente a tareas seleccionadas, mientras que los modelos clásicos de ML siguieron dominando.

El camino hacia el aprendizaje profundo: avances en datos, hardware y algoritmos

No fue hasta aproximadamente 2012 cuando la situación cambió radicalmente. Con el gran avance de AlexNet en el concurso ImageNet³, quedó claro que las redes neuronales profundas eran capaces de resolver grandes problemas visuales mucho mejor que los métodos clásicos. Este éxito no fue una casualidad: las potentes GPU, los grandes conjuntos de datos y los nuevos métodos de entrenamiento hicieron que, de repente, los modelos más profundos fueran viables.

Estos avances también influyeron en la investigación sobre el OCR. En lugar de clasificar los caracteres individualmente, los investigadores comenzaron a modelar directamente palabras o líneas de texto completas.

Un ejemplo temprano de ello es el modelo CRNN (Convolutional Recurrent Neural Network) de Shi et al. (2016)⁴. Este combinaba CNN para la extracción de características visuales con redes recurrentes (LSTM) que interpretaban el texto de forma secuencial. De este modo, se crearon sistemas OCR que ya no reconocían caracteres aislados, sino secuencias de texto contiguas, lo que supuso un avance decisivo para escenas complejas y documentos no estructurados.

La clasificación temporal conexionista (CTC), desarrollada por Graves et al. (2006)⁵, también se convirtió en un componente central de los modelos OCR modernos. La CTC permitió por primera vez reconocer secuencias de texto sin segmentación explícita. Es decir, el sistema ya no necesitaba saber dónde terminaba un carácter y dónde comenzaba el siguiente, sino que lo aprendía directamente a partir de los datos.

Con este avance, desaparecieron muchos de los retos que planteaban los procesos clásicos de OCR, en particular la necesidad de una segmentación limpia. Los modelos de aprendizaje profundo podían entrenarse directamente con imágenes sin procesar y aprendían de forma autónoma las estructuras, las distancias y las variaciones.

De los signos a las palabras y a escenas completas

Paralelamente a la investigación en el análisis de documentos, creció el interés por el OCR en entornos reales, por ejemplo, en fotografías, escenas callejeras, vídeos o grabaciones industriales. El denominado «reconocimiento de texto en escenas» se convirtió en un campo de investigación independiente.

Trabajos como el de Jaderberg et al. (2014-2016)⁶ demostraron que las redes neuronales no solo pueden interpretar documentos manuscritos o impresos, sino también texto en entornos complejos. Las señales inclinadas, los fondos irregulares o las distorsiones perspectivas: todo ello se ha ido dominando cada vez más gracias al aprendizaje profundo.

De este modo, el OCR abandonó el mundo puramente documental y se convirtió en una de las aplicaciones centrales de la visión artificial moderna.

Métodos modernos de reconocimiento de texto: desde el aprendizaje profundo hasta los modelos especializados

Con el avance de las redes neuronales profundas, la forma en que se construyen los sistemas OCR comenzó a cambiar radicalmente. Mientras que los enfoques clásicos solo podían reconocer el texto después de haberlo segmentado, con el tiempo se desarrollaron modelos que localizan e interpretan automáticamente el texto en la imagen. Este avance llevó a que el OCR se considerara cada vez más como un problema integral, en el que la localización y el reconocimiento ya no se procesan por separado, sino en un modelo común.

Un paso importante en este desarrollo fue la aparición de detectores de texto basados en el aprendizaje profundo. Estos modelos se centran en identificar de forma fiable las regiones de texto en la imagen, independientemente de si se trata de documentos impresos, escenas callejeras, envases de productos o superficies técnicas. Uno de los primeros enfoques que llamó la atención fue el modelo EAST (Efficient and Accurate Scene Text Detector), presentado por Zhou et al. en 2017⁷. EAST demostró que el texto de las imágenes se puede localizar de forma fiable sin necesidad de complejos pasos de preprocesamiento ni costosas segmentaciones. En lugar de analizar grupos de píxeles o estructuras de bordes, el modelo aprende directamente a partir de datos de entrenamiento cómo son normalmente las regiones de texto.

Poco después aparecieron otros modelos que siguieron marcando el campo. En particular, el modelo CRAFT de Baek et al. (2019)⁸ se convirtió en un enfoque muy citado, ya que no solo analizaba palabras completas, sino también las relaciones entre los caracteres individuales. Esto le permitía ofrecer resultados estables incluso en situaciones difíciles, como distancias irregulares o perspectivas sesgadas. CRAFT reconoció cómo los caracteres se relacionan espacialmente y, de este modo, estableció una conexión que antes solo era posible mediante reglas creadas manualmente.

Con DBNet (Liao et al., 2020)⁹ se alcanzó finalmente otro hito. El modelo se basaba en una binarización diferenciable, lo que permitía separar regiones de texto de forma especialmente coherente y precisa. Esta idea retomaba el paso central del OCR clásico, la binarización, pero lo integraba completamente en el modelo neuronal. De este modo, muchos de los pasos de preprocesamiento que antes eran necesarios fueron asumidos directamente por la red.

Paralelamente a la detección, el reconocimiento también siguió evolucionando. En lugar de clasificar caracteres aislados, los modelos modernos se centraron cada vez más en el reconocimiento de secuencias completas de palabras o textos. Los modelos de secuencias como CRNN y los métodos basados en Long Short-Term Memory (LSTM) permitieron tener en cuenta no solo los caracteres individuales, sino también su contexto. La importancia de este contexto no puede subestimarse: en muchos casos, la interpretación de un carácter depende del carácter que le precede o le sigue. Un ejemplo sencillo son formas similares como «O» y «0», que pueden tener significados completamente diferentes según el contexto.

La introducción de la clasificación temporal conexionista (CTC) tuvo un impacto particular en este campo. Este método, desarrollado originalmente para el reconocimiento de voz, permitía reconocer secuencias de texto sin necesidad de conocer los límites exactos entre los caracteres individuales. En lugar de forzar una segmentación explícita, el modelo aprendía de forma implícita dónde comenzaban y terminaban los caracteres. De este modo, se mitigaron considerablemente muchos de los retos de los procesos clásicos de OCR, como los solapamientos, las fusiones o los espacios irregulares.

Con el tiempo, los modelos evolucionaron hacia sistemas entrenados de extremo a extremo. La idea detrás de esto era que, en lugar de definir manualmente muchos pasos individuales, un único modelo debía reconocer simultáneamente dónde se encontraba el texto y qué decía exactamente. Este desarrollo se aceleró gracias a los avances en la investigación arquitectónica, en particular por la creciente importancia de los modelos transformadores. Desde el éxito de los transformadores de visión, se ha demostrado que la autoatención, el principio básico de estas arquitecturas, es especialmente adecuada para procesar secuencias visuales complejas.

Los modelos OCR como TrOCR (Li et al., 2021)¹⁰ o Donut (Kim et al., 2022)¹¹ utilizan esta arquitectura para generar texto directamente a partir de imágenes, en algunos casos sin necesidad de utilizar los clásicos cuadros delimitadores. Esto significa que los límites entre la detección y el reconocimiento se difuminan aún más. En lugar de dividir los píxeles en regiones que luego se interpretan, el modelo genera una salida de texto derivada de todo el contexto de la imagen. Esto abre nuevas posibilidades para documentos, formularios o imágenes de escenas no estructurados, ya que muchas de las decisiones de diseño anteriores ya no tienen que tomarse de forma explícita.

Esta evolución muestra claramente cómo el OCR ha pasado de ser una serie de problemas parciales laboriosos a convertirse en un proceso integrado basado en el aprendizaje. Hoy en día, los modelos asumen muchas de las tareas que antes se definían en largas cadenas de procesamiento. Al mismo tiempo, los retos fundamentales siguen existiendo: el texto puede estar torcido, distorsionado, cubierto o mal iluminado. Sin embargo, a diferencia de los métodos clásicos, un modelo de aprendizaje profundo puede anticipar estas variaciones mediante el entrenamiento, en lugar de tratarlas con reglas explícitas.

Últimas novedades y el papel de los modelos ML modernos en la investigación sobre OCR

Si bien el aprendizaje profundo ha transformado radicalmente el OCR en los últimos diez años, este campo sigue en una fase de rápido desarrollo. Las nuevas arquitecturas de modelos, los conjuntos de datos más grandes y los cambios en los requisitos hacen que las cuestiones científicas también cambien constantemente. Esto se hace especialmente evidente en la creciente importancia de los modelos multimodales, que no solo reconocen texto, sino que también pueden interpretar estructuras documentales complejas.

Un tema importante de la investigación actual es la cuestión de cómo las redes neuronales pueden manejar formas cada vez más variables de texto. Hoy en día, los textos no solo aparecen en documentos, sino también en envases, máquinas, pantallas, señales de tráfico o interfaces de usuario digitales. Las fronteras entre el OCR basado en documentos y el reconocimiento de texto basado en escenas son cada vez más difusas. Modelos como Donut o TrOCR demuestran que el texto ya no se considera de forma aislada, sino como parte de un contexto visual más amplio. De este modo, el OCR comienza a evolucionar hacia sistemas de comprensión completa de documentos o escenas.

Paralelamente, este campo está experimentando un fuerte acercamiento a los avances de los grandes modelos multimodales. Investigaciones como Donut11, LayoutLM¹², PaLI¹³ o Pix2Struct¹⁴ estudian cómo se pueden procesar conjuntamente la información de diseño, las características de las imágenes y el lenguaje. En lugar de limitarse a extraer texto, se trata de determinar qué significado tiene ese texto en el contexto general. En el caso de documentos estructurados, formularios o informes, esto significa que las máquinas son cada vez más capaces de reconocer roles, relaciones, tablas o jerarquías. En este contexto, el OCR ya no es el producto final, sino un paso intermedio en un proceso de comprensión más amplio.

A pesar de estos avances, siguen existiendo algunos retos. Las variaciones en los tipos de letra, las distorsiones importantes o la baja resolución siguen siendo difíciles de superar. Muchos sistemas necesitan grandes cantidades de datos anotados para funcionar de forma fiable, lo que en algunos ámbitos es limitado. Sin embargo, los resultados de las investigaciones de los últimos años muestran que los enfoques con pocos datos, como el aprendizaje auto-supervisado o la generación de datos sintéticos, están cobrando cada vez más importancia. Trabajos como SynthText o el uso de modelos generativos permiten crear datos de entrenamiento de forma artificial para cubrir situaciones textuales poco frecuentes o de difícil acceso.

La cuestión de la robustez también está cobrando mayor importancia. Los modelos OCR basados en ML pueden ser vulnerables a interferencias adversas en determinadas condiciones, o pueden proporcionar resultados impredecibles en caso de mala calidad de imagen. Estudios como el de Wang et al. (2020) muestran que incluso pequeños cambios en las imágenes de texto pueden afectar al resultado de un sistema.¹⁵ Al mismo tiempo, sin embargo, existen enfoques que intentan hacer que los modelos sean más resistentes, por ejemplo, mediante estrategias de aumento, métodos de conjunto o técnicas de regularización especiales.

También es interesante cómo ha evolucionado la interpretabilidad. Los métodos clásicos de OCR eran fáciles de comprender: los resultados podían explicarse mediante reglas, valores umbral o características geométricas. En los modelos de aprendizaje profundo, esto es menos evidente, lo que supone un reto en algunos ámbitos, como las industrias reguladas o el archivo de documentos. Por ello, parte de la investigación actual se centra en los modelos neuronales explicables y en la cuestión de cómo se pueden visualizar los procesos de decisión visuales.

En general, la investigación moderna demuestra que el OCR hace tiempo que dejó de ser un tema aislado. Forma parte de un espectro más amplio de tareas relacionadas con la comprensión visual, el análisis multimodal y el procesamiento automatizado de la información. Mientras que antes los métodos definidos artesanalmente constituían la columna vertebral del reconocimiento de texto, ahora los modelos basados en el aprendizaje han asumido ese papel y siguen desarrollándose a gran velocidad.

Conclusión: una tecnología en constante evolución

El aprendizaje automático ha transformado profundamente el reconocimiento de texto. Lo que antes consistía en muchos pasos definidos individualmente, hoy en día lo realizan cada vez más modelos que aprenden directamente de los datos y captan de forma autónoma relaciones complejas. Desde los primeros procedimientos estadísticos, pasando por las primeras CNN, hasta los modelos transformadores actuales, se ha producido una evolución que no solo es interesante desde el punto de vista técnico, sino que también muestra lo estrechamente entrelazadas que están la investigación y las aplicaciones prácticas.

Mientras que el OCR clásico sigue utilizándose en entornos específicos y bien controlados, el aprendizaje automático ha abierto la puerta a sistemas más robustos, versátiles y sensibles al contexto. Los modelos modernos no solo reconocen caracteres y palabras, sino que cada vez comprenden mejor documentos, diseños y escenas completos. Esta tendencia indica que, en los próximos años, el OCR formará parte aún más de los sistemas multimodales, que analizan conjuntamente imágenes, texto y estructura, lo que permite un nuevo nivel de procesamiento automatizado de la información.

El desarrollo aún no ha concluido. Los nuevos modelos, los conjuntos de datos más grandes y los métodos de entrenamiento mejorados seguirán ampliando los límites de los sistemas actuales. Sin embargo, ya se puede afirmar que el aprendizaje automático no solo ha ampliado el OCR, sino que lo ha redefinido por completo.

Referencias

¹Véase. Rabiner – A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, 1989

²Véase. LeCun et al. – Gradient-based learning applied to document recognition (LeNet-5), 1998

³Véase. Krizhevsky, Sutskever & Hinton – ImageNet Classification with Deep Convolutional Neural Networks, 2012

⁴Véase. Shi, Bai & Yao – An End-to-End Trainable Neural Network for Image-Based Sequence Recognition, 2016

⁵Véase. Graves et al. – Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks, 2006

⁶Véase. Jaderberg et al. – Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition, 2014–2016

⁷Véase. Zhou et al. – EAST: An Efficient and Accurate Scene Text Detector, 2017

⁸Véase. Baek et al. – CRAFT: Character Region Awareness for Text Detection, 2019

⁹Véase. Liao et al. – DBNet: Real-Time Scene Text Detection with Differentiable Binarization, 2020

¹⁰Véase. Li et al. – TrOCR: Transformer-based Optical Character Recognition with Pre-Trained Models, 2021

¹¹Véase. Kim et al. – Donut: Document Understanding Transformer without OCR, 2022

¹²Véase. Xu et al. – LayoutLM: Pre-training of Text and Layout for Document Image Understanding, 2020

¹³Véase. PaLI: Scaling Language-Image Models, Google Research, 2022

¹⁴Véase. Lee et al. – Pix2Struct: Screenshot Parsing with Vision-Language Models, 2023

¹⁵Véase. Wang et al. – Towards Adversarially Robust Scene Text Recognition, 2020