Autoren
Philip Zetterberg
Software AI Engineer, TRENPEX
Mitwirkende
Angie Zetterberg
Public Relations, TRENPEX
Abonnieren Sie unseren Newsletter
Teilen
OCR im Wandel: Wie Machine Learning neue Möglichkeiten eröffnet hat
Texterkennung gehörte zu den ersten praktischen Problemen der Computer Vision und wurde lange Zeit mit klassischen, regelbasierten Methoden gelöst. Erst mit dem Aufkommen statistischer Modelle und später künstlicher neuronaler Netze begann sich das Feld grundlegend zu verändern. Während traditionelle Verfahren vor allem auf festgelegten Regeln, Schwellenwerten und geometrischen Merkmalen aufbauen, basiert maschinelles Lernen auf Daten: Das System lernt, wie Zeichen aussehen, anstatt sie anhand fest definierter Eigenschaften zu analysieren.
Der Übergang von klassischer OCR zu ML-basierter OCR verlief jedoch nicht abrupt. Vielmehr entwickelte sich das Gebiet über mehrere Jahrzehnte hinweg. Jede neue Generation von Modellen brachte ihre eigenen Stärken und Einschränkungen mit, und viele Erkenntnisse aus den frühen Jahren wirken bis heute nach. Ein Blick zurück zeigt, wie stark die unterschiedlichen Technologien sich gegenseitig beeinflusst haben – und wie daraus die modernen OCR-Systeme entstanden sind, die heute in Forschung und Industrie eingesetzt werden.
Die frühen Jahre: Statistik und Mustererkennung
Bevor neuronale Netze in der Praxis angekommen waren, beschäftigten sich Forscher mit statistischen und probabilistischen Ansätzen zur Zeichenerkennung. In den 1980er- und 1990er-Jahren dominierten Verfahren wie k-Nearest Neighbors, Hidden-Markov-Modelle (HMMs) und Support Vector Machines die wissenschaftliche Literatur.
Insbesondere HMMs spielten eine große Rolle, vor allem bei der Erkennung von Handschrift. Forschungsarbeiten wie die von Rabiner (1989)¹ legten das Fundament für sequentielle Modelle, die nicht nur einzelne Zeichen, sondern ganze Zeichenfolgen analysieren konnten. Die Idee dahinter: Der Kontext eines Zeichens hilft beim Erkennen. Dies war gerade für handschriftliche Texte von Vorteil, bei denen Form und Größe stark variieren.
Parallel dazu entstanden auch Merkmalsbeschreibungen, die speziell für maschinelle Lernverfahren entwickelt wurden. Verfahren wie HOG oder SIFT wurden nicht nur zur Objekterkennung genutzt, sondern fanden auch ihren Weg in die OCR-Forschung. Durch diese Kombination aus ML-Klassifikatoren und visuellen Deskriptoren entstanden die ersten hybriden Systeme, die sowohl statistische als auch geometrische Informationen nutzten.
Der Einfluss früher neuronaler Netze
Auch wenn Deep Learning erst viel später populär wurde, experimentierten Forscher schon in den 1980er- und 1990er-Jahren mit neuronalen Netzen. Der vermutlich wichtigste Meilenstein dieser Phase war die Entwicklung der Convolutional Neural Networks (CNNs) durch Yann LeCun und Kollegen.
Ihr Modell, bekannt als **LeNet-5**, wurde 1998 vorgestellt² und ursprünglich für die Erkennung handschriftlicher Ziffern auf amerikanischen Schecks entwickelt. Obwohl LeNet aus heutiger Sicht klein wirkt, war es ein bedeutender Schritt in Richtung end-to-end lernender Systeme. Erstmals konnte ein neuronales Netz direkt aus Pixeln lernen, ohne dass handgefertigte Merkmale nötig waren. Viele der Konzepte, die damals eingeführt wurden – Faltungen, Pooling, schichtweise Struktur – bilden bis heute die Grundlage moderner Modelle.
Trotz seiner Bedeutung setzte sich LeNet außerhalb der Forschung zunächst nicht durch. Ein Grund dafür waren die technischen Grenzen: Die Rechenleistung der damaligen Hardware war nicht ausreichend, um größere neuronale Netze in akzeptabler Zeit zu trainieren. Daher blieb der praktische Einsatz neuronaler Netze in der OCR zunächst auf ausgewählte Aufgaben beschränkt, während klassische ML-Modelle weiter dominierten.
Der Weg zum Deep Learning: Fortschritte in Daten, Hardware und Algorithmen
Erst ab etwa 2012 änderte sich die Situation grundlegend. Mit dem Durchbruch von AlexNet auf dem ImageNet-Wettbewerb³ war klar, dass tiefe neuronale Netze in der Lage waren, große visuelle Probleme deutlich besser zu lösen als klassische Methoden. Dieser Erfolg war kein Zufall: leistungsfähige GPUs, große Datensätze und neue Trainingsmethoden machten tiefere Modelle plötzlich praktikabel.
Diese Entwicklungen beeinflussten auch die OCR-Forschung. Statt Zeichen einzeln zu klassifizieren, begannen Forscher, ganze Wörter oder Textzeilen direkt zu modellieren.
Ein frühes Beispiel dafür ist das CRNN-Modell (Convolutional Recurrent Neural Network) von Shi et al. (2016)⁴. Es kombinierte CNNs für die visuelle Merkmalsextraktion mit rekurrenten Netzen (LSTM), die den Text sequenziell interpretierten. Damit entstanden OCR-Systeme, die nicht mehr isolierte Zeichen, sondern zusammenhängende Textfolgen erkennen konnten – ein entscheidender Fortschritt für komplexe Szenen und unstrukturierte Dokumente.
Auch Connectionist Temporal Classification (CTC), entwickelt von Graves et al. (2006)⁵, wurde zu einem zentralen Baustein moderner OCR-Modelle. CTC ermöglichte es erstmals, Textfolgen ohne explizite Segmentierung zu erkennen. Das heißt: Das System musste nicht mehr wissen, wo ein Zeichen endet und das nächste beginnt – es lernte dies direkt aus den Daten.
Mit dieser Entwicklung verschwanden viele der Herausforderungen klassischer OCR-Pipelines, insbesondere die Notwendigkeit sauberer Segmentierung. Deep-Learning-Modelle konnten direkt auf rohen Bildern trainiert werden und lernten Strukturen, Abstände und Variationen selbstständig.
Von Zeichen hin zu Wörtern und ganzen Szenen
Parallel zur Forschung in der Dokumentenanalyse wuchs das Interesse an OCR in realen Umgebungen – beispielsweise in Fotos, Straßenszenen, Videos oder industriellen Aufnahmen. Das sogenannte „Scene Text Recognition“ wurde zu einem eigenständigen Forschungsfeld.
Arbeiten wie Jaderberg et al. (2014–2016)⁶ zeigten, dass neuronale Netze nicht nur handschriftliche oder gedruckte Dokumente interpretieren können, sondern auch Text in komplexen Umgebungen. Schief aufgenommene Hinweisschilder, unruhige Hintergründe oder perspektivische Verzerrungen – all das wurde durch Deep Learning zunehmend beherrschbar.
Damit verließ OCR die rein dokumentenbasierte Welt und wurde zu einer der zentralen Anwendungen moderner Computer Vision.
Moderne Verfahren zur Texterkennung: Von Deep Learning bis zu spezialisierten Modellen
Mit dem Durchbruch tiefer neuronaler Netze begann sich die Art, wie OCR-Systeme aufgebaut sind, grundlegend zu verändern. Während klassische Ansätze Text erst erkennen konnten, nachdem er segmentiert worden war, entwickelten sich mit der Zeit Modelle, die Text automatisch im Bild lokalisieren und interpretieren. Diese Entwicklung führte dazu, dass OCR zunehmend als ganzheitliches Problem betrachtet wurde, bei dem Lokalisierung und Erkennung nicht mehr getrennt, sondern in einem gemeinsamen Modell verarbeitet werden.
Ein wichtiger Schritt in dieser Entwicklung war die Entstehung von Deep-Learning-basierten Textdetektoren. Diese Modelle konzentrieren sich darauf, Textregionen im Bild zuverlässig zu identifizieren, unabhängig davon, ob es sich um gedruckte Dokumente, Straßenszenen, Produktverpackungen oder technische Oberflächen handelt. Einer der frühen und vielbeachteten Ansätze war das EAST-Modell (Efficient and Accurate Scene Text Detector), vorgestellt von Zhou et al. 2017⁷. EAST zeigte, dass Text in Bildern ohne komplexe Vorverarbeitungsschritte oder aufwendige Segmentierung zuverlässig lokalisiert werden kann. Statt Pixelcluster oder Kantenstrukturen zu analysieren, lernt das Modell direkt aus Trainingsdaten, wie Textregionen typischerweise aussehen.
Kurz darauf folgten weitere Modelle, die das Feld weiter prägten. Besonders das CRAFT-Modell von Baek et al. (2019)⁸ wurde ein vielzitierter Ansatz, weil es nicht nur ganze Wörter, sondern die Beziehungen einzelner Zeichen zueinander analysierte. Dadurch konnte es selbst in schwierigen Situationen – etwa bei unregelmäßigen Abständen oder schrägen Perspektiven – stabile Ergebnisse liefern. CRAFT erkannte, wie Zeichen räumlich zusammenhängen, und stellte damit eine Verbindung her, die zuvor nur durch handgefertigte Regeln möglich war.
Mit DBNet (Liao et al., 2020)⁹ kam schließlich ein weiterer Meilenstein hinzu. Das Modell setzte auf eine differenzierbare Binarisierung, die es ermöglichte, Textregionen besonders konsistent und präzise abzutrennen. Diese Idee griff den zentralen Schritt der klassischen OCR – die Binarisierung – auf, integrierte ihn jedoch vollständig in das neuronale Modell. Dadurch wurden viele der früher notwendigen Vorverarbeitungsschritte direkt vom Netzwerk übernommen.
Parallel zur Detektion entwickelte sich auch die Erkennung selbst weiter. Statt isolierte Zeichen zu klassifizieren, fokussierten sich moderne Modelle zunehmend auf die Erkennung ganzer Wort- oder Textsequenzen. Sequenzmodelle wie CRNN und Methoden auf Basis von Long Short-Term Memory (LSTM) machten es möglich, nicht nur einzelne Zeichen, sondern auch ihren Kontext zu berücksichtigen. Die Bedeutung dieses Kontexts kann kaum überschätzt werden: In vielen Fällen hängt die Interpretation eines Zeichens davon ab, welches Zeichen davor oder danach steht. Ein einfaches Beispiel sind ähnliche Formen wie „O“ und „0“, die je nach Umgebung völlig unterschiedliche Bedeutungen haben können.
Besonders prägte sich die Einführung von Connectionist Temporal Classification (CTC) ins Feld ein. Diese Methode, die ursprünglich für Spracherkennung entwickelt wurde, erlaubte es, Textfolgen zu erkennen, ohne dass die genauen Grenzen zwischen einzelnen Zeichen bekannt sein mussten. Statt eine explizite Segmentierung zu erzwingen, lernte das Modell implizit, wo Zeichen beginnen und enden. Dadurch wurden viele Herausforderungen klassischer OCR-Pipelines – etwa Überlappungen, Verschmelzungen oder unregelmäßige Abstände – deutlich entschärft.
Im Laufe der Zeit entwickelten sich die Modelle weiter in Richtung end-to-end trainierter Systeme. Die Idee dahinter: Statt viele Einzelschritte manuell festzulegen, soll ein einziges Modell gleichzeitig erkennen, wo sich Text befindet und was genau dort steht. Diese Entwicklung wurde durch Fortschritte in der Architekturforschung beschleunigt, insbesondere durch die zunehmende Bedeutung von Transformer-Modellen. Seit dem Erfolg von Vision-Transformern hat sich gezeigt, dass die Selbstaufmerksamkeit – das Kernprinzip dieser Architekturen – für die Verarbeitung komplexer visueller Sequenzen besonders geeignet ist.
OCR-Modelle wie TrOCR (Li et al., 2021)¹⁰ oder Donut (Kim et al., 2022)¹¹ nutzen diese Architektur, um Text direkt aus Bildern zu generieren, teilweise ganz ohne klassische Bounding Boxes. Das bedeutet, dass die Grenzen zwischen Detektion und Erkennung weiter verschwimmen. Statt Pixel in Regionen zu zerlegen, die anschließend interpretiert werden, erzeugt das Modell eine Textausgabe, die aus dem gesamten Bildkontext abgeleitet ist. Für unstrukturierte Dokumente, Formulare oder Szenenbilder eröffnet das neue Möglichkeiten, da viele der früheren Designentscheidungen nicht mehr explizit getroffen werden müssen.
Diese Entwicklung zeigt deutlich, wie sich OCR von einer Reihe mühsamer Teilprobleme hin zu einem integrierten, lernbasierten Prozess gewandelt hat. Die Modelle übernehmen heute viele der Aufgaben, die früher in langen Verarbeitungsketten festgelegt waren. Gleichzeitig bleiben die grundlegenden Herausforderungen bestehen: Text kann schief, verzerrt, überdeckt oder schlecht belichtet sein. Doch im Gegensatz zu klassischen Verfahren kann ein Deep-Learning-Modell diese Variationen durch Training antizipieren, anstatt sie mit expliziten Regeln zu behandeln.
Aktuelle Entwicklungen und die Rolle moderner ML-Modelle in der OCR-Forschung
Während Deep Learning die OCR in den vergangenen zehn Jahren grundlegend verändert hat, befindet sich das Feld weiterhin in einer Phase schneller Weiterentwicklung. Neue Modellarchitekturen, größere Datensätze und veränderte Anforderungen führen dazu, dass sich auch die wissenschaftlichen Fragestellungen ständig verschieben. Besonders deutlich sichtbar wird dies an der zunehmenden Bedeutung multimodaler Modelle, die nicht nur Text erkennen, sondern komplexe Dokumentstrukturen interpretieren können.
Ein großes Thema der aktuellen Forschung ist die Frage, wie neuronale Netze mit immer variableren Formen von Text umgehen können. Texte erscheinen heute nicht nur auf Dokumenten, sondern auf Verpackungen, Maschinen, Displays, Straßenbeschilderungen oder in digitalen Benutzeroberflächen. Die Grenzen zwischen dokumentenbasierter OCR und szenenbasierter Texterkennung verschwimmen zunehmend. Modelle wie Donut oder TrOCR zeigen, dass Text nicht mehr isoliert betrachtet wird, sondern als Teil eines größeren visuellen Zusammenhangs. Damit beginnt OCR sich in Richtung vollständiger Dokument- oder Szenenverständnis-Systeme zu bewegen.
Parallel dazu erlebt das Feld eine starke Annäherung an die Entwicklungen großer multimodaler Modelle. Forschungsarbeiten wie Donut11, LayoutLM¹², PaLI¹³ oder Pix2Struct¹⁴ untersuchen, wie Layoutinformationen, Bildmerkmale und Sprache gemeinsam verarbeitet werden können. Statt lediglich Text zu extrahieren, geht es dabei um die Frage, welche Bedeutung dieser Text im Gesamtkontext hat. Für strukturierte Dokumente, Formulare oder Berichte bedeutet das, dass Maschinen zunehmend in der Lage sind, Rollen, Beziehungen, Tabellen oder Hierarchien zu erkennen. OCR ist in diesem Kontext nicht mehr das Endprodukt, sondern ein Zwischenschritt in einem größeren Verständnisprozess.
Trotz dieser Fortschritte bleiben einige Herausforderungen bestehen. Variationen der Schriftarten, starke Verzerrungen oder geringe Auflösung sind weiterhin schwierig zu bewältigen. Viele Systeme benötigen große Mengen annotierter Daten, um zuverlässig zu funktionieren, was in manchen Bereichen nur begrenzt verfügbar ist. Forschungsergebnisse aus den vergangenen Jahren zeigen jedoch, dass datenarme Ansätze wie Self-Supervised Learning oder synthetische Datengenerierung zunehmend an Bedeutung gewinnen. Arbeiten wie SynthText oder die Verwendung generativer Modelle ermöglichen es, Trainingsdaten künstlich zu erzeugen, um seltene oder schwer zugängliche Textsituationen abzudecken.
Auch die Frage der Robustheit rückt stärker in den Fokus. ML-basierte OCR-Modelle können unter bestimmten Bedingungen anfällig für adversariale Störungen sein, oder sie liefern im Falle schlechter Bildqualität unvorhersehbare Ergebnisse. Studien wie jene von Wang et al. (2020) zeigen, dass selbst kleine Veränderungen an Textbildern die Ausgabe eines Systems beeinflussen können.¹⁵ Gleichzeitig existieren jedoch Ansätze, die versuchen, Modelle widerstandsfähiger zu machen – etwa durch Augmentierungsstrategien, Ensemble-Methoden oder spezielle Regularisierungstechniken.
Interessant ist auch, wie sich die Interpretierbarkeit entwickelt hat. Klassische OCR-Verfahren waren gut nachvollziehbar: Die Ergebnisse ließen sich durch Regeln, Schwellwerte oder geometrische Merkmale erklären. Bei Deep-Learning-Modellen ist dies weniger offensichtlich, was in manchen Bereichen – etwa in regulierten Industrien oder der Dokumentenarchivierung – eine Herausforderung darstellt. Daher widmet sich ein Teil der aktuellen Forschung erklärbaren neuronalen Modellen und der Frage, wie visuelle Entscheidungswege sichtbar gemacht werden können.
Insgesamt zeigt der Blick auf die moderne Forschung, dass OCR längst kein isoliertes Thema mehr ist. Es ist Teil eines größeren Spektrums von Aufgaben, die sich um visuelles Verstehen, multimodale Analyse und automatisierte Informationsverarbeitung drehen. Während handwerklich definierte Methoden früher das Rückgrat der Texterkennung bildeten, haben lernbasierte Modelle diese Rolle übernommen – und entwickeln sich weiterhin mit großer Geschwindigkeit.
Fazit: Eine Technologie in ständiger Bewegung
Machine Learning hat die Texterkennung tiefgreifend verändert. Was früher aus vielen einzeln definierten Schritten bestand, wird heute zunehmend von Modellen übernommen, die direkt aus Daten lernen und komplexe Zusammenhänge selbstständig erfassen. Von frühen statistischen Verfahren über die ersten CNNs bis hin zu heutigen Transformer-Modellen reicht eine Entwicklung, die nicht nur technisch spannend ist, sondern auch zeigt, wie eng Forschung und praktische Anwendungen miteinander verwoben sind.
Während klassische OCR weiterhin in spezifischen, gut kontrollierten Umgebungen zum Einsatz kommt, hat ML die Tür für robustere, vielseitigere und kontextsensitivere Systeme geöffnet. Moderne Modelle erkennen nicht nur Zeichen und Wörter, sondern verstehen zunehmend ganze Dokumente, Layouts und Szenen. Dieser Trend deutet darauf hin, dass OCR in den kommenden Jahren noch stärker Teil multimodaler Systeme werden wird – Systeme, die Bild, Text und Struktur gemeinsam analysieren und dadurch eine neue Stufe automatisierter Informationsverarbeitung ermöglichen.
Die Entwicklung ist nicht abgeschlossen. Neue Modelle, größere Datensätze und verbesserte Trainingsmethoden werden die Grenzen der heutigen Systeme weiter verschieben. Doch schon jetzt lässt sich festhalten, dass Machine Learning die OCR nicht nur erweitert, sondern vollständig neu definiert hat.
Referenzen
¹Vgl. Rabiner – A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, 1989
²Vgl. LeCun et al. – Gradient-based learning applied to document recognition (LeNet-5), 1998
³Vgl. Krizhevsky, Sutskever & Hinton – ImageNet Classification with Deep Convolutional Neural Networks, 2012
⁴Vgl. Shi, Bai & Yao – An End-to-End Trainable Neural Network for Image-Based Sequence Recognition, 2016
⁵Vgl. Graves et al. – Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks, 2006
⁶Vgl. Jaderberg et al. – Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition, 2014–2016
⁷Vgl. Zhou et al. – EAST: An Efficient and Accurate Scene Text Detector, 2017
⁸Vgl. Baek et al. – CRAFT: Character Region Awareness for Text Detection, 2019
⁹Vgl. Liao et al. – DBNet: Real-Time Scene Text Detection with Differentiable Binarization, 2020
¹⁰Vgl. Li et al. – TrOCR: Transformer-based Optical Character Recognition with Pre-Trained Models, 2021
¹¹Vgl. Kim et al. – Donut: Document Understanding Transformer without OCR, 2022
¹²Vgl. Xu et al. – LayoutLM: Pre-training of Text and Layout for Document Image Understanding, 2020
¹³Vgl. PaLI: Scaling Language-Image Models, Google Research, 2022
¹⁴Vgl. Lee et al. – Pix2Struct: Screenshot Parsing with Vision-Language Models, 2023
¹⁵Vgl. Wang et al. – Towards Adversarially Robust Scene Text Recognition, 2020