Autoren
Philip Zetterberg
Software AI Engineer, TRENPEX
Mitwirkende
Angie Zetterberg
Public Relations, TRENPEX
Abonnieren Sie unseren Newsletter
Teilen
Wie Merkmaldetektion sich entwickelt hat – und warum moderne Systeme den Kontext verstehen müssen
Optical Feature Detection – also das automatische Erkennen relevanter Merkmale oder Komponenten in Bildern – gehört zu den zentralen Aufgaben moderner Computer Vision. Egal ob es sich um industrielle Bauteile, sicherheitsrelevante Elemente oder mechanische Komponenten handelt: Ein System muss zunächst das Objekt finden und anschließend dessen Zustand oder Eigenschaften bestimmen. Dieses zweistufige Vorgehen – Detektion gefolgt von Klassifikation – bildet heute das Rückgrat vieler automatisierter Inspektionsprozesse.
Ein Beispiel wäre die Erkennung und Zustandsklassifikation eines Bremshebels eines Zugwaggons. Obwohl der Begriff unspektakulär erscheint, umfasst die Aufgabe eine Vielzahl an Herausforderungen: Der Hebel kann unter unterschiedlichen Beleuchtungen erscheinen, teilweise verdeckt sein, variieren in Farbe, Materialeigenschaften oder Position, und seine Stellung ist oft nur anhand visueller Unterschiede innerhalb weniger Pixel erkennbar.
Solche Szenarien machen deutlich, warum die Entwicklung der Objekterkennung in den vergangenen zwei Jahrzehnten so stark an Bedeutung gewonnen hat. Klassische Verfahren stießen in diesen Situationen schnell an ihre Grenzen, während moderne Deep-Learning-basierte Modelle zunehmend in der Lage sind, Objekte selbst in komplexen Szenen zuverlässig zu lokalisieren.
Die frühen Ansätze: Regeln, Merkmale und die Grenzen handgefertigter Verfahren
Bevor neuronale Netze für die Objekterkennung praxistauglich wurden, basierten viele Systeme auf festen Regeln oder handgefertigten Merkmalen. Ein bekanntes Beispiel dafür sind die Haar-Cascade-Detektoren, die Viola und Jones 2001 vorgestellt haben.¹ Sie funktionierten erstaunlich gut, solange das Zielobjekt eine definierte Form hatte und das Bild unter kontrollierten Bedingungen aufgenommen wurde. Doch sobald die Perspektive wechselte oder Teile des Objekts verdeckt waren, brach die Detektionsleistung ein.
Ähnlich verhielt es sich mit Verfahren wie HOG+SVM, die Dalal und Triggs 2005 eingeführt haben.² Die Idee war dabei, das visuelle Objekt durch Gradientenorientierungen zu beschreiben und diese Merkmale anschließend mit einem Klassifikator zu erkennen. Diese Methode war ein bedeutender Fortschritt gegenüber rein regelbasierten Ansätzen, doch auch sie war empfindlich gegenüber Perspektivänderungen, Lichtvariationen und komplexen Hintergründen.
Für ein Bauteil wie einen Bremshebel bedeutete das: Solange die Position, der Winkel und die Beleuchtung kontrolliert waren, funktionierten solche Systeme akzeptabel. Sobald aber reale Betriebsbedingungen ins Spiel kamen – Schmutz, Schatten, Materialreflexionen, variierende Kontraste – verloren sie die Robustheit und damit den praktischen Nutzen.
Der Übergang zu Deep Learning: Region-basierte Verfahren und der Beginn echt belastbarer Detektion
Mit der Einführung von regionenbasierten neuronalen Netzen wurde ein fundamentaler Wandel eingeleitet. Arbeiten wie R-CNN (Girshick et al., 2014)³ und später Fast R-CNN und Faster R-CNN⁴ kombinierten erstmals die Idee der Objektvorschläge mit tiefen neuronalen Faltungsnetzen. Dadurch konnten Modelle nicht nur Merkmale automatisch lernen, sondern sie zugleich in komplexen Szenen robust lokalisieren. Statt auf handgefertigte Regeln zu vertrauen, lernten die Netze direkt aus den Trainingsdaten, was ein Objekt ausmacht und wie es sich von seiner Umgebung unterscheidet.
Für technische Komponenten wie Bremshebel bedeutete das eine deutliche Verbesserung. Auch wenn das Objekt teilweise verdeckt war oder unter schrägem Blickwinkel erschien, war das Netzwerk häufig in der Lage, es korrekt zu identifizieren. Dieses Prinzip – die Kombination aus visueller Merkmalsextraktion und objektspezifischen Regionen – bildet bis heute die Basis vieler industrieller Lösungen.
YOLO, SSD und die Ära der Echtzeitdetektion
Kurz darauf entstanden Modelle, die die Detektion noch weiter vereinfachten und beschleunigten. Mit dem „You Only Look Once“-Ansatz stellte Redmon et al. 2016 ein Modell vor, das die gesamte Bildanalyse in einem einzigen Netzwerk vereinte.⁵ YOLO und seine Nachfolger – darunter YOLOv3, YOLOv5, YOLOX und die neueren Versionen der Community – führten die Echtzeitdetektion ein, ohne die Genauigkeit drastisch zu reduzieren. Parallel dazu entstanden Architekturen wie SSD (Single Shot MultiBox Detector) von Liu et al.⁶, die ähnliche Konzepte verfolgten.
Diese Modelle machten es möglich, Objekte sogar in Situationen mit starken Hintergrundstörungen oder wechselnden Perspektiven zuverlässig zu finden. Für die Analyse technischer Komponenten ist dies bis heute ein entscheidender Vorteil. Ein Bremshebel muss nicht nur identifizierbar sein – er muss in Szenen auftauchen, die nicht perfekt ausgeleuchtet oder strukturell eindeutig sind. Genau hier erzielen derartige Modelle in der Praxis bemerkenswerte Ergebnisse.
Detektion mit modernen Transformer-Modellen: Vom Pixel zur semantischen Struktur
Seit 2020 hat sich ein weiterer großer Paradigmenwechsel etabliert. Mit der Einführung von DETR (Carion et al., 2020) wurde erstmals ein völlig anderes Modell vorgestellt, das die Objekterkennung ausschließlich mit Transformer-Architekturen durchführt.⁷ Anstatt auf Ankerpunkte, Feature-Pyramiden oder mehrstufige Verfahren zu setzen, formuliert DETR die Objekterkennung als Zuordnungsproblem zwischen Bildern und Objekten. Das Ergebnis ist ein System, das weniger Heuristiken benötigt und eine ungewöhnlich hohe Robustheit gegenüber strukturellen Störungen aufweist.
In späteren Varianten – etwa Deformable DETR, DN-DETR oder DINO – wurden die Modelle weiter verbessert und beschleunigt, sodass sie auch im praktischen Einsatz relevante Geschwindigkeiten erreichen. Für Aufgaben, bei denen ein Objekt wie ein Bremshebel unter variierenden Winkeln, teilweiser Verdeckung oder komplexen Materialstrukturen erkannt werden muss, zeigt sich deutlich, wie groß der Vorteil solcher Modelle sein kann.
Transformer-basierte Detektoren erkennen nicht nur das Objekt, sondern verstehen zunehmend auch den Kontext, in dem es sich befindet. Das verbessert die Detektionsleistung gerade dann, wenn die visuellen Eigenschaften zwischen Bildern stark variieren.
Klassifikation des Zustands: Von einfachen Merkmalen zu tiefen neuronalen Netzen
Sobald ein Objekt lokalisiert wurde, stellt sich die nächste Frage: In welchem Zustand befindet es sich? Dieser Schritt – die Klassifikation innerhalb der ROI – folgt historisch einem eigenen Entwicklungspfad.
Frühe Ansätze setzten häufig auf feste Merkmale wie HOG, LBP oder geometrische Messgrößen und klassifizierten anschließend mit SVMs oder Entscheidungsbäumen. Während diese Methoden in kontrollierten Szenarien durchaus zuverlässig arbeiteten, litten sie unter denselben Einschränkungen wie die klassische Objektlokalisation.
Mit dem Aufkommen von CNNs änderte sich dies grundlegend. Modelle wie AlexNet (Krizhevsky et al., 2012)⁸ und später ResNet (He et al., 2015)⁹ zeigten, dass neuronale Netze komplexe visuelle Merkmale besser erfassen können als jede handgefertigte Alternative. Für Zustandsklassifikation – etwa die Unterscheidung zwischen verschiedenen Bremshebelstellungen – bedeutete dies einen erheblichen Qualitätssprung.
Neuere Architekturen wie Vision Transformers (Dosovitskiy et al., 2020) erweitern diesen Ansatz weiter, indem sie visuelle Strukturen über Selbstaufmerksamkeit modellieren.¹⁰ Dadurch sind sie besonders robust gegenüber feinen Unterschieden, die in technischen Zustandsklassifikationen entscheidend sein können.
Mit dieser Entwicklung wurde es möglich, komplexe Zustände zu unterscheiden, selbst wenn die Unterschiede subtil sind und die Umgebung stark variiert.
Warum technische Komponenten besondere Herausforderungen für die Feature Detection darstellen
Sobald es um mechanische oder sicherheitsrelevante Komponenten geht, wird schnell deutlich, dass die Erkennung nicht allein daraus besteht, ein Objekt zu lokalisieren. Der entscheidende Schritt folgt erst danach: das Verständnis seines Zustands. Ein Bauteil kann richtig ausgerichtet, falsch positioniert, eingerastet, ausgelöst oder teilweise beschädigt sein – und diese Unterschiede sind oft visuell nur sehr subtil erkennbar.
Traditionelle Verfahren der Bildverarbeitung hatten damit naturgemäß Schwierigkeiten, weil sie auf klar definierte Konturen, stabile Kontraste und geometrische Regeln angewiesen waren. Doch genau diese Eigenschaften liegen bei technischen Komponenten im praktischen Einsatz selten vor. Metallische Oberflächen reflektieren Licht unterschiedlich stark, Materialalterungen verändern die Struktur, Fett oder Schmutz legen sich über einzelne Bereiche, und kleine mechanische Defekte verändern lokale Formen. Dabei bleibt das grundlegende Objekt erkennbar, aber sein Zustand manifestiert sich in Details, die sich häufig nur im Gesamtbild erschließen.
In diesem Kontext zeigt sich besonders deutlich, warum Deep-Learning-Modelle die klassischen Verfahren in den letzten Jahren zunehmend abgelöst haben. Während ein regelbasiertes System versucht, die exakte Form eines Bauteils zu interpretieren, sucht ein neuronales Netz nach Mustern, die über viele Beispiele hinweg typisch sind – nicht nur für das Objekt selbst, sondern auch für seine möglichen Zustände. Damit wird die Analyse unabhängiger von Beleuchtung, Farbe oder Oberfläche und stützt sich stärker auf strukturelle Eigenschaften.
Wenn Reflexionen, Material und Verschleiß die visuelle Struktur verändern
Mechanische Komponenten aus Metall oder Verbundmaterialien weisen häufig stark unterschiedliche Reflexionseigenschaften auf. Schon kleine Veränderungen der Beleuchtung können dazu führen, dass der relevante Bereich entweder überstrahlt oder zu dunkel erscheint. Für klassische Verfahren, die auf Binarisierung oder Kantenextraktion beruhen, bedeutet das oft den Verlust wichtiger Bildinformationen.
Deep-Learning-Modelle interpretieren diese visuellen Schwankungen dagegen völlig anders. Anstatt die absolute Farb- oder Helligkeitsverteilung direkt zu bewerten, lernen sie statistische Muster, die unabhängig von der auftretenden Variation bestehen. Diese Robustheit ist in zahlreichen Studien zur industriellen Qualitätskontrolle dokumentiert worden, etwa in Arbeiten zu CNN-basierten Oberflächenanalysen, die selbst bei starken Helligkeitsänderungen stabile Ergebnisse erzielen.¹¹
Ähnlich verhält es sich mit Verschleiß und Beschädigungen. Ein Bauteil, das über Jahre hinweg verwendet wurde, kann Kratzer, Kerben oder Unregelmäßigkeiten aufweisen. In klassischen Systemen führt dies zu Fehldetektionen, da die visuellen Merkmale nicht mehr mit der erwarteten Vorlage übereinstimmen. Neuronale Netze können solche Veränderungen dagegen häufig problemlos einordnen, solange sie während des Trainings mit einer ausreichenden Vielfalt an Beispielen konfrontiert wurden. Arbeiten zu robusten Merkmalsrepräsentationen – etwa die von Geirhos et al. zu „shape bias“ vs. „texture bias“ – zeigen, wie moderne Modelle lernen, strukturelle Eigenschaften selbst dann zu erkennen, wenn die Oberfläche stark variiert.¹²
Teilverdeckungen und komplexe Formen: Wenn das Objekt nur teilweise sichtbar ist
Eine besonders anspruchsvolle Herausforderung entsteht, wenn das Objekt nicht vollständig sichtbar ist. Bauteile können von anderen Elementen teilweise verdeckt werden oder liegen in einer räumlichen Struktur, die wesentliche Teile des Objekts verdeckt. Klassische Methoden scheitern hier, weil sie vollständige Konturen benötigen, um eine zuverlässige Zuordnung zu treffen.
Deep-Learning-Modelle können dagegen häufig fehlende Bereiche intern ergänzen. Sie verlassen sich nicht auf einzelne Kanten, sondern auf die Gesamtstruktur der visuellen Merkmale. Die Fähigkeit, unvollständige Informationen zu interpretieren, ist elementarer Bestandteil moderner Modelle. Auch Transformer-basierte Architekturen, die visuelle Beziehungen über größere Distanzen modellieren, verbessern diese Eigenschaft weiter. Studien wie jene zu DINO¹³ oder Deformable DETR¹⁴ zeigen, dass solche Modelle selbst dann noch korrekte Detektionen liefern, wenn 20–40 % des Objekts verdeckt sind.
Für die spätere Klassifikation des Zustands bedeutet dies, dass der Algorithmus auch dann Entscheidungen treffen kann, wenn entscheidende Bereiche teilweise verborgen liegen. Ein Zustand, der sich nur in einer kleinen geometrischen Veränderung äußert, bleibt erkennbar, weil das Modell gelernt hat, wie die Struktur eines solchen Bauteils in verschiedenen Ausprägungen aussieht – inklusive kleiner Abweichungen, Orientierungseffekten und Materialveränderungen.
Übergang zu multimodalen Modellen
Mit dem Aufkommen multimodaler Modelle beginnt sich das Feld noch einmal zu verändern. Modelle wie CLIP oder PaLI nutzen nicht nur das Bild, sondern auch sprachliche oder symbolische Beschreibungen, um Entscheidungen abzuleiten. Dadurch können sie in manchen Fällen besser generalisieren, insbesondere wenn bestimmte Zustände selten in Trainingsdaten vorkommen.
Auch wenn diese Modelle in der klassischen industriellen Detektion bisher nur selektiv eingesetzt werden, zeigen frühe Forschungsarbeiten, wie groß das Potenzial ist, wenn visuelle Informationen mit semantischen Strukturen kombiniert werden.¹⁵
Damit entsteht ein neuer Ansatz der Feature Detection: nicht mehr nur „Objekt erkannt“, sondern „Objekt verstanden“.
Referenzen
¹Vgl. Viola & Jones – Rapid Object Detection using a Boosted Cascade of Simple Features, 2001
²Vgl. Dalal & Triggs – Histograms of Oriented Gradients for Human Detection, 2005
³Vgl. Girshick et al. – Rich Feature Hierarchies for Accurate Object Detection (R-CNN), 2014
⁴Vgl. Ren et al. – Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, 2015
⁵Vgl. Redmon et al. – You Only Look Once: Unified, Real-Time Object Detection, 2016
⁶Vgl. Liu et al. – SSD: Single Shot MultiBox Detector, 2016
⁷Vgl. Carion et al. – End-to-End Object Detection with Transformers (DETR), 2020
⁸Vgl. Krizhevsky et al. – ImageNet Classification with Deep Convolutional Neural Networks, 2012
⁹Vgl. He et al. – Deep Residual Learning for Image Recognition (ResNet), 2015
¹⁰Vgl. Dosovitskiy et al. – An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, 2020
¹¹Vgl. Song et al. – Surface Defect Detection via CNNs, 2019
¹²Vgl. Geirhos et al. – Imagenet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness, 2019
¹³Vgl. Zhang et al. – DINO: DETR with Improved DeNoising Anchor Boxes, 2022
¹⁴Vgl. Zhu et al. – Deformable DETR: Deformable Transformers for End-to-End Object Detection, 2021
¹⁵Vgl. Radford et al. – Learning Transferable Visual Models From Natural Language Supervision (CLIP), 2021