Der vollautonome Pkw ist bislang noch Zukunftsmusik. Fahrer-Assistenz-Systeme, die zumindest unterstützen können, sind jedoch auf dem Vormarsch. Sie basieren im Wesentlichen auf der Erkennung der Fahrzeugumgebung. Künstliche Intelligenz trägt dazu bei, dass das auch bei widrigen Wetterbedingungen und verschmutzten Kameras zuverlässig funktioniert.
Sie weisen auf Geschwindigkeitsbeschränkungen hin, rangieren selbstständig in die Parklücke oder greifen in gefährlichen Situationen ins Fahrgeschehen ein: Immer mehr digitale Helfer sollen Fahrerinnen und Fahrer unterstützen. Sie arbeiten unter anderem auf Basis von Kamerabildern oder weiteren Sensoren, wie zum Beispiel Radar, LIDAR oder Ultraschall.
In der Theorie liefern sie hochqualitative Ergebnisse, die das Fahren sicherer machen. In der Praxis sieht es jedoch leider oft anders aus. Wenn die Kameralinse durch Staub oder Dreck verunreinigt ist oder schlechte Wetterbedingungen wie Regen, Nebel oder Schnee vorherrschen, erhält die Software kein klares Bild. Es fehlen dadurch eventuell wichtige Daten.
Fehlfunktionen minimieren: Der KI-Weg
Nicht nur für vollautomatisierte Verkehrssysteme können daraus schwerwiegende Folgen entstehen, auch teilautomatisierten Systemen machen fehlende Verkehrs- oder Umgebungsinformation zu schaffen. Beispiel Schilder-Erkennung: Gilt ein Tempo-Limit von 80 oder 60 km/h? Muss das Fahrzeug abgebremst werden oder ist die Geschwindigkeit im zulässigen Bereich? Noch schwerwiegender können sich Fehlinterpretationen bei der Erkennung beziehungsweise Vermeidung von Kollisionen auswirken. Schlimmstenfalls drohen Unfälle durch unerwartete Fahrmanöver, die von einem Assistenzsystem ausgelöst wurden.
Um Fehlfunktionen oder den Totalausfall eines Systems zu vermeiden und eine robuste, zuverlässige Funktion softwarebasierter Funktionen und Assistenzsystemen für eine große Vielfalt an Situationen und Umgebungen abzusichern, hat die EDAG Group vor vier Jahren mit gezielter Forschung und Entwicklung im Bereich Künstlicher Intelligenz (KI) begonnen. Mit Hilfe von KI lassen sich Bildinformationen verbessern und das Fehlerrisiko bei Fahrerassistenzsystemen reduzieren.
KI vom menschlichen Gedächtnis inspiriert
Einer der erfolgsversprechendsten Ansätze zur Bildverbesserung mittels KI setzt auf Konzepte, die sich an der Struktur des menschlichen Gehirns sowie den Prozessen im Gedächtnis orientieren. Neuartige Auto-Encoder-Architekturen setzen dabei auf die Kombination von Partial-Convolutional Neural Networks (pCNN), also „gefaltete“ Neuronale Netzwerke, und convolutionale Long-Short-Term-Memory-Netze (ConvLSTM), zu deutsch: ein Netz als gefaltetes langes Kurzzeitgedächtnis.
Architektur des Partial-Convolutional LSTM Layer
Eine solche Architektur ermöglicht eine vom menschlichen Gedächtnis inspirierte raumzeitliche Merkmalsextraktion. Zur Rekonstruktion eines unvollständigen Bildes zieht die KI auch Informationen aus Vorgänger- und Nachfolgerbildern heran. Dieser Deep-Learning-Ansatz erlaubt die robuste Vervollständigung trotz Bildfehlern, die äußerst variantenreich auftreten können.
Die gewählte Netzarchitektur ist in der Lage, Informationen von zuvor gesehenen Objekten und Szenarien zu abstrahieren und daraus grundlegende Zusammenhänge zu erkennen. So können beispielsweise im Einzelbild verdeckte Objekte auf Basis von Erfahrungswerten aus den vorhergehenden Bildern rekonstruiert werden. Diese Fähigkeiten der KI werden im Trainingsprozess durch Analyse von Millionen verschiedener Bilder gesammelt. Die Korrektheit der Abstraktion muss während des Trainingsprozesses ständig überprüft werden.
KI-Optimierung für diverse Hardware
Die derzeit entwickelte Netzwerkarchitektur der zur Bildverbesserung genutzten Künstlichen Intelligenz ist auf die weitverbreiteten Nvidia-Autonomous-Plattformen optimiert. Sie ist aber ebenso auf FPGA-Systemen von Xilinx lauffähig. In jedem Fall können Anwender sicher sein, von hoch performanten Algorithmen in Kombination mit einer gängigen Hardwareplattform für eingebettete Systeme zu profitieren. Der Einsatzbereich des Systems erstreckt sich sowohl auf RearView- wie FrontView- sowie TopView-Kamerasysteme und ist darüber hinaus und in Kombination mit weiteren Sensorgattungen anwendbar.
Anwendungsfälle: KI's vielfältige Möglichkeiten
Welchen Vorteil solche KI-gestützte Systeme bieten, zeigt sich im Automotive-Umfeld beispielhaft beim vollautomatisierten Einparken. Sind während des Parkmanövers ein Teil der Windschutzscheibe oder die Rückfahrkamera partiell verschmutzt und dadurch die kamerabasierten Funktionen eingeschränkt, schaltet das System von aktiv auf ausschließlich informierend herunter. Das Fahrzeug unterstützt den Fahrer also nur noch und nimmt ihm das Einparken nicht vollständig ab. Mit der Unterstützung der KI-Software, die Güte und Robustheit der Kamerabilder absichert, wird die Degration der Assistenzfunktion vom autonomen zum rein informativen Unterstützungssystem verhindert oder hinausgeschoben.
Neben dem Automotive-Bereich ist die KI-gestützte Bildverbesserung auch für die Industrie ein interessanter Anwendungsfall. Sie kann beispielsweise in der visuellen Qualitätskontrolle eingesetzt werden. Weitere Einsatzmöglichkeiten innovativer Machine- und Deep-Learning-Techniken zeigen sich unter anderem bei der Vereinfachung aufwändiger FEM-Berechnungen oder der qualitativen Auswertung von Messsignalen für die Fahrzeugsicherheit. Die Anpassung von KI-basierten Architekturen zu den jeweiligen Herausforderungen ist generisch und hat dank ausreichender Datenquellen und deren Vorverarbeitung das Potenzial, zur kontinuierlichen Verbesserung und Absicherung beizutragen, sei es bei der Optimierung interner Prozesse oder der Entwicklung zukünftiger Fahrzeugkonzepte.
Wenn Sie mehr wissen wollen über den Einsatz von KI-gestützter Methoden im Bereich der Bildverarbeitung, sprechen Sie mit unserem Spezialisten Jacek Burger, Abteilungsleiter im Bereich Embedded Systems & ComputerVision/KI.
Weitere Details über die Entwicklung von KI-Architekturen bei EDAG, wie Convolutional Neuronal Networks (CNN) zur Bildverbesserung, finden Sie zudem in unserem Whitepaper „Effiziente Bildverarbeitung mittels KI“, das Sie gleich hier downloaden können.
