Autonomes Fahren – der aktuell bedeutendste Forschungsbereich der Automobilindustrie – führt einen bahnbrechenden Wandel herbei: Autos werden in die Lage versetzt, sowohl in kontrollierten als auch unkontrollierten Umgebungen selbstständig zu fahren. Allerdings ist es praktisch unmöglich, Fahrzeuge zu entwickeln, die ohne ein leistungsstarkes, zuverlässiges Sensorsystem besser als Menschen fahren, insbesondere bei schlechten Wetterbedingungen mit Regen oder Schnee.
Von den verschiedenen Sensoren, die in autonomen Fahrzeugen eingesetzt werden, ist der Kamerasensor von fundamentaler Bedeutung und der wichtigste von allen. Durch eine Kamera kann ein Fahrzeug visuell wahrnehmen, was rundherum vorgeht – auf ähnliche Art und Weise wie der Mensch seine Umgebung über das Auge wahrnimmt. Die Zuverlässigkeit der Kamera ist somit ein ausschlaggebendes Kriterium für sichereres und besseres Fahren.
Vorhandene Fahrerassistenzsysteme funktionieren bei guten Wetterbedingungen außerordentlich gut. Beim Fahren unter widrigen Wetterbedingungen, wie etwa Regen und Schnee, ist es jedoch unvermeidbar, dass sich zum Beispiel Regentropfen, Schneeflocken, Schmutz oder Verunreinigungen an der Kameralinse festsetzen und die Hintergrunderkennung stark beeinträchtigen. Insbesondere Regentropfen vor der Kameralinse lassen den Hintergrund nur verschwommen erkennen. Die Folge ist entweder ein Informationsverlust oder eine Fehlinterpretation von Daten. Dies kann dazu führen, dass verschiedene Fahrerassistenzfunktionen ausfallen – etwa die Fußgängererkennung, Objekterkennung, Verkehrszeichenerkennung und zahlreiche andere. Insofern muss sichergestellt werden, dass die Kamera aussagekräftige und vollständige Informationen für besseres und sicheres Fahren bereitstellt.
Abbildung 1: Kamerabild - Die Linse der aufnehmenden Kamera war mit Regentropfen benetzt. Die Hintergrunderkennung ist deutlich beeinträchtigt und das Bild ist verschwommen.
Um das beschriebene Problem zu lösen, sollte sichergestellt werden, dass die Qualität des vom Kamerasensor empfangenen Bildes in keiner Weise beeinträchtigt ist. Dies kann durch die Entwicklung einer Software erreicht werden, die Kamerabilder nachbearbeitet und sie bei eventuellen Verzerrungen entsprechend rekonstruiert. Damit verloren gegangene Informationen wiederhergestellt werden können, müssen die betroffenen Bereiche in den verzerrten Bildern jedoch zunächst erfasst werden. Dazu hat EDAG Electronics eine KI-basierte Software entwickelt, welche Regentropfen auf Bildern erkennt. Bei der Softwarelösung für das beschriebene Problem handelt es sich um eine zielgerichtete Methode, die eine dauerhafte, zuverlässige Lösung bietet. Zudem kann dieselbe hardwareunabhängige Software in unterschiedlichen Fahrzeugkameras genutzt werden (z.B. FrontView-, TopView-, RearView-, SurroundView-Kameras).
Dieses System zur Regentropfenerkennung nennt sich RDNet (Raindrop Detection Network). Es nimmt ein mit Regentropfen benetztes Bild auf, verarbeitet es und erstellt eine binäre Maske mit genauen Informationen über die Position der Regentropfen auf dem Bild. Die Regentropfen werden in weiße Bereiche und die Bereiche ohne Regentropfen als schwarzer Hintergrund segmentiert.
Abbildung 2 : Eine bildliche Darstellung des Regentropfenerkennungssystems (RDNet). Abbildung links: Eingangsbild, mit Regentropfen benetzt; Mitte: Modell; rechts: Vom Model erstellte binäre Maske mit präzisen Informationen über die Position der Regentropfen auf dem Bild.
RDNet – Das Regentropfenerkennungsnetz
RDNet ist ein neuronales Netz vom Typ Convolutional Neural Network (CNN), das speziell für die Verarbeitung von Bildern entwickelt wurde. Ein CNN kann so trainiert werden, dass es die Merkmale eines Regentropfens präzise identifiziert und lernt, anstatt konventionelle Merkmalbeschreibungstechniken zu nutzen. Da Regentropfen hinsichtlich Größe, Form und Beschaffenheit jedoch sehr unterschiedlich sein können, reichen einfache Bildsegmentierungstechniken auf Basis traditioneller Merkmalbeschreibungsverfahren nicht aus, um präzise Ergebnisse für komplexe Anwendungen wie etwa autonomes Fahren zu erzielen.
Ein CNN folgt nicht dem traditionellen Programmiermuster und lernt stattdessen eher anhand von Beispielen. Anstatt alle Merkmale eines Regentropfens einzeln manuell zu definieren und einen Algorithmus zu bilden, können einige zu einem neuronalen Netz zusammengefügte Convolution-Schichten auf Basis eines Regentropfen-Datensatzes trainiert werden. So erlernt das Netz eigenständig die Merkmale von Regentropfen sowie die Merkmale des immer anders aussehenden Hintergrundes.
Ein CNN ist eine spezielle Form von überwachtem Lernverfahren, bei dem das Netz anhand eines Paares bestehend aus zwei Eingaben lernt. Die Trainingsdaten bestehen einerseits aus den Eingangsbildern mit Regentropfen und andererseits aus den gewünschten Ausgangsdaten, die auch als "binäre Labels" bezeichnet werden. Wenn das Netz mit einem solchen Datensatz trainiert wird, lernt es, das Eingangsbild dem gewünschten Output (Labels) zuzuordnen. Anschließend ist das Modell aufgrund des Gelernten in der Lage, Regentropfen auf zuvor unbekannten Beispielen zu erkennen und vorherzusagen.
Die größte Herausforderung bei Deep Learning ist die Datenverfügbarkeit. Um das RDNet zu trainieren, wurde ein spezieller Regentropfen-Datensatz verwendet, bei dem die Regentropfen künstlich erzeugt wurden. Der Datensatz enthält 35.700 Trainingseinzelbilder mit den entsprechenden binären Labels. Um das Ganze realistischer und praxistauglicher zu gestalten, stammen die Hintergründe dieser Bilder zudem aus städtischen Umgebungen unter wolkigen Wetterbedingungen.
Abbildung 3: Beispiel eines mit Regentropfen benetzten Bildes, das zum Trainieren des Netzes verwendet wurde. Die Regentropfen auf diesem Hintergrund wurden künstlich erzeugt.
Durch die Kombination von RDNet mit einer Rekonstruktionssoftware wie DiFoRem (EDAG-Software zur Rekonstruktion von Bildausschnitten, die durch Fremdkörper verdeckt sind) können die verschwommenen Bildbereiche rekonstruiert werden. DiFoRem nutzt die von RDNet generierten binäre Masken zur Erzeugung klarer, fehlerloser Bilder mit verbesserter Hintergrundsichtbarkeit. Derzeit erkennt RDNet nur Regentropfen. Es wird jedoch in Zukunft auf andere Arten von Verunreinigungen wie Schmutz, Schnee usw. ausgeweitet. Die von RDNet erkannten Regentropfen sind in der Abbildung unten zu sehen:
Abbildung 4 : Von RDNet erkannte Regentropfen. Abbildung oben: Bild mit Regentropfen; Mitte: Die prognostizierte Maske; Bild unten: Die durch das Netz erfassten Regentropfen sind in blau hervorgehoben.
Dank künstlicher Intelligenz (KI) wurde das, was einst nur ein Konzept von autonomen Fahrzeugen war, nun Wirklichkeit. KI lässt Fahrzeuge wie Menschen sehen, hören und Entscheidungen treffen. Bei EDAG verfolgen wir das Motto „Immer ein wenig anders und immer der Zeit voraus“. Daher bieten wir stets zukunftsorientierte Lösungen zur Konstruktion und Entwicklung von Fahrzeugtechnologien für besseres und sichereres Fahren. Gerne unterstützen wir unsere Kunden mit zukunftsweisenden Lösungen dabei, autonomes Fahren Wirklichkeit werden zu lassen.
Unser Team in Lindau / Ulm beschäftigt sich intensiv mit Aufgaben in den Bereichen Deep Learning und Computer Vision. Wenn Sie mehr über diese Technologien oder andere Anwendungsbereiche von KI erfahren möchten, steht Ihnen unsere KI-Softwareentwicklerin Malavika Venugopal gerne zur Verfügung.
Laden Sie sich für mehr Informationen zudem das Whitepaper „Wie KI gepaart mit Kamerasystemen die Zukunft für autonomes Fahren ebnet“ herunter.
