Edag Weltweit

    Vehicle Engineering
    br
    Brasilien
    cn
    China
    gb
    Großbritannien
    it
    Italien
    jp
    Japan
    my
    Malaysia
    mx
    Mexiko
    nl
    Niederlande
    se
    Schweden
    pl
    Polen
    ch
    Schweiz
    es
    Spanien
    cz
    Tschechien
    hu
    Ungarn
    us
    USA
    Production Solutions
    br
    Brasilien
    cn
    China
    in
    Indien
    mx
    Mexiko
    se
    Schweden
    cz
    Tschechien
    hu
    Ungarn
    us
    USA

    tech insights

    Ein KI-basiertes Regentropfenerkennungssystem für autonomes Fahren

    Autonomes Fahren – der aktuell bedeutendste Forschungsbereich der Automobilindustrie – führt einen bahnbrechenden Wandel herbei: Autos werden in die Lage versetzt, sowohl in kontrollierten als auch unkontrollierten Umgebungen selbstständig zu fahren. Allerdings ist es praktisch unmöglich, Fahrzeuge zu entwickeln, die ohne ein leistungsstarkes, zuverlässiges Sensorsystem besser als Menschen fahren, insbesondere bei schlechten Wetterbedingungen mit Regen oder Schnee.

    Von den verschiedenen Sensoren, die in autonomen Fahrzeugen eingesetzt werden, ist der Kamerasensor von fundamentaler Bedeutung und der wichtigste von allen. Durch eine Kamera kann ein Fahrzeug visuell wahrnehmen, was rundherum vorgeht – auf ähnliche Art und Weise wie der Mensch seine Umgebung über das Auge wahrnimmt. Die Zuverlässigkeit der Kamera ist somit ein ausschlaggebendes Kriterium für sichereres und besseres Fahren.

    Vorhandene Fahrerassistenzsysteme funktionieren bei guten Wetterbedingungen außerordentlich gut. Beim Fahren unter widrigen Wetterbedingungen, wie etwa Regen und Schnee, ist es jedoch unvermeidbar, dass sich zum Beispiel Regentropfen, Schneeflocken, Schmutz oder Verunreinigungen an der Kameralinse festsetzen und die Hintergrunderkennung stark beeinträchtigen. Insbesondere Regentropfen vor der Kameralinse lassen den Hintergrund nur verschwommen erkennen. Die Folge ist entweder ein Informationsverlust oder eine Fehlinterpretation von Daten. Dies kann dazu führen, dass verschiedene Fahrerassistenzfunktionen ausfallen – etwa die Fußgängererkennung, Objekterkennung, Verkehrszeichenerkennung und zahlreiche andere. Insofern muss sichergestellt werden, dass die Kamera aussagekräftige und vollständige Informationen für besseres und sicheres Fahren bereitstellt.

    textbild-1-RDNet

    Abbildung 1: Kamerabild - Die Linse der aufnehmenden Kamera war mit Regentropfen benetzt. Die Hintergrunderkennung ist deutlich beeinträchtigt und das Bild ist verschwommen.

    Um das beschriebene Problem zu lösen, sollte sichergestellt werden, dass die Qualität des vom Kamerasensor empfangenen Bildes in keiner Weise beeinträchtigt ist. Dies kann durch die Entwicklung einer Software erreicht werden, die Kamerabilder nachbearbeitet und sie bei eventuellen Verzerrungen entsprechend rekonstruiert. Damit verloren gegangene Informationen wiederhergestellt werden können, müssen die betroffenen Bereiche in den verzerrten Bildern jedoch zunächst erfasst werden. Dazu hat EDAG Electronics eine KI-basierte Software entwickelt, welche Regentropfen auf Bildern erkennt. Bei der Softwarelösung für das beschriebene Problem handelt es sich um eine zielgerichtete Methode, die eine dauerhafte, zuverlässige Lösung bietet. Zudem kann dieselbe hardwareunabhängige Software in unterschiedlichen Fahrzeugkameras genutzt werden (z.B. FrontView-, TopView-, RearView-, SurroundView-Kameras).

    Dieses System zur Regentropfenerkennung nennt sich RDNet (Raindrop Detection Network). Es nimmt ein mit Regentropfen benetztes Bild auf, verarbeitet es und erstellt eine binäre Maske mit genauen Informationen über die Position der Regentropfen auf dem Bild. Die Regentropfen werden in weiße Bereiche und die Bereiche ohne Regentropfen als schwarzer Hintergrund segmentiert.

    textbild-2-RDNet

    Abbildung 2 : Eine bildliche Darstellung des Regentropfenerkennungssystems (RDNet). Abbildung links: Eingangsbild, mit Regentropfen benetzt; Mitte: Modell; rechts: Vom Model erstellte binäre Maske mit präzisen Informationen über die Position der Regentropfen auf dem Bild.

    RDNet – Das Regentropfenerkennungsnetz

    RDNet ist ein neuronales Netz vom Typ Convolutional Neural Network (CNN), das speziell für die Verarbeitung von Bildern entwickelt wurde. Ein CNN kann so trainiert werden, dass es die Merkmale eines Regentropfens präzise identifiziert und lernt, anstatt konventionelle Merkmalbeschreibungstechniken zu nutzen. Da Regentropfen hinsichtlich Größe, Form und Beschaffenheit jedoch sehr unterschiedlich sein können, reichen einfache Bildsegmentierungstechniken auf Basis traditioneller Merkmalbeschreibungsverfahren nicht aus, um präzise Ergebnisse für komplexe Anwendungen wie etwa autonomes Fahren zu erzielen.

    Ein CNN folgt nicht dem traditionellen Programmiermuster und lernt stattdessen eher anhand von Beispielen. Anstatt alle Merkmale eines Regentropfens einzeln manuell zu definieren und einen Algorithmus zu bilden, können einige zu einem neuronalen Netz zusammengefügte Convolution-Schichten auf Basis eines Regentropfen-Datensatzes trainiert werden. So erlernt das Netz eigenständig die Merkmale von Regentropfen sowie die Merkmale des immer anders aussehenden Hintergrundes.

    Ein CNN ist eine spezielle Form von überwachtem Lernverfahren, bei dem das Netz anhand eines Paares bestehend aus zwei Eingaben lernt. Die Trainingsdaten bestehen einerseits aus den Eingangsbildern mit Regentropfen und andererseits aus den gewünschten Ausgangsdaten, die auch als "binäre Labels" bezeichnet werden. Wenn das Netz mit einem solchen Datensatz trainiert wird, lernt es, das Eingangsbild dem gewünschten Output (Labels) zuzuordnen. Anschließend ist das Modell aufgrund des Gelernten in der Lage, Regentropfen auf zuvor unbekannten Beispielen zu erkennen und vorherzusagen.

    Die größte Herausforderung bei Deep Learning ist die Datenverfügbarkeit. Um das RDNet zu trainieren, wurde ein spezieller Regentropfen-Datensatz verwendet, bei dem die Regentropfen künstlich erzeugt wurden. Der Datensatz enthält 35.700 Trainingseinzelbilder mit den entsprechenden binären Labels. Um das Ganze realistischer und praxistauglicher zu gestalten, stammen die Hintergründe dieser Bilder zudem aus städtischen Umgebungen unter wolkigen Wetterbedingungen.

    textbild-3-RDNet

    Abbildung 3: Beispiel eines mit Regentropfen benetzten Bildes, das zum Trainieren des Netzes verwendet wurde. Die Regentropfen auf diesem Hintergrund wurden künstlich erzeugt.

    Durch die Kombination von RDNet mit einer Rekonstruktionssoftware wie DiFoRem (EDAG-Software zur Rekonstruktion von Bildausschnitten, die durch Fremdkörper verdeckt sind) können die verschwommenen Bildbereiche rekonstruiert werden. DiFoRem nutzt die von RDNet generierten binäre Masken zur Erzeugung klarer, fehlerloser Bilder mit verbesserter Hintergrundsichtbarkeit. Derzeit erkennt RDNet nur Regentropfen. Es wird jedoch in Zukunft auf andere Arten von Verunreinigungen wie Schmutz, Schnee usw. ausgeweitet. Die von RDNet erkannten Regentropfen sind in der Abbildung unten zu sehen:

    textbild-4-RDNet

    Abbildung 4 : Von RDNet erkannte Regentropfen. Abbildung oben: Bild mit Regentropfen; Mitte: Die prognostizierte Maske; Bild unten: Die durch das Netz erfassten Regentropfen sind in blau hervorgehoben.

    Dank künstlicher Intelligenz (KI) wurde das, was einst nur ein Konzept von autonomen Fahrzeugen war, nun Wirklichkeit. KI lässt Fahrzeuge wie Menschen sehen, hören und Entscheidungen treffen. Bei EDAG verfolgen wir das Motto „Immer ein wenig anders und immer der Zeit voraus“. Daher bieten wir stets zukunftsorientierte Lösungen zur Konstruktion und Entwicklung von Fahrzeugtechnologien für besseres und sichereres Fahren. Gerne unterstützen wir unsere Kunden mit zukunftsweisenden Lösungen dabei, autonomes Fahren Wirklichkeit werden zu lassen.

    Unser Team in Lindau / Ulm beschäftigt sich intensiv mit Aufgaben in den Bereichen Deep Learning und Computer Vision. Wenn Sie mehr über diese Technologien oder andere Anwendungsbereiche von KI erfahren möchten, steht Ihnen unsere KI-Softwareentwicklerin Malavika Venugopal gerne zur Verfügung.

    Laden Sie sich für mehr Informationen zudem das Whitepaper „Wie KI gepaart mit Kamerasystemen die Zukunft für autonomes Fahren ebnet“ herunter.

    Whitepaper Raindrop Detection Network

    Jetzt Whitepaper herunterladen
    Experten- gespräch  vereinbaren >>

    Ähnliche Beiträge

    Die Automobilindustrie befindet sich aktuell in einem rasanten Wandel – nicht nur das Produkt „Automobil“, sondern auch die Mobilität als ganzheitliches Eco-System muss grundsätzlich neu gedacht werden. Neue Technologien, wie alternative Antriebe und digitale Features, Vernetzung und autonomes Fahren und die Vision einer vernetzten Smart City...

    >> Weiterlesen
    Fahrzeuge, die sich alleine durch den alltäglichen Verkehr navigieren, während der Fahrer am Laptop arbeitet oder sich auf dem Rücksitz entspannt: Noch sind diese Bilder Zukunftsmusik. Doch auch wenn vollautonome Fahrzeuge (noch) nicht für den Straßenverkehr zugelassen sind, verbauen Automobilhersteller immer öfter Assistenzsysteme serienmäßig....

    >> Weiterlesen
    Charles Lindbergh flog 1927 in seinem Flugzeug „Spirit of St. Louis“ die 5.800 Kilometer von New York nach Paris in langen und einsamen 33 Stunden. Die gleiche Strecke schaffte die Concorde knapp 50 Jahre später in unglaublichen drei Überschallstunden. Heute ist Fliegen für uns zur Selbstverständlichkeit geworden und wir machen es uns viel zu...

    >> Weiterlesen
    EDAG Logo

    EDAG

    Kreuzberger Ring 40, 65205 Wiesbaden
    p +49 661 6000-0 f +49 661 6000-223