Eine Explosion von Daten und die Frage, wie sie am besten genutzt werden können, verlangsamen die Einführung autonomer Fahrzeuge.Vollautonome Fahrzeuge kommen, aber nicht so schnell, wie der anfängliche Hype vermuten lässt, denn es gibt eine lange Liste technologischer Probleme, die noch gelöst werden müssen.Eines der grundlegenden Probleme, die noch gelöst werden müssen, ist die Verarbeitung der enormen Datenmengen, die von den verschiedenen Sensoren im Fahrzeug stammen, darunter Kameras, Radar, LiDAR und Sonar.Diese Daten sind die digitale Repräsentation der Außenwelt und müssen in Echtzeit mit verschiedenen Verarbeitungsszenarien verarbeitet werden.Das Problem ist, dass es dafür keinen vereinbarten Weg gibt, und heute gibt es keinen einzelnen Prozessor oder keine Architektur, die alles kann.„Was ist die Kombination aus CPU und GPU?“fragte Vic Kulkarni, Vizepräsident und Chefstratege der Semiconductor Business Unit bei ANSYS.„Das ist im Moment eine häufige Frage aller Designer, denn wenn man sich die reine GPU zur Verarbeitung dieser Informationen ansieht, verbraucht sie zu viel Strom.Infolgedessen besteht ein Gedanke in der Design-Community unserer Kunden darin, eine Kombination aus GPU und CPU zu erstellen und dann Arbeitslasten aus diesen drei Datenströmen, die in ein Sensorfusionsnetzwerk einfließen, dynamisch zuzuweisen und diese Informationen dann an das Steuergerät weiterzuleiten.Die Branche hat derzeit keine gute anerkannte akzeptable Lösung, aber verschiedene Designteams arbeiten definitiv daran.Die Arbeitslast und das Energiemanagement – ​​die ADAS-Verarbeitung verbraucht zu viel Strom.“Bei der Verarbeitung der Sensordaten gibt es zwar derzeit verschiedene Ansätze, eine Skalierung zwischen verschiedenen ADAS-Ebenen zu ermöglichen, aber wie das am besten gelingt, steht noch zur Debatte.„Es muss eine Architektur geben, mit der sie das tun können, und die Frage ist: ‚Wie machen Sie das?'“, sagte Kurt Shuler, Vizepräsident für Marketing bei Arteris IP.„Es besteht großes Interesse daran, mehr Hardwarebeschleuniger zu bekommen, um die Kommunikation in der Software zu verwalten und den Speicher direkt zu verwalten.Dabei gewinnt die Cache-Kohärenz zunehmend an Bedeutung.Aber wie skaliert man ein Cache-kohärentes System?Dies muss auf organisierte Weise erfolgen und eine ganze Reihe von Mastern und Slaves hinzufügen, z. B. zusätzliche Cluster.“Die Technologie ist nur ein Teil des Puzzles.Das automobile Ökosystem stellt sich noch auf autonome Entwicklungen und Ansätze ein.Zusätzlich zu den traditionellen Automobilherstellern und Tiered Suppliers gibt es eine ganz neue Ebene von Zulieferern, die auf den Markt drängen.„Einige der großen Tier-1-Unternehmen haben sogenannte Tier-0.5-Lieferanten [Aptiv und Magna] gegründet, die versuchen, eine umfassendere, ganzheitliche Lösung zu entwickeln, die sie direkt an die OEMs verkaufen können“, sagte David Fritz, Senior Autonomous Vehicle SoC Leader bei Mentor, a Siemens Business.„Die OEMs bauen ihr Chassis darum und nennen es erledigt.Das ist die Theorie.Die Gefahr darin besteht natürlich darin, der nächste Foxconn der Automobilindustrie zu werden, der sich auf Getränkehalter und Leder unterscheidet.Aber die andere Seite ist, dass Sie potenziell schneller auf den Markt kommen könnten.“In Gesprächen mit einem der Tier 0.5-Lieferanten darüber, ob Sensorfusion der richtige Weg ist oder ob es sinnvoller ist, mehr Berechnungen am Sensor selbst durchzuführen, bemerkte ein CTO, dass bestimmte Arten von Sensordaten besser zentral gehandhabt werden sollten andere Arten von Sensordaten werden besser am Rand des Autos gehandhabt, nämlich am Sensor, sagte Fritz.„Seitdem haben einige der Sensorunternehmen erklärt, dass sie einen Großteil der Berechnungen als Teil der Ergebnisse ihrer Sensoren durchführen“, bemerkte er.„Das bedeutet zum Beispiel für einen Kamerasensor, dass er sich von allen anderen unterscheiden muss.Anstatt Rohdaten von Kamerasensoren an eine zentral gelegene Einheit weiterzuleiten, die auch LiDAR und Radar und alles andere handhabt, verarbeitet sie diese Daten selbst, weil sie die Nuancen der Sensordaten kennt.Auf dem Sensor befindet sich möglicherweise ein kleiner Arm-Prozessor, und da er einen Großteil dieser Verarbeitung mit sehr geringem Stromverbrauch ausführen kann, benötigen Sie keine große GPU mehr.Anstatt also Rohdaten weiterzugeben, passiert der Sensor Objekte mit Pads und Abständen.Nehmen wir nun an, Sie sind ein LiDAR- oder Radaranbieter und tun dasselbe.Was das zentrale Verarbeitungssystem dann erhält, ist dieser Satz von Objekten und Etiketten, so dass: „Dies ist eine Person, dies ist ein Fahrrad, dies ist ein Auto.Es ist so weit weg.“Dann ist der Entscheidungsprozess nun vom Wahrnehmungsprozess getrennt.“Dadurch kann sich das Engineering-Team auf den schwierigsten Teil des Problems konzentrieren.„Wenn LiDAR mir sagt, dass es kein Vorfahrtszeichen gibt, aber die Kamera sagt, dass es ein Vorfahrtszeichen gibt, was tun Sie?Wenn das Radar sagt, dass sich etwas vor mir befindet, aber die Kamera und LiDAR es nicht sehen, was tun Sie?Das sind die harten Probleme“, sagte Fritz.„Jetzt, mit all diesen Daten von einer Kamera, sind Sie zum Beispiel durch all diese Straßen gefahren, die Kamerasensoren sammeln viele Daten, und Sie haben sie gespeichert.Was würden Sie mit den Daten in diesem Bereich tun?Ich würde diese Daten verwenden, um die Sensoren selbst zu trainieren, damit sie das, was wir Klassifizierung und Objekterkennung nennen, besser erledigen.Die massiven Daten bedeuten mehr für Sensoranbieter, die diesen Sprung wagen, als für diejenigen, die versuchen, Massenberechnungen, Rohsensorfusion und all das Zeug an einem zentralen Ort durchzuführen.“Jede Sekunde Terabytes an Daten an diesen zentralen Ort zu übertragen, kann das Netzwerk in einem Auto verstopfen, das Gewicht des Fahrzeugs erhöhen und den Stromverbrauch erhöhen.„Wenn das am Sensor selbst kostengünstig möglich ist, würde ich mir diese Richtung wünschen.Und das ist die Art von Feedback, das wir von den OEMs bekommen, und die 0,5er sagen, dass sie an ähnliche Dinge denken.Die ganze Welt geht in diese Richtung.Ich weiß nur nicht, wie schnell der Übergang vonstatten gehen wird“, sagte er.Das Timing ist eine Frage, die sich heutzutage jeder stellt, und zumindest in einigen Fällen verzögern sich Rollout-Zeitpläne.„Wenn Sie vor einem Jahr mit 10 Automobilkunden gesprochen haben, hatten alle denselben Plan“, sagte Geoff Tate, CEO von Flex Logix.„Alle gingen direkt auf vollautonomes 7-nm-Verfahren um, und sie brauchten Bootsladungen an Inferenzdurchsatz.Sie wollten IP lizenzieren, das sie in einen vollständigen ADAS-Chip integrieren würden, den sie selbst entwerfen würden.Sie wollten keine Chips kaufen.Diese Geschichte hat große Zeit zurückgetreten.Jetzt werden sie wahrscheinlich handelsübliches Silizium kaufen, es zusammennähen, um zu tun, was sie wollen, und sie werden kleine Schritte unternehmen, anstatt sofort zu Level 5 zu gehen.Jetzt haben wir also Leute, die uns sagen, dass unser Inferenzchip für Automobilanwendungen sehr attraktiv aussieht.Sie sind nicht so aggressiv, wenn sie versuchen, alles selbst zu machen.Vor sechs Monaten sah Automotive für uns wie ein IP-Lay aus.Jetzt sieht es so aus, als gäbe es Potenzial für Chipverkäufe.“Beachten Sie die Lücke Um dies ins rechte Licht zu rücken: Ein Großteil der Spitzentechnologie in der Branche befindet sich derzeit irgendwo zwischen ADAS Level 2 und Level 3. Diese enthalten überwiegend Kameras und Radar, einschließlich RGB-Kameras, die die Standardkameras sind, sowie Farbkameras.In der Fahrzeugkabine befinden sich weitere Monochromkameras mit Nahinfrarotbeleuchtung für verschiedene Arten von Kamerasystemen.Dann gibt es in einigen High-End-Autos und Flottenlastwagen auch Tiefensensorkameras, bei denen es sich im Allgemeinen um eine Zwei-Kamera-Konfiguration mit einer Basislinie in einem Auto oder nach außen auf die Straße handelt.Kameras sind heute die vorherrschende Technologie in ADAS-Systemen, zusammen mit Radar, das das wichtigste Sichtsystem ist, zusammen mit einigen der Ultraschallsensoren, die in Rückfahrkameras zum Parken verwendet werden, oder Ultraschallsensoren, die am Heck montiert sind.„In Zukunft sehen wir, dass die Kameras in Megapixeln höher werden“, bemerkte Pradeep Bardia, Product Marketing Group Director für KI-Produkte in der IP Group bei Cadence.„Was früher 1-Megapixel-Kameras waren, sind jetzt 2-Megapixel-Kameras, und sie bewegen sich zu einer höheren Palette von Kameras – 4 Megapixel und höher für eine bessere Auflösung, so wie es die mobile Welt für Smartphones getan hat, aber in einem langsameren Tempo.Zu den fortschrittlichen Vision-Anwendungen gehören Surround-View-Kamerasysteme, bei denen es sich um Außenkameras handelt, die über der Oberseite des Fahrzeugs angebracht sind, mit 4, 8, 12 oder 16 Kameras, je nachdem, um welche Fahrzeugklasse es sich handelt.“In der Kabine befinden sich neben der Rundumsicht Fahrerüberwachungssysteme in der Entwicklung, die unter das Dach von ADAS fallen.„Die Fahrerüberwachung wird eine dem Fahrer zugewandte Kamera umfassen – eine einzelne Kamera, die im Kombiinstrument oder im Rückspiegel oben in einem Abstand von 70 bis 100 Zentimetern montiert ist“, sagte Bardia.„Auch in der Kabine gehen einige Unternehmen über die einzelne Kamera hinaus und montieren drei oder mehr Kameras im Auto, weil sie überwachen möchten, wie viele Personen im Auto sitzen.Wer sitzt in der zweiten Reihe?Wer sitzt in der dritten Reihe?Einige Designs beinhalten bis zu 5 Kameras in der Kabine, um die Größe, das Gewicht und das Geschlecht der Passagiere zu überwachen, damit Airbags sicherer ausgelöst werden können.“All dies summiert sich zu einer enormen Datenmenge, die verarbeitet werden muss.Es gibt mehrere Strategien für die Verarbeitung dieser Daten.Bardia wies auf zwei Hauptmodelle hin, ein verteiltes ECU-Modell und ein Nachrüstmodell.„In einem verteilten ECU-Modell sitzen die ECUs am Rand.Dort, wo die Daten erfasst werden, gibt es Edge-basierte Endpunkte oder ECUs.Bei dem anderen Modell, das wir sehen, werden Standard-ECUs mit einer KI-IP-Engine oder einem Bolt-on-Coprozessor nachgerüstet.Beispielsweise gibt es viele ECUs, die auf dem Markt eingesetzt werden, an denen Tier 1s seit vielen Jahren arbeiten.Sie haben alle ihre Haussteuerungs-/Heimcode-/Haushaltssoftware, was aus Sicherheitssicht eine sehr wichtige Software ist.Dann wollen sie eine KI-Engine oder einen KI-Add-On-Prozessor darauf schrauben, um einen Teil der Migration zur Sensorfusion sowie zu KI-Netzwerken zu bewältigen.“Dabei achten die Tier 1s darauf, die derzeit installierte Softwarebasis oder die installierte Systembasis nicht zu stören, sagte er.„Sie wollen nicht alles von Grund auf neu gestalten.Sie versuchen sicherzustellen, dass sie ein vorhandenes Steuergerät haben, das sie seit vielen Jahren liefern und heute in Millionen von Autos entwerfen.Was sie jetzt versuchen, ist festzustellen, ob sie, wenn sie zu KI migrieren und 5 bis 10 TOPS (Teraoperationen pro Sekunde) Leistung in Echtzeit benötigen, eine Nachrüstung eines bestehenden Designs innerhalb derselben mechanischen ECU-Box durchführen können Formfaktor, Beibehaltung der gleichen Thermik, der gleichen Mechanik sowie der elektrischen und Leistungsanforderungen.Sie sind sehr vorsichtig, aber das ist ein Bereich, in dem ich einige Designs sehe, in denen sie sich mit frühen Bereitstellungen befassen.“Auf der anderen Seite gibt es einige Tier-1-Unternehmen und OEMs, die brandneue ECUs von Grund auf neu entwickeln, sagte Bardia.Datensammlung Eine Möglichkeit, Daten zu sammeln, besteht darin, ein Wahrnehmungssystem zu implementieren, sagte Kulkarni.Abb. 1: Hardware-in-the-Loop-Anwendungsfall.Quelle: ANSYSEin Wahrnehmungssystem wird von einem Lieferanten in Form einer physischen Mobileye-Plattform bereitgestellt, auf der Software (roter Kasten oben links in Abb. 1) und eine Kamera laufen.Ziel ist es, dass der OEM versteht, wie dieses Wahrnehmungssystem unter verschiedenen Fahrbedingungen mit dem Rest des Fahrzeugs interagiert.Die physische Kamera wird durch ein Simulationsmodell (Camera Sensor green box) abstrahiert, das alle seine optischen Aspekte (Linse, Farbfilter, Bildsensor usw.) abdeckt und an einer bestimmten Position in einem virtuellen Auto platziert wird.Dieses virtuelle Auto wird in einer virtuellen Umgebung platziert.Der simulierte Sensor wird in einer realistisch beleuchteten Welt platziert und kann ein synthetisches Kamerabild erzeugen.Dieses Bild muss im selben Format wie die physische Kamera an das EyeQ-Steuergerät gesendet werden.Andererseits kann die EyeQ-Plattform die physische Kamera steuern und Befehle ausgeben, die Parameter ändern können, die einen Einfluss auf das zurückgegebene Bild haben.Die Rolle der gelben Box besteht darin, als Proxy zwischen den Simulations-IOs und EyeQ-ECU-IOs zu fungieren, die grundsätzlich identisch, aber in unterschiedlichen Formaten sind.Auf der anderen Seite interagieren dieses EyeQ-Steuergerät und die Software mit anderen Systemen, die normalerweise vom OEM oder anderen Lieferanten bereitgestellt werden.Die physikalische Verbindung erfolgt über den CAN-Bus.Wenn diese Systeme physisch Teil der Simulation sind, können sie direkt über ihre CAN-Schnittstellen verbunden werden.Dies ist in diesem Anwendungsfall nicht abgebildet.Die anderen Systeme werden simuliert und an den Simulationsbus (Blue Box) angeschlossen.Um den physikalischen CAN-Port der EyeQ-ECU anzuschließen, wird ein physikalischer Adapter benötigt (gelbe Bus-Schnittstellenbox).Dies wiederum beeinflusst die globale Simulation durch die Fahrdynamik.Kulkarni betonte, dass dieser Anwendungsfall besonders wichtig sei, da Anbieter von Wahrnehmungssystemen dem OEM normalerweise keinen Zugriff auf ihr geistiges Eigentum gewähren und nur eine physische Plattform bereitstellen.Der OEM muss jedoch ein Mehrfachwahrnehmungssystem (vielleicht Kamera + Radar + LiDAR) integrieren und verstehen, wie all dies mit der Umgebung und anderen Komponenten interagiert.Ohne diesen Anwendungsfall besteht die einzige Möglichkeit darin, physisch zu testen (die Systeme in ein echtes Auto zu stecken und damit zu fahren).„Mit dem, was wir vorschlagen, können Millionen von virtuellen Kilometern unter verschiedenen Bedingungen gefahren werden, Feedback wird an den Anbieter des Wahrnehmungssystems gesendet, der sein System mehrmals modifizieren kann, bevor es tatsächlich auf einer realen Straße ausprobiert wird.“IP-Verwaltung in autonomen Fahrzeugen Ein weiterer wichtiger Aspekt der Entwicklung autonomer Fahrzeuge ist die Verwaltung der zahlreichen Hardware- und Software-IPs, aus denen ADAS-Systeme bestehen, sagte Amit Varde, Director of Product Management bei ClioSoft.„Die Entwicklung/Realisierung von funktionalen Sicherheitsanforderungen umfasst oft Implementierungsstrukturen, einschließlich Software, FPGA und ASIC.Die Untersuchung der Eignung bestehender IPs und die Verwaltung neuer oder überarbeiteter IPs kann entmutigend sein.Ingenieure brauchen Tools, um herauszufinden, was geistiges Eigentum für sie für Implementierungskandidaten ist, sowie Möglichkeiten zur Zusammenarbeit und Nutzung von Engineering-Ressourcen in ihren Unternehmen.“Da sich die Automobilelektronik schnell verändert, ist die Fähigkeit, getestetes IP, das die Sicherheitsanforderungen und Standards erfüllt, wiederzuverwenden, von entscheidender Bedeutung, und hier sind IP-Managementsysteme, die alle IP-Daten, Prüfstände, Dokumentationen und Metadaten verfolgen können, eine entscheidende Komponente die Verwirklichung der Wiederverwendbarkeit, insbesondere in der Automobilelektronik, sagte Varde.„Ein Ökosystem, das um das geistige Eigentum herum aufgebaut ist und einen einfachen Zugriff auf offene Probleme bietet, Benutzer auf neue Versionen oder wichtige Informationen hinweist und das eine Community von Benutzern nutzt, um bei Bedarf Hilfe zu erhalten, ist für den Designerfolg unerlässlich“, fügte er hinzu.„Diese Tools müssen IP-Ressourcenrevisionen verwalten, einschließlich Testbäumen und Testergebnissen, damit Ingenieure mit entsprechenden Genehmigungen leicht auf IP zugreifen und die Stückliste verstehen können, die jede IP-Asset enthält.Sie müssen nachverfolgen, wo das geistige Eigentum verwendet wird, und in Fehlermanagement-Tools integrieren.Die Injektion von Fehlern muss nicht nur die Abweichung von der Konformität und den Schweregrad umfassen, sondern auch, welche IP betroffen sind und wo sie verwendet wurden, um Warnungen/Benachrichtigungen entsprechend zu senden.“Fazit Vollständig autonome Fahrzeuge, die auf Serienniveau hergestellt werden, kommen irgendwann, aber bevor es soweit ist, müssen große technische und logistische Hürden genommen werden.Dazu gehört alles von der besten Art, Datenströme zu verarbeiten, die von einer Vielzahl von Kameras, Radar-, LiDAR- und Sonar-Sensorsystemen eingehen, sowie die Synchronisation des gesamten Ökosystems über den Austausch kritischer Informationen, um Fehler aus dem Entwicklungsprozess zu beseitigen und die Technik selbst.Autonomes Fahren ist noch am Horizont, aber es kann einige Zeit dauern, bis die Elektronikindustrie herausfinden kann, wie weit dieser Horizont wirklich entfernt ist.—Ed Sperling hat zu diesem Bericht beigetragen.Name* (Hinweis: Dieser Name wird öffentlich angezeigt)E-Mail* (Wird nicht öffentlich angezeigt)Fortschrittliches Ätzen ist der Schlüssel zu Nanoblatt-FETs;Evolutionspfad für zukünftige Knoten.Von spezifischen Fähigkeiten des Designteams bis hin zu organisatorischen und wirtschaftlichen Auswirkungen – die Umstellung auf maßgeschneidertes Silizium rüttelt die Dinge auf.Neue Speicheransätze und Herausforderungen bei der Skalierung von CMOS weisen auf radikale Veränderungen – und potenziell enorme Verbesserungen – in Halbleiterdesigns hin.Überall mehr Elektronik und mehr Konnektivität schaffen Probleme in Bezug auf Leistung, Leistung, Kosten und Sicherheit.Startup-Finanzierung erreicht 2,9 Mrd. $;Produktions-Onshoring und Fabrikausbau fördern Investitionen in angrenzenden Märkten.Wer macht was in Next-Gen-Chips und wann wird damit gerechnet?Fortschrittliches Ätzen ist der Schlüssel zu Nanoblatt-FETs;Evolutionspfad für zukünftige Knoten.Steht in Verbindung mit der aufkommenden Ära domänenspezifischer Architekturen ein großer Umbruch in der EDA-Branche bevor?Die Wissenschaft denkt das jedenfalls.Die Herstellbarkeit erreicht ein ausreichendes Niveau, um mit Flip-Chip-BGA und 2,5D zu konkurrieren.Von spezifischen Fähigkeiten des Designteams bis hin zu organisatorischen und wirtschaftlichen Auswirkungen – die Umstellung auf maßgeschneidertes Silizium rüttelt die Dinge auf.Neue Speicheransätze und Herausforderungen bei der Skalierung von CMOS weisen auf radikale Veränderungen – und potenziell enorme Verbesserungen – in Halbleiterdesigns hin.Es werden Schritte unternommen, um Probleme zu minimieren, aber ihre Umsetzung wird Jahre dauern.In der Speicherhierarchie gibt es ständig Änderungen, aber wie und wo auf diesen Speicher zugegriffen wird, hat große Auswirkungen.