Mit 3D-Semantik zu synthetischen Straßenansichten: SyntheOcc ermöglicht die Erstellung von Trainingsdaten für autonomes Fahren

Fortschritte im Bereich des autonomen Fahrens hängen maßgeblich von der Verfügbarkeit hochwertiger, annotierter Datensätze ab. Insbesondere für die Vorhersage der 3D-Belegung, bei der die Belegungsetiketten eine dichte 3D-Annotation erfordern, ist der Aufwand für die manuelle Erstellung solcher Datensätze enorm. Ein vielversprechender Ansatz zur Bewältigung dieser Herausforderung ist die synthetische Datengenerierung.

Synthetische Datengenerierung mit SyntheOcc

SyntheOcc ist ein neues Diffusionsmodell, das fotorealistische und geometrisch kontrollierte Bilder synthetisiert, indem es Belegungsetiketten in Fahrszenarien berücksichtigt. Dies ermöglicht die Generierung einer unbegrenzten Menge an vielfältigen, annotierten und kontrollierbaren Datensätzen, die für Anwendungen wie das Training von Wahrnehmungsmodellen und Simulationen eingesetzt werden können.

Eine zentrale Herausforderung bei der Entwicklung von SyntheOcc bestand darin, 3D-Geometrieinformationen effizient als bedingte Eingabe für ein 2D-Diffusionsmodell zu kodieren. Der innovative Ansatz von SyntheOcc besteht darin, semantische 3D-Mehrflächenbilder (MPIs) zu integrieren, um umfassende und räumlich ausgerichtete 3D-Szenenbeschreibungen für die Konditionierung bereitzustellen.

Dadurch ist SyntheOcc in der Lage, fotorealistische Mehransichtsbilder und -videos zu generieren, die präzise mit den vorgegebenen geometrischen Beschriftungen (Semantik im 3D-Voxelraum) übereinstimmen. Umfangreiche qualitative und quantitative Evaluierungen von SyntheOcc auf dem nuScenes-Datensatz belegen die Leistungsfähigkeit des Modells bei der Generierung kontrollierbarer Belegungsdatensätze, die als effektive Datenaugmentierung für Wahrnehmungsmodelle dienen.

Bedeutung für das autonome Fahren

Die Möglichkeit, synthetische Straßenszenen mit kontrollierbaren Geometrien zu generieren, eröffnet neue Möglichkeiten für die Entwicklung und Erprobung von Algorithmen für das autonome Fahren.

Einige der wichtigsten Vorteile sind:

- Reduzierung des Aufwands und der Kosten für die Erfassung und Annotation realer Daten - Möglichkeit, seltene und kritische Fahrsituationen gezielt zu generieren, die in realen Datensätzen nur schwer zu finden sind - Kontrolle über die Umgebungsbedingungen, wie z.B. Wetter, Tageszeit und Verkehrsdichte - Verbesserung der Generalisierungsfähigkeit von Wahrnehmungsmodellen durch Training mit einer größeren Vielfalt an Szenarien

Ausblick

Synthetische Datengenerierungsmethoden wie SyntheOcc haben das Potenzial, die Entwicklung des autonomen Fahrens zu beschleunigen, indem sie die Verfügbarkeit von qualitativ hochwertigen Trainingsdaten verbessern. Zukünftige Forschungsarbeiten könnten sich auf die weitere Verbesserung des Realismus und der Diversität der generierten Szenen sowie auf die Integration zusätzlicher Sensormodalitäten, wie z.B. LiDAR und Radar, konzentrieren.

Bibliographie

Shi, Y., Campbell, D., Yu, X., & Li, H. (2021). Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery. arXiv preprint arXiv:2103.01623.
Li, L., Qiu, W., Cai, Y., Yan, X., Lian, Q., Liu, B., & Chen, Y.-C. (2024). SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs. arXiv preprint arXiv:2410.00337.
Gao, R., Chen, K., Xie, E., Hong, L., Li, Z., Yeung, D.-Y., & Xu, Q. (2024). MagicDrive: Street View Generation with Diverse 3D Geometry Control. arXiv preprint arXiv:2310.02601v6.
Hong, S., Lee, H., & Shin, P. H. (2023). Generative View Synthesis: From Single-view Semantics to Novel-view Images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 1522-1531).