MeshAnything: Revolutioniert die 3D-Industrie mit Künstlich Erstellten Meshes

‍

Einführung

In den letzten Jahren hat die 3D-Community rasante Fortschritte erlebt, mit einer Vielzahl von Methoden zur automatischen Erstellung hochwertiger 3D-Assets. Diese Methoden, einschließlich 3D-Rekonstruktion, 3D-Generierung und Scanning, können 3D-Assets mit Form- und Farbqualität produzieren, die denen von manuell erstellten Assets vergleichbar sind. Der Erfolg dieser Methoden zeigt das Potenzial, manuell erstellte 3D-Modelle in der 3D-Industrie zu ersetzen und dadurch Zeit- und Arbeitskosten erheblich zu reduzieren.

Herausforderungen der Aktuellen Methoden

Trotz des Potenzials bleibt dieses weitgehend ungenutzt, da die aktuelle 3D-Industrie überwiegend auf Mesh-basierte Pipelines setzt, die für ihre überlegene Effizienz und Kontrollierbarkeit bekannt sind. Die Methoden zur Erstellung von 3D-Assets verwenden jedoch typischerweise alternative 3D-Darstellungen, um in verschiedenen Szenarien optimale Ergebnisse zu erzielen. Daher wurden erhebliche Anstrengungen unternommen, um andere 3D-Darstellungen in Meshes zu konvertieren, was einige Erfolge erzielt hat. Die von diesen Methoden produzierten Meshes approximieren die Formqualität der von menschlichen Künstlern erstellten Meshes, die wir als "Artist-Created Meshes" (AMs) bezeichnen, aber sie bewältigen dennoch nicht alle damit verbundenen Probleme.

MeshAnything: Ein Neuer Ansatz

Um diese Probleme zu lösen, haben Forscher das Modell "MeshAnything" entwickelt, das die Extraktion von Meshes als Generierungsproblem behandelt und AMs erzeugt, die mit den vorgegebenen Formen übereinstimmen. Durch die Konvertierung von 3D-Assets in jeder 3D-Darstellung in AMs kann MeshAnything in verschiedene 3D-Asset-Produktionsmethoden integriert werden, wodurch deren Anwendung in der 3D-Industrie verbessert wird.

Architektur von MeshAnything

Die Architektur von MeshAnything besteht aus einem VQ-VAE und einem formkonditionierten Decoder-Only-Transformer. Zunächst wird ein Mesh-Vokabular mit dem VQ-VAE erlernt, dann wird der formkonditionierte Decoder-Only-Transformer auf diesem Vokabular für die formkonditionierte autoregressive Mesh-Generierung trainiert. Unsere umfangreichen Experimente zeigen, dass unsere Methode AMs mit Hunderten von Malen weniger Flächen erzeugt, was die Effizienz in Bezug auf Speicher, Rendering und Simulation erheblich verbessert, während die Präzision vergleichbar mit früheren Methoden bleibt.

Methodik

MeshAnything ist ein autoregressiver Transformer, der in der Lage ist, Artist-Created Meshes zu generieren, die vorgegebenen 3D-Formen entsprechen. Punktwolken werden aus gegebenen 3D-Assets abgetastet, in Merkmale kodiert und in den Decoder-Only-Transformer eingeführt, um eine formkonditionierte Mesh-Generierung zu erreichen.

Im Vergleich zu Methoden wie MeshGPT, die direkt Artist-Created Meshes generieren, vermeidet unser Ansatz das Lernen komplexer 3D-Formverteilungen. Stattdessen konzentriert er sich auf die effiziente Konstruktion von Formen durch optimierte Topologie, wodurch die Trainingslast erheblich reduziert und die Skalierbarkeit verbessert wird.

Ergebnisse und Anwendungen

Durch die Integration in verschiedene 3D-Asset-Produktionsmethoden erreicht unser Ansatz eine hochkontrollierbare Artist-Created Mesh-Generierung. Unsere Methode erzeugt Meshes mit besserer Topologie und weniger Flächen als die Originalformen und erzielt dabei ähnliche Formen, was beweist, dass unser Modell nicht einfach überanpasst, sondern versteht, wie Meshes mit effizienter Topologie konstruiert werden.

Fazit

MeshAnything stellt einen bedeutenden Fortschritt im Bereich der 3D-Mesh-Generierung dar. Mit seiner Fähigkeit, 3D-Assets in jeder 3D-Darstellung in hochpräzise und effiziente Artist-Created Meshes zu konvertieren, bietet es erhebliche Vorteile für die 3D-Industrie. Die umfangreichen Experimente und der innovative Ansatz der formkonditionierten autoregressiven Mesh-Generierung machen MeshAnything zu einem vielversprechenden Werkzeug für die Zukunft der 3D-Asset-Produktion.

‍

Bibliografie

‍
- https://arxiv.org/abs/2406.10163
- https://arxiv.org/pdf/2406.10163
- https://github.com/buaacyw/MeshAnything
- https://buaacyw.github.io/mesh-anything/
- https://www.reddit.com/r/StableDiffusion/comments/1divlbc/meshanything_artistcreated_mesh_generation_with/