Generative KI kann aus einer einfachen Texteingabe visuell beeindruckende 3D‑Modelle erzeugen, doch es besteht eine anhaltende Diskrepanz zwischen dem Aussehen eines Objekts auf dem Bildschirm und seiner Funktionsweise in der realen Welt [S1, S5]. Eine KI‑generierte Tasse mag realistisch aussehen, hat aber möglicherweise einen versiegelten oberen Rand oder zu dünne Wände, um Flüssigkeit zu halten [S1, S5].
Das liegt daran, dass aktuelle KI‑Modelle die visuelle Plausibilität erfassen, jedoch kein Verständnis für physische Funktionalität und Herstellbarkeit besitzen [S1, S4]. Für Nutzer ohne professionelle CAD‑Kenntnisse (Computer‑Aided Design) ist das Korrigieren dieser strukturellen Fehler oft unmöglich [S1, S5].
Um diese Lücke zu schließen, entwickelten Forscher des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT, von Google und der Northeastern University InstructMesh [S1, S4]. Dieses Werkzeug ermöglicht es sowohl Anfängern als auch Experten, KI‑generierte Modelle mit natürlicher Sprache zu reparieren, bevor sie an einen 3D‑Drucker gesendet werden [S1, S2].
Wie InstructMesh Reasoning und Geometrie kombiniert
InstructMesh stützt sich nicht auf ein einzelnes KI‑System. Stattdessen kombiniert es Microsofts TRELLIS‑System, das 3D‑Modelle aus Text und Bildern erzeugt, mit dem großen Sprachmodell GPT‑4 [S1, S2].
Während TRELLIS die visuelle Erstellung übernimmt, liefert GPT‑4 die erforderlichen Reasoning‑Fähigkeiten, um Benutzeranfragen zu interpretieren [1]. Diese Kombination ermöglicht es der Software, die Beschreibung eines Problems durch den Nutzer zu verstehen und in eine konkrete geometrische Änderung zu übersetzen [S2, S4].
Im Gegensatz zu herkömmlichen Werkzeugen, die möglicherweise das komplette Objekt neu generieren müssen, um einen einzelnen Fehler zu beheben, wendet InstructMesh lokale Modifikationen an [4]. Nutzer können einen konkreten problematischen Bereich markieren und die Korrektur in Alltagssprache beschreiben [S2, S4]. Für Anwender, die mehr Präzision benötigen, enthält die Oberfläche Schieberegler, um spezifische Anpassungen vorzunehmen, etwa das Extrudieren eines Teils oder die Änderung seiner Größe [S1, S6].
Visuelle Konzepte in funktionale Objekte verwandeln
Die Forscher testeten das System, indem sie Objekte erschufen, die sowohl Kreativität als auch physische Nutzbarkeit erforderten [S1, S4]. Dazu gehörten eine von einem Drachen umhüllte Tasse, bei der der Schwanz als Griff dient, eine muschelförmige blaue Pfeife und Brillen mit Schmetterlingsflügeln [S1, S2].
Über Haushaltsgegenstände hinaus zeigte das Werkzeug Nutzen in spezialisierten Bereichen [S1, S6]. MIT‑Wissenschaftler fertigten eine Knieorthese mit denimartigem Aussehen an, die zur Kleidung eines Patienten passt [S1, S4]. Sie entwickelten zudem einen „Bristle‑Bot“, der einem bunten Garnelen ähnelt, und nutzten die Software, um ein cleveres Gehäuse zu entwerfen, das einen Motor und drahtlose Komponenten beherbergt [S1, S2].
3D‑Design für Nicht‑Experten demokratisieren
Um zu prüfen, ob das Werkzeug tatsächlich Anfängern hilft, ließ das Team TRELLIS beliebte Modelle von Thingiverse nachbauen [S1, S2]. Sie stellten fest, dass fast 80 % der erzeugten Modelle strukturelle Mängel aufwiesen [S1, S4].
Als unerfahrene Nutzer gebeten wurden, diese Probleme mit InstructMesh zu identifizieren und zu beheben, gelang ihnen dies in etwa 90 % der Fälle, wie Experten bestätigten [S1, S2]. Das deutet darauf hin, dass Anfänger zwar keine formale CAD‑Ausbildung besitzen, aber genug Intuition haben, um funktionale Fehler zu erkennen, wenn ihnen eine benutzerfreundliche Oberfläche zur Verfügung steht [S1, S2].
Indem die Manipulation in den latenten Raum des generativen Modells verlagert wird, eliminiert InstructMesh die Notwendigkeit tiefgehender Fachkenntnisse in Mesh‑Bearbeitungssoftware [S1, S4].
Die Zukunft der kontextbezogenen Fertigung
Während sich die aktuelle Version auf sichtbare, statische geometrische Defekte konzentriert, könnten zukünftige Iterationen Physiksimulationen integrieren [S1, S6]. Das würde der Software ermöglichen, vorherzusagen, wie ein Design im Gebrauch reagiert, etwa ob eine Schüssel beim Fallen zerbricht oder welches Material am besten geeignet ist [S1, S6].
Es gibt zudem Pläne, die Technologie in Augmented‑Reality‑Plattformen (AR) zu integrieren [1]. Das würde es Nutzern ermöglichen, das System anhand ihrer physischen Umgebung zu steuern, sodass sie Objekte in Echtzeit entwerfen und drucken können, die exakt zu ihrer Umgebung passen [1].
Quellen
- New tool lets users repair AI-generated 3D models, then fabricate them …
- MIT Develops InstructMesh to Repair AI-Generated 3D Models | 3DHaber
- New software tool lets users repair AI-generated 3D models, then …
- MIT Researchers Let Users Repair AI-Generated 3D Models Before Printing
- InstructMesh: MIT’s AI repairs 3D models for production
- New AI Tool Helps People Fix 3D Designs Before Printing Them
- Artificial intelligence | MIT News | Massachusetts Institute of Technology
- New software tool lets users repair AI-generated 3D models, then …
