L’IA générative peut créer des modèles 3D visuellement époustouflants à partir d’une simple invite textuelle, mais il existe un écart persistant entre l’apparence d’un objet à l’écran et son fonctionnement dans le monde réel [S1, S5]. Une tasse générée par IA peut sembler réaliste mais présenter un dessus scellé ou des parois trop fines pour contenir du liquide [S1, S5].
Cela se produit parce que les modèles d’IA actuels comprennent la plausibilité visuelle mais manquent de compréhension de la fonctionnalité physique et de la fabricabilité [S1, S4]. Pour les utilisateurs qui ne possèdent pas de compétences professionnelles en CAO (Conception Assistée par Ordinateur), corriger ces erreurs structurelles est souvent impossible [S1, S5].
Pour combler cet écart, des chercheurs du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT, de Google et de l’Université Northeastern ont développé InstructMesh [S1, S4]. Cet outil permet aux novices comme aux experts de réparer les modèles générés par IA en utilisant le langage naturel avant qu’ils ne soient envoyés à une imprimante 3D [S1, S2].
Comment InstructMesh combine raisonnement et géométrie
InstructMesh ne repose pas sur un seul système d’IA. Au lieu de cela, il associe le système TRELLIS de Microsoft, qui génère des modèles 3D à partir de texte et d’images, au grand modèle de langage GPT-4 [S1, S2].
Alors que TRELLIS gère la création visuelle, GPT-4 fournit les compétences de raisonnement nécessaires pour interpréter les demandes des utilisateurs [1]. Cette combinaison permet au logiciel de comprendre la description d’un problème par l’utilisateur et de la traduire en une modification géométrique précise [S2, S4].
Contrairement aux outils traditionnels qui peuvent nécessiter de régénérer un objet complet pour corriger une erreur, InstructMesh applique des modifications locales [4]. Les utilisateurs peuvent mettre en évidence une région problématique spécifique et décrire la correction en langage courant [S2, S4]. Pour ceux qui ont besoin de plus de précision, l’interface comprend des curseurs permettant d’ajuster des réglages spécifiques, comme l’extrusion d’une pièce ou la modification de sa taille [S1, S6].
Transformer les concepts visuels en objets fonctionnels
Les chercheurs ont testé le système en créant des objets nécessitant à la fois créativité et utilité physique [S1, S4]. Il s’agissait notamment d’une tasse enveloppée d’un dragon dont la queue sert de poignée, d’un sifflet bleu en forme de coquillage et de lunettes aux ailes de papillon [S1, S2].
Au-delà des objets ménagers, l’outil a démontré son utilité dans des domaines spécialisés [S1, S6]. Des scientifiques du MIT ont fabriqué une attelle de genou à l’aspect denim pour correspondre aux vêtements d’un patient [S1, S4]. Ils ont également créé un “bristle bot” ressemblant à une crevette colorée, en utilisant le logiciel pour concevoir un boîtier ingénieux qui abrite un moteur et des composants sans fil [S1, S2].
Démocratiser la conception 3D pour les non‑experts
Pour vérifier si l’outil aide réellement les débutants, l’équipe a fait recréer par TRELLIS des modèles populaires de Thingiverse [S1, S2]. Ils ont découvert que près de 80 % des modèles générés comportaient des défauts structurels [S1, S4].
Lorsque des utilisateurs novices ont été invités à identifier et corriger ces problèmes à l’aide d’InstructMesh, ils ont réussi environ 90 % du temps, selon la vérification d’experts [S1, S2]. Cela suggère que, bien que les débutants n’aient pas de formation formelle en CAO, ils possèdent suffisamment d’intuition pour repérer les erreurs fonctionnelles lorsqu’une interface accessible leur est proposée [S1, S2].
En déplaçant la manipulation dans l’espace latent du modèle génératif, InstructMesh élimine le besoin d’une expertise approfondie du domaine dans les logiciels d’édition de maillages [S1, S4].
L’avenir de la fabrication contextuelle
Alors que la version actuelle se concentre sur les défauts géométriques statiques visibles, les itérations futures pourraient intégrer des simulations physiques [S1, S6]. Cela permettrait au logiciel de prédire comment un design réagit à l’usage, par exemple en déterminant si un bol se casserait en tombant ou en suggérant les meilleurs matériaux pour la tâche [S1, S6].
Il est également prévu d’intégrer la technologie aux plateformes de réalité augmentée (AR) [1]. Cela permettrait aux utilisateurs de solliciter le système en fonction de leur environnement physique, leur offrant la possibilité de concevoir et d’imprimer des objets qui correspondent à leur cadre en temps réel [1].
Sources
- New tool lets users repair AI-generated 3D models, then fabricate them …
- MIT Develops InstructMesh to Repair AI-Generated 3D Models | 3DHaber
- New software tool lets users repair AI-generated 3D models, then …
- MIT Researchers Let Users Repair AI-Generated 3D Models Before Printing
- InstructMesh: MIT’s AI repairs 3D models for production
- New AI Tool Helps People Fix 3D Designs Before Printing Them
- Artificial intelligence | MIT News | Massachusetts Institute of Technology
- New software tool lets users repair AI-generated 3D models, then …
