La IA generativa puede crear modelos 3D visualmente impresionantes a partir de una simple indicación de texto, pero existe una brecha persistente entre cómo se ve un objeto en la pantalla y cómo funciona en el mundo real [S1, S5]. Una taza generada por IA puede parecer realista pero presentar una parte superior sellada o paredes demasiado delgadas para contener líquido [S1, S5].
Esto ocurre porque los modelos de IA actuales comprenden la plausibilidad visual pero carecen de entendimiento de la funcionalidad física y la fabricabilidad [S1, S4]. Para los usuarios que no poseen habilidades profesionales de CAD (Diseño Asistido por Computadora), corregir estos errores estructurales suele ser imposible [S1, S5].
Para cerrar esta brecha, investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL), Google y la Universidad de Northeastern desarrollaron InstructMesh [S1, S4]. Esta herramienta permite tanto a novatos como a expertos reparar modelos generados por IA usando lenguaje natural antes de enviarlos a una impresora 3D [S1, S2].
Cómo InstructMesh combina razonamiento y geometría
InstructMesh no depende de un único sistema de IA. En su lugar, combina el sistema TRELLIS de Microsoft, que genera modelos 3D a partir de texto e imágenes, con el modelo de lenguaje grande GPT-4 [S1, S2].
Mientras TRELLIS se encarga de la creación visual, GPT-4 aporta las habilidades de razonamiento necesarias para interpretar las solicitudes del usuario [1]. Esta combinación permite que el software comprenda la descripción de un problema por parte del usuario y la traduzca en un cambio geométrico específico [S2, S4].
A diferencia de las herramientas tradicionales que pueden requerir regenerar todo un objeto para corregir un error, InstructMesh aplica modificaciones locales [4]. Los usuarios pueden resaltar una región problemática específica y describir la solución en lenguaje cotidiano [S2, S4]. Para quienes necesiten mayor precisión, la interfaz incluye deslizadores para ajustar ajustes específicos, como extruir una pieza o cambiar su tamaño [S1, S6].
Transformando conceptos visuales en objetos funcionales
Los investigadores probaron el sistema creando objetos que requerían tanto creatividad como utilidad física [S1, S4]. Estos incluyeron una taza envuelta por un dragón cuya cola sirve como asa, un silbato azul con forma de concha y gafas con alas de mariposa [S1, S2].
Más allá de los objetos domésticos, la herramienta demostró utilidad en campos especializados [S1, S6]. Científicos del MIT fabricaron una rodillera con apariencia similar a la mezclilla para combinar con la ropa de un paciente [S1, S4]. También crearon un “bristle bot” que se asemeja a una camarón colorido, usando el software para diseñar un ingenioso recubrimiento que alberga un motor y componentes inalámbricos [S1, S2].
Democratizando el diseño 3D para no expertos
Para probar si la herramienta realmente ayuda a los principiantes, el equipo hizo que TRELLIS recreara modelos populares de Thingiverse [S1, S2]. Descubrieron que casi el 80 % de los modelos generados contenían fallas estructurales [S1, S4].
Cuando se pidió a usuarios novatos que identificaran y corrigieran estos problemas usando InstructMesh, lograron hacerlo aproximadamente el 90 % de las veces, según verificaron expertos [S1, S2]. Esto sugiere que, aunque los principiantes carecen de entrenamiento formal en CAD, poseen suficiente intuición para detectar errores funcionales cuando se les brinda una interfaz accesible [S1, S2].
Al trasladar la manipulación al espacio latente del modelo generativo, InstructMesh elimina la necesidad de una profunda experiencia en el dominio del software de edición de mallas [S1, S4].
El futuro de la fabricación contextual
Aunque la versión actual se centra en defectos geométricos estáticos visibles, iteraciones futuras podrían integrar simulaciones físicas [S1, S6]. Esto permitiría que el software prediga cómo reacciona un diseño al uso, como determinar si un cuenco se rompería al caer o sugerir los mejores materiales para la tarea [S1, S6].
También hay planes para incorporar la tecnología en plataformas de realidad aumentada (AR) [1]. Esto permitiría a los usuarios solicitar al sistema basándose en su entorno físico, permitiéndoles diseñar e imprimir objetos que coincidan con su ambiente en tiempo real [1].
Fuentes
- New tool lets users repair AI-generated 3D models, then fabricate them …
- MIT Develops InstructMesh to Repair AI-Generated 3D Models | 3DHaber
- New software tool lets users repair AI-generated 3D models, then …
- MIT Researchers Let Users Repair AI-Generated 3D Models Before Printing
- InstructMesh: MIT’s AI repairs 3D models for production
- New AI Tool Helps People Fix 3D Designs Before Printing Them
- Artificial intelligence | MIT News | Massachusetts Institute of Technology
- New software tool lets users repair AI-generated 3D models, then …
