Generative AI can create visually stunning 3D models from a simple text prompt, but there is a persistent gap between how an object looks on a screen and how it functions in the real world [S1, S5]. An AI-generated mug might look realistic but feature a sealed top or walls too thin to hold liquid [S1, S5].
Это происходит потому, что современные модели ИИ понимают визуальную правдоподобность, но им не хватает понимания физической функциональности и производимости [S1, S4]. Для пользователей без профессиональных навыков CAD (Computer-Aided Design) исправление этих структурных ошибок часто невозможно [S1, S5].
Чтобы преодолеть этот разрыв, исследователи из Computer Science and Artificial Intelligence Laboratory (CSAIL) MIT, Google и Северо‑восточного университета разработали InstructMesh [S1, S4]. Этот инструмент позволяет как новичкам, так и экспертам исправлять модели, созданные ИИ, с помощью естественного языка до их отправки на 3D‑принтер [S1, S2].
Как InstructMesh сочетает рассуждения и геометрию
InstructMesh не опирается на одну единственную ИИ‑систему. Вместо этого он сочетает систему Microsoft TRELLIS, генерирующую 3D‑модели из текста и изображений, с большой языковой моделью GPT‑4 [S1, S2].
В то время как TRELLIS отвечает за визуальное создание, GPT‑4 предоставляет навыки рассуждения, необходимые для интерпретации запросов пользователя [1]. Такое сочетание позволяет программному обеспечению понять описание проблемы пользователем и преобразовать его в конкретное геометрическое изменение [S2, S4].
В отличие от традиционных инструментов, которым может потребоваться полностью регенерировать объект для исправления одной ошибки, InstructMesh применяет локальные модификации [4]. Пользователи могут выделить конкретный проблемный участок и описать исправление обычным языком [S2, S4]. Для тех, кто нуждается в большей точности, интерфейс включает ползунки для настройки отдельных параметров, например, выдавливания части или изменения её размера [S1, S6].
Превращение визуальных концепций в функциональные объекты
Исследователи протестировали систему, создавая объекты, требующие как креативности, так и физической полезности [S1, S4]. Среди них была кружка, окружённая драконом, где хвост служит ручкой, синий свисток в форме раковины и очки с крыльями бабочки [S1, S2].
Помимо бытовых предметов, инструмент продемонстрировал полезность в специализированных областях [S1, S6]. Учёные MIT изготовили коленный ортез с внешним видом, напоминающим деним, чтобы соответствовать одежде пациента [S1, S4]. Они также создали “bristle bot”, похожего на яркую креветку, используя программное обеспечение для разработки умного корпуса, в котором размещаются мотор и беспроводные компоненты [S1, S2].
Демократизация 3D‑дизайна для непрофессионалов
Чтобы проверить, действительно ли инструмент помогает новичкам, команда попросила TRELLIS воссоздать популярные модели с Thingiverse [S1, S2]. Было обнаружено, что почти 80 % сгенерированных моделей содержат структурные дефекты [S1, S4].
Когда новички были попросены выявить и исправить эти проблемы с помощью InstructMesh, они справлялись примерно в 90 % случаев, что подтвердили эксперты [S1, S2]. Это свидетельствует о том, что, хотя у начинающих нет формального обучения CAD, у них достаточно интуиции, чтобы обнаруживать функциональные ошибки при наличии удобного интерфейса [S1, S2].
Перенос манипуляций в латентное пространство генеративной модели позволяет InstructMesh избавиться от необходимости глубоких специализированных знаний в программном обеспечении для редактирования мешей [S1, S4].
Будущее контекстного производства
В то время как текущая версия сосредоточена на видимых статических геометрических дефектах, будущие версии могут интегрировать физические симуляции [S1, S6]. Это позволит программному обеспечению предсказывать, как дизайн реагирует на эксплуатацию, например, определять, разобьётся ли чашка при падении, или предлагать оптимальные материалы для задачи [S1, S6].
Также планируется интеграция технологии в платформы дополненной реальности (AR) [1]. Это позволит пользователям задавать запросы системе, опираясь на их физическое окружение, и создавать и печатать объекты, соответствующие их среде в реальном времени [1].
Источники
- Новый инструмент позволяет пользователям исправлять AI‑созданные 3D‑модели, а затем изготавливать их …
- MIT разработал InstructMesh для исправления AI‑созданных 3D‑моделей | 3DHaber
- Новое программное средство позволяет пользователям исправлять AI‑созданные 3D‑модели, а затем …
- Исследователи MIT позволяют пользователям исправлять AI‑созданные 3D‑модели перед печатью
- InstructMesh: ИИ MIT исправляет 3D‑модели для производства
- Новый AI‑инструмент помогает людям исправлять 3D‑дизайны перед их печатью
- Искусственный интеллект | MIT News | Массачусетский технологический институт
- Новое программное средство позволяет пользователям исправлять AI‑созданные 3D‑модели, а затем …
