Hataları Düzeltmek: InstructMesh AI 3D Modellerini Nasıl Onarıyor

Generative AI can create visually stunning 3D models from a simple text prompt, but there is a persistent gap between how an object looks on a screen and how it functions in the real world [S1, S5]. An AI-generated mug might look realistic but feature a sealed top or walls too thin to hold liquid [S1, S5].

Bu, mevcut AI modellerinin görsel inandırıcılığı anlayıp fiziksel işlevsellik ve üretilebilirlik konusunda eksik kalmasından kaynaklanır [S1, S4]. Profesyonel CAD (Bilgisayar Destekli Tasarım) becerilerine sahip olmayan kullanıcılar için bu yapısal hataları düzeltmek genellikle imkânsızdır [S1, S5].

Bu boşluğu kapatmak için MIT’in Bilgisayar Bilimleri ve Yapay Zeka Laboratuvarı (CSAIL), Google ve Northeastern Üniversitesi araştırmacıları InstructMesh’i geliştirdi [S1, S4]. Bu araç, hem acemi hem de uzman kullanıcıların AI tarafından üretilen modelleri doğal dil kullanarak, 3D yazıcıya gönderilmeden önce onarmasına olanak tanır [S1, S2].

InstructMesh’in Akıl Yürütme ve Geometriyi Birleştirme Şekli

InstructMesh tek bir AI sistemine dayanmaz. Bunun yerine, metin ve görsellerden 3D modeller üreten Microsoft’un TRELLIS sistemini, büyük dil modeli GPT-4 ile eşleştirir [S1, S2].

TRELLIS görsel oluşturmayı üstlenirken, GPT-4 kullanıcı isteklerini yorumlamak için gerekli akıl yürütme becerilerini sağlar [1]. Bu kombinasyon, yazılımın bir kullanıcının sorun tanımını anlayıp bunu belirli bir geometrik değişikliğe dönüştürmesine olanak tanır [S2, S4].

Bir hatayı düzeltmek için tüm nesneyi yeniden oluşturmayı gerektiren geleneksel araçların aksine, InstructMesh yerel değişiklikler uygular [4]. Kullanıcılar belirli bir problemli bölgeyi vurgulayabilir ve düzeltmeyi günlük dilde açıklayabilir [S2, S4]. Daha fazla hassasiyete ihtiyaç duyanlar için arayüz, bir parçayı dışa çıkarmak veya boyutunu değiştirmek gibi belirli ayarlamaları kaydırıcılarla yapma imkanı sunar [S1, S6].

Görsel Kavramları İşlevsel Nesnelere Dönüştürmek

Araştırmacılar, hem yaratıcılık hem de fiziksel fayda gerektiren nesneler üreterek sistemi test ettiler [S1, S4]. Bunlar arasında kuyruğu kulp olarak kullanılan bir ejderha tarafından sarılmış bir kupa, kabuk şeklinde mavi bir ıslık ve kelebek kanadı gözlükleri yer alıyor [S1, S2].

Ev eşyalarının ötesinde, araç özel alanlarda da fayda sağladığını gösterdi [S1, S6]. MIT bilim insanları, bir hastanın kıyafetine uyum sağlamak için kot benzeri bir görünüme sahip bir dizlik ürettiler [S1, S4]. Ayrıca, renkli bir karidesi andıran bir “bristle bot” oluşturdular; yazılımı, bir motor ve kablosuz bileşenleri barındıran zekice bir muhafaza tasarlamak için kullandılar [S1, S2].

3D Tasarımı Uzman Olmayanlar İçin Demokratikleştirmek

Araç gerçekten yeni başlayanlara yardımcı olup olmadığını test etmek için ekip, TRELLIS’in Thingiverse’dan popüler modelleri yeniden oluşturmasını sağladı [S1, S2]. Oluşturulan modellerin neredeyse %80’inin yapısal kusurlar içerdiğini keşfettiler [S1, S4].

Yeni başlayan kullanıcılara InstructMesh’i kullanarak bu sorunları belirlemeleri ve düzeltmeleri istendiğinde, uzmanlar tarafından doğrulanan sonuçlara göre yaklaşık %90 başarı elde ettiler [S1, S2]. Bu, yeni başlayanların resmi CAD eğitimi eksik olsa da, erişilebilir bir arayüz sağlandığında işlevsel hataları fark edecek kadar sezgiye sahip olduklarını gösteriyor [S1, S2].

Manipülasyonu üretken modelin gizli uzayına taşıyarak, InstructMesh mesh düzenleme yazılımında derin alan uzmanlığı gereksinimini ortadan kaldırır [S1, S4].

Bağlamsal Üretimin Geleceği

Mevcut sürüm görünür statik geometrik kusurlara odaklanırken, gelecekteki sürümler fizik simülasyonlarını entegre edebilir [S1, S6]. Bu, yazılımın bir tasarımın kullanım sırasında nasıl tepki vereceğini tahmin etmesini sağlar; örneğin bir kase düşürülünce kırılıp kırılmayacağını belirlemek ya da iş için en uygun malzemeleri önermek gibi [S1, S6].

Ayrıca, teknolojiyi artırılmış gerçeklik (AR) platformlarına entegre etme planları da var [1]. Bu, kullanıcıların sistemle fiziksel çevrelerine göre etkileşimde bulunmalarını sağlayarak, gerçek zamanlı olarak ortamlarına uyan nesneler tasarlayıp yazdırmalarına imkan tanır [1].

Kaynaklar

1. New tool lets users repair AI-generated 3D models, then fabricate them …
2. MIT Develops InstructMesh to Repair AI-Generated 3D Models | 3DHaber
3. New software tool lets users repair AI-generated 3D models, then …
4. MIT Researchers Let Users Repair AI-Generated 3D Models Before Printing
5. InstructMesh: MIT’s AI repairs 3D models for production
6. New AI Tool Helps People Fix 3D Designs Before Printing Them
7. Artificial intelligence | MIT News | Massachusetts Institute of Technology
8. New software tool lets users repair AI-generated 3D models, then …