- VFusion3D adalah sistem AI yang membuat objek 3D dari gambar atau teks dengan cepat.
- Model AI video yang kuat digunakan oleh VFusion3D untuk membuat data 3D sintetis.
- Desainer dapat menggunakan VFusion3D untuk membuat aset 3D yang berkualitas tinggi dengan skala besar.
pibitek.biz -Para peneliti dari Meta dan Universitas Oxford telah mengembangkan model AI yang sangat kuat untuk membuat objek 3D dari gambar atau teks. Sistem ini disebut VFusion3D, yang merupakan langkah besar dalam pengembangan AI 3D yang skalable. VFusion3D menggunakan model AI video yang telah dilatih sebelumnya untuk membuat data 3D sintetis, sehingga memungkinkan untuk melatih sistem 3D yang lebih kuat.
2 – AI: Ancaman Baru bagi Keamanan Siber 2 – AI: Ancaman Baru bagi Keamanan Siber
3 – Serangan SIM-Swap: Akun SEC Diretas Secara Besar-Besaran 3 – Serangan SIM-Swap: Akun SEC Diretas Secara Besar-Besaran
Penelitian ini dipimpin oleh Junlin Han, Filippos Kokkinos, dan Philip Torr. Mereka mengatasi tantangan lama dalam AI, yaitu keterbatasan data 3D yang tersedia. Mereka menggunakan model AI video yang telah dilatih sebelumnya untuk membuat video multi-pandangan, sehingga memungkinkan sistem untuk melihat objek dari sudut yang berbeda.Data sintetis ini kemudian digunakan untuk melatih VFusion3D. Hasilnya sangat mengesankan. Dalam pengujian, penilai manusia lebih memilih rekonstruksi 3D VFusion3D dibandingkan dengan sistem yang ada sebelumnya.
Sistem ini dapat membuat aset 3D dari gambar tunggal dalam waktu beberapa detik saja. Yang paling menarik adalah skalabilitas pendekatan ini. Ketika model AI video yang lebih kuat dikembangkan dan lebih banyak data 3D tersedia untuk pelatihan, para peneliti berharap kemampuan VFusion3D akan terus meningkat dengan cepat.
Pengembangan ini dapat mempercepat inovasi di berbagai industri yang bergantung pada konten 3D. Pengembang game dapat menggunakan VFusion3D untuk membuat karakter dan lingkungan dengan cepat. Arsitek dan desainer produk dapat dengan cepat memvisualisasikan konsep dalam 3D. Aplikasi VR/AR dapat menjadi lebih imersif dengan aset 3D yang dihasilkan oleh AI.
Untuk melihat kemampuan VFusion3D secara langsung, penulis telah mencoba demo yang tersedia secara publik. Antarmuka sangat sederhana, memungkinkan pengguna untuk mengunggah gambar mereka sendiri atau memilih dari contoh yang telah disediakan sebelumnya.Contoh-contoh yang disediakan sebelumnya, seperti Pikachu dan Darth Vader, sangat baik dalam pengujian.
Namun yang paling menarik adalah ketika penulis mengunggah gambar kustom, yaitu gambar es krim yang dihasilkan oleh AI Midjourney. VFusion3D dapat menangani gambar sintetis ini dengan sangat baik, bahkan lebih baik daripada contoh yang disediakan sebelumnya. Dalam beberapa detik, sistem ini dapat membuat model 3D yang lengkap dari es krim, termasuk detail tekstur dan kedalaman yang tepat. Pengalaman ini menunjukkan potensi besar VFusion3D dalam alur kerja kreatif.
Desainer dan seniman dapat melewati proses pembuatan model 3D manual yang memakan waktu, dan menggunakan AI untuk membuat prototipe 3D yang instan. Ini dapat mempercepat proses ideasi dan iterasi dalam berbagai bidang, seperti pengembangan game, desain produk, dan efek visual. Selain itu, kemampuan sistem untuk menangani gambar 2D yang dihasilkan oleh AI menunjukkan masa depan di mana seluruh pipeline pembuatan konten 3D dapat dijalankan oleh AI, dari konsep awal hingga aset 3D akhir.
Ini dapat mendemokratisasikan pembuatan konten 3D, memungkinkan individu dan tim kecil untuk membuat aset 3D yang berkualitas tinggi dengan skala yang sebelumnya hanya mungkin dilakukan oleh studio besar dengan sumber daya yang signifikan. Meskipun hasilnya sangat mengesankan, masih ada beberapa keterbatasan. Beberapa detail halus mungkin hilang atau salah interpretasi, dan objek yang kompleks atau tidak biasa masih dapat menimbulkan tantangan.
Namun, potensi teknologi ini untuk mengubah industri kreatif sangat jelas, dan kemungkinan besar kita akan melihat kemajuan pesat dalam bidang ini dalam beberapa tahun mendatang. Para peneliti juga mencatat bahwa sistem ini kadang-kadang kesulitan dengan jenis objek tertentu, seperti kendaraan dan teks. Mereka menyarankan bahwa pengembangan model AI video di masa depan dapat membantu mengatasi kekurangan ini. Seiring AI terus mengubah industri kreatif, VFusion3D Meta menunjukkan bagaimana pendekatan cerdas terhadap pembuatan data dapat membuka frontiers baru dalam machine learning.
Dengan pengembangan lebih lanjut, teknologi ini dapat memberikan alat pembuatan 3D yang kuat kepada desainer, pengembang, dan seniman di seluruh dunia. Penelitian ini telah diterima oleh Konferensi Eropa tentang Penglihatan Komputer (ECCV) 2024, dan kode telah dibuat tersedia secara publik di GitHub, memungkinkan peneliti lain untuk membangun atas karya ini. Seiring teknologi ini terus berkembang, ia berjanji untuk mengubah batas-batas apa yang mungkin dalam pembuatan konten 3D, berpotensi mengubah industri dan membuka wilayah baru ekspresi kreatif.
VFusion3D dapat membantu pengembang game membuat karakter dan lingkungan dengan cepat. Arsitek dan desainer produk dapat menggunakan VFusion3D untuk memvisualisasikan konsep dalam 3D. Aplikasi VR/AR dapat menjadi lebih imersif dengan aset 3D yang dihasilkan oleh AI. VFusion3D dapat membantu desainer dan seniman membuat prototipe 3D yang instan.
Ini dapat mempercepat proses ideasi dan iterasi dalam berbagai bidang, seperti pengembangan game, desain produk, dan efek visual. VFusion3D dapat mendemokratisasikan pembuatan konten 3D, memungkinkan individu dan tim kecil untuk membuat aset 3D yang berkualitas tinggi dengan skala yang sebelumnya hanya mungkin dilakukan oleh studio besar dengan sumber daya yang signifikan. VFusion3D dapat membantu pengembang game membuat karakter dan lingkungan dengan cepat.
Arsitek dan desainer produk dapat menggunakan VFusion3D untuk memvisualisasikan konsep dalam 3D. Aplikasi VR/AR dapat menjadi lebih imersif dengan aset 3D yang dihasilkan oleh AI. VFusion3D dapat membantu desainer dan seniman membuat prototipe 3D yang instan.
