- Nous Research membuat model AI open-source Hermes 3 yang fleksibel dan kuat.
- DisTrO, optimizer baru, mengurangi data yang dikirim antar GPU selama pelatihan AI.
- DisTrO memungkinkan pelatihan model AI kompleks tanpa infrastruktur superkomputer mahal.
pibitek.biz -Nous Research, sebuah tim kecil dengan visi membuat model AI yang "pribadi dan tidak dibatasi", telah menggebrak dunia AI dengan penemuan revolusioner terbaru mereka. Sebelumnya, mereka menghebohkan dengan rilis Hermes 3, model AI open-source berbasis Llama 3. Model ini membuka jalan bagi model AI yang lebih personal dan fleksibel, di mana pengguna dapat dengan mudah menyesuaikan dan membangun model sesuai kebutuhan mereka. Dengan Hermes 3, Nous Research memberikan bukti bahwa model AI yang kuat dan canggih tidak perlu lagi menjadi eksklusif untuk perusahaan besar dengan sumber daya besar.
2 – Pemerintah AS Perkuat Keamanan Digital dengan RPKI dan Bahasa Aman 2 – Pemerintah AS Perkuat Keamanan Digital dengan RPKI dan Bahasa Aman
3 – OSCAL TIGER 13: Ponsel Pintar dengan Kamera AI nan Hebat 3 – OSCAL TIGER 13: Ponsel Pintar dengan Kamera AI nan Hebat
Model AI yang powerful dan fleksibel dapat dibangun dan diakses oleh siapa saja, memicu inovasi dan demokratisasi di bidang AI. Kini, Nous Research kembali dengan DisTrO, sebuah optimizer baru yang mengubah cara AI dilatih. DisTrO, singkatan dari Distributed Training Over-the-Internet, adalah alat canggih yang secara signifikan mengurangi jumlah data yang harus dikirim antar GPU selama proses pelatihan AI. Jika sebelumnya diperlukan transfer data yang besar antar GPU, yang mengakibatkan kebutuhan koneksi internet supercepat dan infrastruktur superkomputer mahal, kini DisTrO memungkinkan pelatihan model AI yang kompleks tanpa harus memiliki infrastruktur superkomputer mahal dan koneksi internet supercepat.
DisTrO memungkinkan pelatihan model AI yang kompleks menggunakan koneksi internet biasa, seperti koneksi yang biasa digunakan oleh individu atau kelompok kecil. DisTrO telah diuji coba dan hasilnya luar biasa. Dalam penelitian teknis Nous Research, DisTrO terbukti 857 kali lebih efisien dibandingkan algoritma pelatihan populer, All-Reduce. Lebih mengejutkan lagi, DisTrO berhasil mengurangi volume data yang ditransfer selama setiap langkah pelatihan hingga 86.8 megabyte, jauh lebih kecil dibandingkan 74.4 gigabyte yang dibutuhkan oleh All-Reduce.
Meskipun efisiensi tinggi ini, DisTrO hanya mengalami sedikit penurunan kinerja keseluruhan. Ini membuka peluang bagi siapa saja untuk membangun model AI yang kompleks tanpa harus memiliki sumber daya yang luar biasa. Dengan DisTrO, tim peneliti dan institusi di seluruh dunia dapat berkolaborasi untuk membangun model AI canggih secara bersama-sama. Tidak lagi bergantung pada perusahaan besar untuk mengelola dan mengendalikan proses pelatihan, mereka memiliki kebebasan untuk bereksperimen dengan teknik, algoritma, dan model baru.
Kolaborasi ini akan memicu inovasi dan percepatan dalam pengembangan AI. Para peneliti di seluruh dunia dapat bekerja sama dengan lebih mudah dan efisien untuk membangun model AI yang canggih dan kompleks. Para peneliti juga dapat saling bertukar ide dan hasil penelitian dengan lebih cepat dan mudah, memicu perkembangan AI yang lebih cepat dan inovatif. DisTrO membuka jalan bagi kolaborasi yang lebih luas dan mendalam di bidang AI, menghasilkan model AI yang lebih canggih dan bermanfaat bagi masyarakat.
DisTrO menjanjikan perubahan besar dalam lanskap AI. Dengan kemampuannya untuk mengurangi kebutuhan koneksi internet berkecepatan tinggi, DisTrO membuka peluang bagi siapa saja dengan koneksi internet standar untuk ikut serta dalam pelatihan AI. Tidak lagi terbatasi oleh ketersediaan superkomputer atau infrastruktur data center canggih, kini siapa pun dapat berpartisipasi dalam pengembangan AI. DisTrO memungkinkan individu atau kelompok kecil untuk melatih model AI yang canggih dengan mudah, tanpa harus memiliki sumber daya besar.
Ini mendorong partisipasi yang lebih luas dan demokratisasi dalam pengembangan AI, memungkinkan lebih banyak orang untuk berkontribusi pada kemajuan teknologi AI. DisTrO meratakan persaingan dalam bidang AI, membuka peluang bagi lebih banyak orang untuk berpartisipasi aktif dalam pengembangan AI yang inovatif. Tradisi pelatihan AI bergantung pada pengelompokan GPU secara fisik di satu lokasi untuk memfasilitasi komunikasi antar GPU dan sinkronisasi data. Tetapi DisTrO menjungkirbalikkan pendekatan ini dengan memfasilitasi komunikasi antar GPU yang tersebar di seluruh dunia melalui internet biasa.
Tidak lagi memerlukan lokasi fisik yang sama, GPU yang tersebar dapat berkolaborasi secara virtual untuk melatih model AI yang kompleks. DisTrO mengubah cara kita berpikir tentang pelatihan AI. Tidak lagi diperlukan infrastruktur besar dan mahal untuk melatih model AI yang kompleks, kini model AI dapat dilatih secara virtual dengan memanfaatkan sumber daya yang tersedia di seluruh dunia. DisTrO membuka pintu bagi model AI yang terdesentralisasi, di mana model AI dilatih dan diakses oleh lebih banyak orang melalui jaringan yang terhubung.
DisTrO menggunakan 32 GPU H100, yang menggunakan strategi Distributed Data Parallelism (DDP), di mana setiap GPU memuat seluruh model ke dalam VRAM. Konfigurasi ini memungkinkan tim untuk secara menyeluruh menguji kapabilitas DisTrO dan membuktikan bahwa DisTrO dapat menyamai kecepatan konvergensi AdamW All-Reduce dengan persyaratan komunikasi yang jauh lebih rendah. Hasil ini menunjukkan bahwa DisTrO memiliki potensi untuk menggantikan metode pelatihan AI yang ada tanpa mengorbankan kualitas model.
DisTrO menawarkan solusi yang scalable dan efisien untuk pelatihan AI skala besar, membuka jalan bagi berbagai model AI baru yang kuat dan canggih. DisTrO juga memungkinkan pengembangan model AI yang lebih kompleks dan efisien, meningkatkan potensi AI untuk menyelesaikan berbagai masalah yang kompleks. DisTrO memiliki potensi besar untuk mendorong kolaborasi dalam pelatihan AI. Dengan DisTrO, tim peneliti dari berbagai belahan dunia dapat bekerja sama untuk melatih model AI yang canggih, melampaui batasan geografis dan sumber daya.
Kolaborasi yang dimungkinkan oleh DisTrO akan menghasilkan inovasi yang lebih cepat dan lebih luas dalam bidang AI. Para peneliti dapat bekerja sama untuk membangun model AI yang kompleks dan canggih, yang memerlukan keahlian dan sumber daya yang beragam. Kolaborasi yang dimungkinkan oleh DisTrO akan menghasilkan model AI yang lebih kuat dan inovatif. DisTrO juga menawarkan manfaat ekologis. Dengan mengurangi kebutuhan data center besar dan energi yang dibutuhkan untuk pelatihan AI, DisTrO berkontribusi pada upaya keberlanjutan dan mengurangi jejak karbon AI.
Model AI yang ramah lingkungan ini akan menjadi solusi yang lebih berkelanjutan di masa depan. DisTrO mendorong penggunaan sumber daya komputasi yang lebih efisien dan berkelanjutan, mengurangi jejak karbon AI dan meningkatkan keberlanjutan dalam penggunaan teknologi AI. DisTrO mendorong perkembangan AI yang lebih bertanggung jawab dan berkelanjutan bagi masa depan. DisTrO adalah bukti bahwa AI tidak harus menjadi permainan eksklusif bagi perusahaan besar. Tim Nous Research telah berhasil membuka pintu bagi lebih banyak orang untuk berpartisipasi dalam revolusi AI, mendorong inovasi dan kolaborasi di seluruh dunia.
Dengan DisTrO, siapa pun dengan koneksi internet standar dapat menjadi bagian dari pengembangan AI masa depan, memajukan ilmu pengetahuan dan teknologi untuk kebaikan bersama. DisTrO mendemokratisasi teknologi AI, memberdayakan individu dan kelompok kecil untuk berpartisipasi aktif dalam perkembangan AI. DisTrO mendorong perkembangan AI yang lebih terbuka, inklusif, dan bermanfaat bagi semua. Penggunaan DisTrO juga diharapkan dapat mendorong pertumbuhan dan adopsi teknologi AI di berbagai sektor, memicu inovasi baru dan mempercepat transformasi digital.
DisTrO berpotensi meratakan persaingan di bidang AI, memberdayakan individu dan kelompok kecil untuk berkontribusi pada perkembangan AI secara signifikan. DisTrO akan mendorong pengembangan aplikasi AI yang lebih inovatif dan efisien, yang dapat digunakan untuk menyelesaikan berbagai masalah di berbagai bidang. DisTrO akan mempengaruhi cara kita melihat dan menggunakan teknologi AI di masa depan. DisTrO akan mendorong penelitian AI yang lebih terbuka dan kolaboratif. Tim Nous Research mempersilakan para peneliti di seluruh dunia untuk bergabung dengan mereka dalam mengeksplorasi potensi DisTrO.
Mereka menyediakan laporan awal dan bahan pendukung di GitHub, dan terus mencari kolaborator untuk menyempurnakan dan mengembangkan teknologi penting ini. DisTrO akan mendorong lebih banyak peneliti dan lembaga untuk berpartisipasi dalam perkembangan AI, mempercepat perkembangan AI dan menciptakan sinergi yang positif bagi perkembangan AI di masa depan. DisTrO adalah langkah penting menuju masa depan AI yang lebih terbuka dan demokratis. Dengan DisTrO, potensi AI dapat dimaksimalkan melalui kolaborasi dan kreativitas dari berbagai kalangan.
