- Google DeepMind rilis algoritma JEST untuk kurasi dataset AI.
- JEST menggunakan model pre-trained untuk memilih contoh data efektif.
- Model dilatih dengan JEST memerlukan 10 kali lebih sedikit komputasi.
pibitek.biz -Google DeepMind baru-baru ini merilis algoritma baru untuk kurasi dataset AI, yang disebut JEST (Joint Example Selection). Algoritma ini menggunakan model pre-trained untuk memilih contoh-contoh data yang paling efektif untuk melatih model AI. Dalam eksperimen yang dilakukan, model yang dilatih dengan JEST memerlukan 10 kali lebih sedikit komputasi daripada metode baseline.
2 – AI: Ancaman Baru bagi Keamanan Siber 2 – AI: Ancaman Baru bagi Keamanan Siber
3 – Serangan SIM-Swap: Akun SEC Diretas Secara Besar-Besaran 3 – Serangan SIM-Swap: Akun SEC Diretas Secara Besar-Besaran
JEST mencoba menyelesaikan masalah kurasi dataset, yaitu memilih contoh-contoh data yang paling efektif untuk melatih model. Namun, karena kurasi dataset secara manual memakan waktu lama, JEST mengotomatisasi proses ini dengan menggunakan model pre-trained sebagai referensi. Model ini memilih batch-batch data berdasarkan skor "learnability"-nya, yang merupakan kombinasi dari loss model referensi dan model yang dilatih.
Tujuan JEST adalah menemukan batch-batch data yang memiliki loss tinggi untuk model yang dilatih, tetapi loss rendah untuk model referensi. Artinya, data tersebut belum dipelajari oleh model, tetapi masih dapat dipelajari. JEST diterapkan selama proses pelatihan, dan memilih batch-batch data berdasarkan skor learnability-nya.
Tim peneliti menemukan bahwa ini meningkatkan kualitas batch-batch data, mirip dengan konsep "hard negatives". Karena skor learnability dihitung secara online selama pelatihan, JEST memerlukan biaya komputasi tambahan. Untuk mengatasi ini, JEST menggunakan model aproksimasi untuk skoring yang efisien.
Misalnya, komponen visi model referensi dapat menghilangkan lapisan atau patch gambar. Peneliti juga meningkatkan efisiensi dengan melatih model pada resolusi gambar yang berbeda. Tim DeepMind melakukan beberapa eksperimen untuk mengevaluasi JEST.
Mereka melatih model referensi pada dataset Web Language Image (WebLI), lalu melatih model-model lain menggunakan JEST dan membandingkannya dengan model-model yang dilatih menggunakan metode baseline. Model-model yang dilatih dengan JEST mencapai kinerja yang sama dengan model-model baseline, tetapi memerlukan 10 kali lebih sedikit komputasi. Dalam diskusi di Hacker News, beberapa pengguna memuji karya DeepMind.
Salah satu pengguna menulis bahwa JEST mirip dengan metode lain yang disebut Cappy, yang juga menggunakan model pre-trained sebagai scorer. Teknik-teknik lain yang terkait termasuk RHO-LOSS, yang menginspirasi JEST dan merupakan open-source. Namun, Google belum membuat JEST open-source.
