- Mistral AI baru-baru ini merilis tiga model bahasa open-weight. Yaitu Mistral NeMo, Codestral Mamba, dan Mathstral.
- Mistral NeMo, yang disebut sebagai "model kecil terbaik", dapat memproses 128.000 token.
pibitek.biz -Mistral AI baru-baru ini merilis tiga model bahasa open-weight: Mistral NeMo, sebuah model bahasa multiguna dengan 12 miliar parameter; Codestral Mamba, model generator kode dengan 7 miliar parameter; dan Mathstral, model dengan 7 miliar parameter yang dirancang khusus untuk menyelesaikan soal matematika dan penalaran. Ketiga model ini dirilis di bawah lisensi Apache 2. Mistral NeMo adalah model bahasa yang disebut sebagai "model kecil terbaik" oleh Mistral AI.
2 – Samsung: Pembaruan Galaxy S22 Oktober 2024, Perbaiki 42 Kerentanan 2 – Samsung: Pembaruan Galaxy S22 Oktober 2024, Perbaiki 42 Kerentanan
3 – Sengketa XRP: Pertempuran Hukum yang Tak Kunjung Berakhir 3 – Sengketa XRP: Pertempuran Hukum yang Tak Kunjung Berakhir
Model ini mampu memproses hingga 128.000 token dan tersedia dalam dua versi: model dasar dan model yang telah dilatih untuk menerima instruksi. Mistral NeMo mendukung berbagai bahasa dan mencatatkan performa yang baik di 11 bahasa, termasuk bahasa Mandarin, Jepang, Arab, dan Hindi. Mistral AI mengembangkan tokenizer baru bernama Tekken untuk model ini, yang mampu mengompres kode sumber dan bahasa alami dengan lebih efisien.
Mistral NeMo mampu mengalahkan model sejenis, seperti Gemma 2 9B dan Llama 3 8B, pada berbagai benchmark seperti MMLU dan Winogrande.Codestral Mamba dibangun di atas arsitektur Mamba, sebuah alternatif dari arsitektur Transformer yang umum digunakan pada model bahasa lainnya. Model Mamba menawarkan inferensi yang lebih cepat dibandingkan Transformer dan secara teoritis memiliki panjang konteks tak terbatas. Mistral AI menyatakan bahwa Codestral Mamba mampu memberikan respons cepat, terlepas dari panjang input, dan memiliki performa setara dengan model berbasis Transformer yang lebih besar, seperti CodeLlama 34B.
Mathstral dikembangkan bersama Project Numina, sebuah organisasi nirlaba yang bertujuan mengembangkan AI untuk bidang matematika. Model ini berdasarkan Mistral 7B dan telah disempurnakan untuk mencapai performa tinggi dalam bidang STEM. Mistral AI menyatakan bahwa Mathstral mampu mencapai kinerja terbaik di kelasnya pada beberapa benchmark, termasuk skor 63,47% pada MMLU dan 56,6% pada MATH.
Para pengguna di Hacker News juga membahas tentang Codestral Mamba, berspekulasi apakah model ini akan menjadi solusi yang baik untuk asisten pemrograman "offline" atau yang dihosting secara lokal. Salah satu pengguna menulis bahwa Codestral Mamba akan menjadi "alat yang sangat menarik untuk asisten pemrograman berbasis desktop". Model-model baru ini dapat diunduh melalui Huggingface atau melalui SDK Mistral mistral-inference. Mistral NeMO dan Codestral Mamba juga tersedia melalui API La Plateforme milik Mistral AI.
