pibitek.biz - Apple jarang disebut-sebut dalam perlombaan AI Generatif tahun 2023. Tapi, Apple ternyata punya banyak karya menarik di bidang ini. Bedanya, Apple tidak terlalu heboh mempromosikan karyanya seperti perusahaan teknologi lain. Dalam beberapa bulan terakhir, peneliti Apple sudah merilis berbagai kertas kerja, model dan perpustakaan pemrograman yang berkaitan dengan AI Generatif di perangkat.
2 – 1,57 Exaflops, Superkomputer Tianhe 3 Cina Pakai CPU Buatan Sendiri 2 – 1,57 Exaflops, Superkomputer Tianhe 3 Cina Pakai CPU Buatan Sendiri
3 – Dell Naik Daun Di Wall Street Berkat AI 3 – Dell Naik Daun Di Wall Street Berkat AI 300x600
Dari hasil rilis ini, kita bisa menebak arah dan posisi Apple di pasar AI Generatif yang semakin besar. Apple bukan perusahaan yang bisa menjual akses ke LLM yang berjalan di awan.
Tapi, Apple punya keunggulan dalam integrasi vertikal di industri teknologi. Apple menguasai seluruh lapisan, mulai dari sistem operasi, alat pengembangan, sampai prosesor di setiap perangkat Apple. Ini membuat Apple punya posisi unik untuk mengoptimalkan model generatif di perangkat.
Apple sudah menunjukkan kemajuan besar di bidang ini, sesuai dengan kertas kerja yang sudah dirilis beberapa bulan lalu. Pada Januari, Apple merilis kertas kerja berjudul "LLM in a flash". Kertas kerja ini menjelaskan teknik untuk menjalankan LLM di perangkat dengan memori terbatas, seperti ponsel dan laptop.
Teknik ini membagi model menjadi dua bagian. Satu bagian dimuat di DRAM dan satu bagian lagi di flash memory. Model ini bisa menukar bobot antara flash memory dan DRAM secara dinamis.
Dengan begitu, model ini bisa mengurangi konsumsi memori dan mengecilkan latensi inferensi, terutama di Apple silicon. Sebelum "LLM in a flash", Apple sudah merilis kertas kerja lain yang menunjukkan cara mengubah arsitektur LLM agar bisa mengurangi "komputasi inferensi hingga tiga kali" dengan sedikit pengorbanan kinerja. Teknik optimasi inferensi di perangkat bisa semakin penting seiring bertambahnya pengembang yang mau bikin aplikasi dengan LLM kecil yang muat di perangkat konsumen.
Percobaan menunjukkan bahwa selisih waktu yang sedikit bisa berpengaruh besar pada pengalaman pengguna. Dan Apple pastikan perangkatnya bisa memberikan keseimbangan terbaik antara kecepatan dan kualitas. Apple juga sudah merilis beberapa model generatif bersumber terbuka dalam beberapa bulan terakhir.
Ferret, yang dirilis diam-diam pada Oktober, adalah LLM multi-modal yang punya dua ukuran: 7 miliar dan 13 miliar parameter. Model ini dibangun di atas Vicuna, LLM bersumber terbuka, dan LLaVA, model bahasa-visi (VLM). Sementara model multi-modal biasanya menganalisis gambar secara keseluruhan, Ferret punya mekanisme khusus yang bisa menghasilkan respons berdasarkan area tertentu di gambar.
Ferret sangat bagus dalam menangani objek dan detail kecil di gambar. Model ini bisa jadi dasar untuk model yang bisa memungkinkan pengguna berinteraksi dengan objek yang dilihat lewat kamera iPhone atau Vision Pro. Baru-baru ini, Apple merilis MLLM-Guided Image Editing (MGIE), model yang bisa mengubah gambar berdasarkan perintah bahasa alami.
Kemampuan MGIE mulai dari modifikasi gambar secara keseluruhan, seperti mengubah kecerahan dan kontras, sampai mengedit daerah atau objek tertentu di gambar. Fitur-fitur ini bisa jadi tambahan bagus untuk generasi berikutnya dari perangkat iOS. Apple tidak terkenal dengan budaya bersumber terbuka.
Lisensi untuk Ferret menyatakan bahwa model ini hanya bisa dipakai untuk tujuan penelitian. Tapi, rilis model ini bisa membantu menarik minat untuk rilis Apple di masa depan dan mempersiapkan komunitas pengembang untuk bikin aplikasi untuk produk Apple. Setelah model dirilis ke publik, pengembang biasanya bisa menemukan cara untuk memakai model ini dengan cara yang tidak terpikirkan oleh pembuatnya dan memberikan masukan penting untuk memperbaiki atau mengintegrasikan model ini ke produk yang sudah ada.
Pada Desember, Apple merilis MLX, perpustakaan untuk bekerja dengan model machine learning. MLX menggunakan antarmuka yang familiar dari perpustakaan Python seperti NumPy dan PyTorch, yang membuatnya mudah dipakai untuk pengembang machine learning. Tapi, MLX sudah dioptimalkan untuk prosesor Apple seperti M2 dan M3.
MLX menggunakan konsep "memori bersama", di mana model machine learning bisa dibagi antara berbagai jenis memori, bukan hanya berjalan di memori CPU atau GPU. MLX juga menggunakan teknik lain untuk membuat model lebih hemat memori tanpa mengorbankan kecepatan. Ini sejalan dengan penelitian Apple untuk menjalankan model besar di perangkat dengan memori terbatas.
Apple membuat perpustakaan ini dengan cara yang memudahkan pengembang untuk memindahkan kode dari perpustakaan populer lain dan mengoptimalkannya untuk perangkat Apple. MLX juga dirilis dengan lisensi MIT, yang berarti bisa dipakai untuk tujuan komersial. Semua tanda menunjukkan bahwa Apple sedang menciptakan landasan untuk perubahan platform yang akan membuatnya jadi pemain besar di AI Generatif di perangkat.
