Pelajaran dari Microsoft dan GitHub Soal AI Copilot



TL;DR
  • Microsoft dan GitHub riset soal AI copilot buat produk.
  • Developer hadapi masalah prompt, tes, keamanan, dan update.
  • Microsoft upgrade CoPilot, tambah fitur edit gambar.
Pelajaran dari Microsoft dan GitHub Soal AI Copilot - credit to: infoq - pibitek.biz - Prototype

credit to: infoq


336-280

pibitek.biz - Microsoft dan GitHub baru aja ngelakuin penelitian mendalam soal tantangan, peluang, dan kebutuhan yang ada di balik bikin AI copilot buat produk. Penelitian ini ngewawancara 26 engineer software profesional dari berbagai perusahaan yang ngembangin tools canggih ini. Sekarang lagi rame-rame nambahin fitur AI ke produk, tapi masih banyak masalah yang muncul.

Susahnya nyocokkin data dan prompt bisa bikin AI gagal. Ngetes LLM (Large Language Model) juga ribet karena hasilnya bisa beda-beda. Developer juga bingung harus ngikutin standar apa di bidang yang cepet berubah ini.

Kadang mereka cuma ngandelin media sosial atau paper akademis. Belum lagi masalah keamanan, privasi, dan aturan yang harus dijaga biar nggak kena masalah. Masih susah nyari tempat yang bisa ngasih solusi lengkap buat masukin AI ke proyek.

Developer pengen bisa mulai cepet, dari main-main sampe bikin prototype, nyambungin data ke prompt, trus masukin AI ke kode yang udah ada dengan mudah", tulis Austin Henley. "Alat buat ngecek prompt bisa bantu banget. Developer juga minta ada perpustakaan atau 'kotak perkakas' yang isinya prompt buat tugas-tugas umum. Trus, bisa ngelacak dampak dari perubahan prompt juga penting", lanjut Henley.

Salah satu tantangan besar yang ditemukan adalah prompt engineering, yaitu proses bikin prompt yang bisa ngelatih AI. "Soalnya LLM ini sering banget ngasih respons yang nggak konsisten, jadi kita harus banyak ngatur dan ngarahin lewat prompt", kata salah satu peserta.

Ini bikin prompt engineering jadi lebih seni daripada ilmu. Developer harus banyak coba-coba, yang bisa makan waktu. Masalah lain yang muncul adalah soal standar tes.

Dengan model generatif kayak LLM, susah banget nulis tes yang pasti. Soalnya setiap respons bisa beda dari sebelumnya. Kayak semua tes itu nggak stabil.

Salah satu peserta bilang: "Makanya kita jalanin tiap tes 10 kali". Sementara yang lain nambahin, "Eksperimen itu yang paling lama kalo nggak punya alat yang tepat". Selain itu, peserta juga ngungkapin kekhawatiran tentang isu keamanan, privasi, dan aturan yang berhubungan dengan masukin AI ke produk. Misalnya, "Apa kita mau ini ngaruh ke orang beneran? Ini dipake di pembangkit nuklir, lho", ujar salah satu peserta yang lain, nunjukin potensi bahaya dari teknologi ini kalo nggak ada perlindungan yang kuat.

Terakhir, tetep update atau tau harus belajar apa juga susah. "Ini baru banget buat kita. Kita belajar sambil jalan. Nggak ada jalur yang bener-bener bener!", begitu kata salah satu peserta. Perubahan ini dateng pas Microsoft baru aja ngeluncurin desain baru dan upgrade buat CoPilot-nya sendiri. Misalnya, sekarang pengguna CoPilot yang ngomong Inggris di AS, Inggris, Australia, India, dan Selandia Baru bisa edit gambar langsung di chat. Perubahan ini dateng pas beberapa pelanggan CoPilot Pro ngelaporin masalah performa.