Cara Baru Agar Chatbot Bisa Ingat Lebih Lama



TL;DR
  • Chatbot berbasis AI sering lupa informasi penting saat ngobrol.
  • Ada dua terobosan baru untuk meningkatkan ingatan chatbot.
  • Tim ilmuwan dari MIT dan OpenAI menemukan solusi untuk masalah ini.
Cara Baru Agar Chatbot Bisa Ingat Lebih Lama - credit: cultinfos - pibitek.biz - OpenAI

credit: cultinfos


336-280

pibitek.biz - Chatbot berbasis AI sering lupa hal-hal penting. Baik saat ngobrol dengan orang yang sama maupun yang berbeda. Tapi ada dua terobosan baru yang mungkin bisa mengubah hal ini. Chatbot yang pakai LLM seperti ChatGPT dari OpenAI bisa lupa informasi penting. Apalagi kalau ngobrolnya terlalu lama. Lebih dari 4 juta kata, performanya langsung anjlok.

ChatGPT dan LLM lainnya juga gak bisa simpan informasi dari ngobrolan sebelumnya. Misalnya, kalau kita ngobrol sama ChatGPT, terus tutup aplikasinya seminggu. Pas dibuka lagi, ChatGPT gak ingat apa-apa.

Tapi ada dua tim yang mungkin udah nemu solusi buat masalah ingatan ini. Tim ilmuwan dari MIT udah tau kenapa AI lupa hal-hal saat ngobrol. Mereka juga bikin metode buat memperbaikinya. Sementara itu, pengembang di OpenAI udah mulai tes ingatan jangka panjang. Di sini, kita bisa suruh ChatGPT ingat hal-hal tertentu dari ngobrolan. Kita juga bisa tanya apa yang dia ingat.

Atau suruh dia lupa sesuatu. Bahkan hapus ingatannya sama sekali. Ilmuwan-ilmuwan itu nemu cara buat meningkatkan ingatan jangka pendek chatbot. Caranya, ubah cara key-value cache (ingatan jangka pendek chatbot) nyimpen dan ganti token. Token itu adalah potongan teks yang jadi input. Mereka sebut metode baru ini "StreamingLLM".

Hasil penelitian mereka udah dipublikasikan di arXiv tanggal 12 Desember 2023. Ingatan chatbot itu terbatas. Jadi, dia buang token yang paling lama dan ganti dengan yang baru. Tapi kalau pakai StreamingLLM, chatbot bisa simpan empat token pertama. Baru buang token kelima dan seterusnya. Ini artinya, chatbot tetap bisa lupa.

Tapi dia ingat interaksi pertama. Urutan token (dan labelnya, misalnya pertama, kedua, ketiga, dan seterusnya) juga penting. Karena itu masuk ke "attention map" buat ngobrolan yang lagi aktif.

Ini nunjukin seberapa kuat hubungan antara token satu dengan yang lain. Misalnya, kalau token kelima dibuang, kita mungkin kira token keenam jadi token kelima yang baru. Tapi biar StreamingLLM bisa kerja, token harus tetap sesuai dengan kode awalnya.

Dalam contoh ini, token keenam gak boleh jadi token "kelima" baru. Tapi tetap jadi token keenam. Dua perubahan ini bikin chatbot bisa kerja sama bagusnya sebelum dan sesudah 4 juta kata. Ilmuwan-ilmuwan itu bilang begitu di paper mereka. Metode ini juga 22 kali lebih cepat dari metode ingatan jangka pendek lainnya. Metode lain itu hindari performa jelek dengan ngitung ulang bagian dari ngobrolan sebelumnya.

"Sekarang, dengan metode ini, kita bisa terus pakai LLM ini. Dengan bikin chatbot yang bisa kita ajak ngobrol terus, dan yang bisa jawab kita berdasarkan ngobrolan terakhir, kita bisa pakai chatbot ini buat aplikasi baru", kata Guangxuan Xiao, mahasiswa S2 di MIT, dalam siaran pers. StreamingLLM udah dimasukin ke library optimisasi model LLM open source dari Nvidia.

Namanya TensorRT-LLM. Library ini dipakai sama pengembang buat jadi dasar model AI mereka. Peneliti-peneliti itu juga mau perbaikin StreamingLLM.

Caranya, bikin StreamingLLM bisa cari dan masukin lagi token yang udah dibuang kalau masih dibutuhkan. OpenAI juga lagi tes cara buat perbaikin ingatan jangka panjang ChatGPT. Jadi, pengguna bisa lanjutin ngobrolan dan punya hubungan kerja yang bagus sama chatbot AI.

Saat ngobrol sama LLM, pengguna bisa minta ChatGPT ingat sesuatu yang spesifik. Atau kasih dia kebebasan buat ingat hal-hal dari ngobrolan yang dia anggap penting. Ingatan-ingatan ini gak terkait sama ngobrolan tertentu.

Jadi, hapus chat gak bikin ingatan ilang. Ingatannya harus dihapus di antarmuka yang beda. Kecuali dihapus manual, mulai chat baru bakal muat ChatGPT dengan ingatan yang udah disimpen.

OpenAI kasih beberapa contoh buat nunjukin manfaatnya. Dalam satu contoh, chatbot ingat kalau guru TK dengan 25 murid suka pelajaran 50 menit dengan aktivitas lanjutan. Chatbot ingat ini pas bantu bikin rencana pelajaran.

Dalam contoh lain, seseorang bilang ke ChatGPT kalau anak balitanya suka ubur-ubur. Chatbot ingat ini pas bikin kartu ulang tahun buat anak itu. Perusahaan ini udah ngeluarin fitur ingatan baru ini ke sebagian kecil pengguna ChatGPT.

Perwakilan perusahaan bilang begitu dalam siaran pers tanggal 13 Februari. Ini sebelum rencana ngeluarin fitur ini ke semua pengguna. OpenAI bakal pakai informasi dari ingatan buat perbaikin model mereka.

Perwakilan perusahaan bilang begitu dalam siaran pers. Mereka juga nambahin, ilmuwan-ilmuwan lagi ambil langkah buat nilai dan kurangi bias. Juga buat cegah ChatGPT ingat informasi sensitif kayak detail kesehatan. Kecuali kalau pengguna minta secara eksplisit. Pengguna dengan akses ingatan juga bisa pakai "chat sementara". Di sini, ingatan dimatikan sama sekali.