Anthropic rilis Fitur Canggih untuk Model Bahasa AI

pibitek.biz -Anthropic, perusahaan AI yang sedang naik daun, baru-baru ini merilis fitur baru yang diklaim dapat mengurangi biaya dan meningkatkan performa model bahasa AI (LLM) untuk perusahaan. Fitur ini, yang disebut "Prompt Caching", diumumkan pada 14 Agustus lalu dan tersedia dalam versi beta publik untuk API Anthropic, khususnya untuk model Claude 3.5 Sonnet dan Claude 3 Haiku. Fitur ini memungkinkan pengguna untuk menyimpan dan menggunakan kembali informasi kontekstual tertentu dalam prompt, termasuk instruksi dan data yang lebih lengkap, tanpa harus mengeluarkan biaya berulang atau mengalami penundaan (latency) yang lebih lama.

Dengan kata lain, perusahaan bisa menyimpan prompt yang sudah digunakan sebelumnya, sehingga tidak perlu memasukkan informasi yang sama berulang kali. Hal ini bisa sangat menguntungkan bagi perusahaan yang sering melakukan tugas yang sama atau membutuhkan konteks yang kompleks. Juru bicara Anthropic mengatakan, fitur ini adalah salah satu dari sekian banyak fitur canggih yang sedang dikembangkan untuk meningkatkan kemampuan Claude. Mereka berusaha menemukan cara untuk mengoptimalkan penyimpanan konteks agar lebih sesuai dengan berbagai kebutuhan, sehingga Claude tidak hanya menjadi model bahasa AI yang kuat, tetapi juga intuitif dan mudah digunakan oleh pengguna dengan berbagai tingkat keahlian.

Dengan kata lain, Anthropic ingin membuat Claude dapat digunakan secara mudah oleh siapa saja, baik yang ahli dalam AI maupun yang tidak. Perkembangan ini terjadi di tengah persaingan yang ketat dalam industri AI, khususnya di bidang LLM. Perusahaan seperti OpenAI, Google, dan Microsoft terus berlomba-lomba mengembangkan LLM mereka, masing-masing berupaya untuk membedakan produk mereka dan merebut pangsa pasar. OpenAI misalnya, fokus pada pengembangan model GPT mereka, dengan GPT-4 yang menunjukkan kemajuan signifikan dalam kemampuan penalaran dan penyelesaian tugas.

Google juga tidak mau kalah, dengan terus mengembangkan model PaLM dan produk terkaitnya. Sementara itu, Microsoft mengintegrasikan teknologi OpenAI ke dalam layanan cloud Azure dan produk lainnya. Namun, fitur Prompt Caching dari Anthropic menyoroti aspek berbeda dari penggunaan LLM, yaitu efisiensi dan efektivitas biaya dalam interaksi yang berulang. Dengan kata lain, Anthropic ingin membuat LLM mereka lebih hemat biaya dan lebih efisien dalam penggunaan sehari-hari. Hal ini bisa menjadi keuntungan bagi Anthropic, karena perusahaan bisa mendapatkan keunggulan dalam persaingan dengan menawarkan solusi AI yang lebih hemat biaya.

Anthropic mengklaim bahwa fitur ini dapat mengurangi biaya hingga 90% dan meningkatkan waktu respons hingga dua kali lipat untuk aplikasi tertentu. Meskipun angka-angka tersebut terbilang signifikan, perlu dicatat bahwa kinerja sebenarnya dapat bervariasi tergantung pada kasus penggunaan dan implementasi yang spesifik. Fitur ini dirancang untuk paling efektif dalam skenario di mana pengguna perlu mengirimkan banyak konteks prompt satu kali dan kemudian secara berulang mengacu pada informasi tersebut dalam permintaan berikutnya.

Dengan kata lain, fitur ini cocok untuk aplikasi yang membutuhkan informasi kontekstual yang sama dalam beberapa permintaan. Hal ini bisa sangat bermanfaat untuk berbagai aplikasi AI bisnis, termasuk agen percakapan, pemrosesan dokumen yang ekstensif, asisten coding, dan penggunaan alat agen. Contohnya, untuk agen percakapan, Prompt Caching dapat mengurangi biaya dan penundaan untuk percakapan yang panjang, khususnya yang membutuhkan instruksi panjang atau melibatkan dokumen yang diunggah. Dalam pemrosesan dokumen yang besar, fitur ini memungkinkan untuk memasukkan materi lengkap dalam format panjang ke dalam prompt tanpa meningkatkan penundaan respons.

Asisten coding juga bisa mendapat manfaat dari peningkatan kemampuan autocomplete dan tanya jawab tentang basis kode dengan menyimpan versi ringkasan dari basis kode dalam prompt. Untuk penggunaan alat agen, fitur ini dapat meningkatkan kinerja dalam skenario yang melibatkan beberapa panggilan alat dan perubahan kode iteratif, di mana setiap langkah biasanya memerlukan panggilan API baru. Pengenalan Prompt Caching dapat memiliki implikasi yang lebih luas untuk industri AI, khususnya dalam demokratisasi akses ke kemampuan AI canggih untuk bisnis yang lebih kecil.

Dengan berpotensi mengurangi biaya dan meningkatkan efisiensi, Anthropic mungkin menurunkan hambatan bagi perusahaan yang ingin memanfaatkan solusi AI yang canggih. Juru bicara Anthropic menekankan bahwa perusahaan semakin mencari solusi AI yang tidak hanya memberikan hasil yang mengesankan, tetapi juga ROI yang berarti. Mereka yakin bahwa Prompt Caching dapat memberikan keduanya, sehingga membuka kesempatan bagi lebih banyak perusahaan untuk memanfaatkan kecerdasan dan kecepatan Claude. Namun, perlu dicatat bahwa perusahaan lain di industri AI juga sedang berupaya meningkatkan efisiensi dan efektivitas biaya model mereka.

OpenAI misalnya, telah memperkenalkan model dengan tingkat kemampuan dan harga yang berbeda, memungkinkan bisnis untuk memilih opsi yang paling sesuai dengan kebutuhan mereka. Google juga fokus pada pengembangan model yang lebih efisien yang dapat berjalan di hardware yang kurang kuat. Seperti halnya teknologi baru lainnya, khususnya di bidang AI yang berkembang pesat, efektivitas Prompt Caching dalam aplikasi dunia nyata masih harus dilihat. Anthropic berencana untuk bekerja sama dengan pelanggan untuk mengumpulkan data tentang kinerja dan dampak fitur ini.

Mereka ingin memahami bagaimana Claude dapat meningkatkan kinerja bisnis dan memberikan penghematan biaya, sekaligus menemukan kasus penggunaan yang baru. Dengan menggabungkan metrik kuantitatif dengan umpan balik kualitatif, Anthropic berharap dapat menilai dampak dari teknologi AI terbaru yang mereka kembangkan. Namun, verifikasi independen terhadap klaim ini akan sangat penting untuk menentukan nilai sebenarnya dari Prompt Caching. Saat versi beta publik dirilis, perusahaan dan pengembang dapat mengevaluasi apakah Prompt Caching memenuhi klaim Anthropic dan bagaimana hal itu dapat sesuai dengan strategi AI mereka.