RAGChecker, Alat Baru Amazon Ubah AI

pibitek.biz -Amazon sedang membuat gebrakan di dunia AI dengan alat baru yang disebut RAGChecker. Alat ini seperti senjata rahasia yang membantu AI untuk lebih cerdas dalam mengolah informasi dari dunia luar. Bayangkan, AI bisa jadi lebih jago dalam memahami dan menggunakan informasi yang ada di internet, buku, atau database. RAGChecker adalah alat bantu yang didesain untuk mengatasi tantangan besar di dunia AI, yaitu memastikan AI dapat mengambil dan menggabungkan informasi dari sumber luar secara akurat. Alat ini bekerja dengan cara memeriksa sistem AI yang disebut Retrieval-Augmented Generation (RAG) secara detail.

RAG sendiri adalah sistem AI yang menggabungkan kemampuan bahasa model besar dengan database luar untuk memberikan jawaban yang lebih akurat dan sesuai konteks.Contohnya, saat kamu bertanya kepada AI, "Bagaimana cara membuat kue cokelat?", RAGChecker membantu AI untuk menemukan informasi yang tepat dari buku resep, blog, atau website, lalu mentransformasikannya menjadi jawaban yang mudah dipahami. Dengan kata lain, RAGChecker memastikan AI tidak asal ngomong, tapi memberikan jawaban yang akurat dan relevan berdasarkan informasi yang didapat.

Kehadiran RAGChecker sangat penting karena semakin banyak perusahaan yang mengandalkan AI untuk tugas yang membutuhkan informasi terkini dan akurat, seperti saran hukum, diagnosa medis, dan analisis keuangan yang rumit. Alat bantu untuk menilai sistem RAG yang sudah ada, menurut tim Amazon, kurang memadai karena tidak bisa menangkap semua kerumitan dan potensi kesalahan yang muncul pada sistem AI ini. RAGChecker dirancang dengan pendekatan baru yang disebut "claim-level entailment checking". Ini artinya RAGChecker mampu menganalisis setiap klaim dalam jawaban AI dengan lebih teliti, memastikan klaim tersebut benar dan relevan dengan informasi yang diperoleh dari database.

Bedanya dengan alat bantu evaluasi tradisional, RAGChecker membedah jawaban AI menjadi klaim-klaim individu dan menilai kebenaran dan relevansinya berdasarkan konteks yang didapat oleh AI. RAGChecker diibaratkan seperti detektor kebohongan yang canggih. Ia bisa mendeteksi kesalahan dalam proses pengambilan dan pemrosesan informasi oleh AI. Alat ini menyorot dua jenis kesalahan yang sering terjadi pada sistem RAG: kesalahan pengambilan informasi (Retrieval Errors) dan kesalahan pemrosesan informasi (Generator Errors).

Kesalahan pengambilan informasi terjadi ketika AI gagal menemukan informasi yang paling relevan. Misalnya, saat mencari informasi tentang cara membuat kue cokelat, AI malah menemukan informasi tentang cara membuat pizza. Sementara itu, kesalahan pemrosesan informasi terjadi ketika AI kesulitan dalam memanfaatkan informasi yang sudah ditemukan. Misalnya, AI mungkin menemukan informasi tentang cara membuat kue cokelat, tapi tidak bisa mengolah informasi tersebut menjadi instruksi yang mudah dipahami.

Dengan kemampuannya yang hebat, RAGChecker mampu membantu pengembang AI untuk mendiagnosis dan memperbaiki kedua jenis kesalahan ini. Tim Amazon sudah menguji RAGChecker pada delapan sistem RAG yang berbeda menggunakan dataset benchmark yang mencakup 10 bidang, termasuk bidang-bidang yang sangat membutuhkan akurasi, seperti kedokteran, keuangan, dan hukum. Hasilnya menunjukkan bahwa pengembang harus mempertimbangkan trade-off yang penting. Misalnya, sistem yang lebih jago dalam menemukan informasi yang relevan juga cenderung menyertakan informasi yang tidak relevan, yang dapat membuat proses pemrosesan informasi menjadi lebih rumit.

Tim peneliti menemukan bahwa beberapa sistem RAG pandai dalam menemukan informasi yang tepat, tetapi seringkali gagal untuk menyaring informasi yang tidak relevan. Para peneliti juga menemukan perbedaan antara model open-source dan model proprietary, seperti GPT-4. Model open-source cenderung mempercayai konteks yang diberikan kepada mereka secara membabi buta, yang terkadang menyebabkan ketidakakuratan dalam jawaban mereka. RAGChecker menjadi alat yang sangat bermanfaat bagi perusahaan yang mengandalkan konten yang dihasilkan oleh AI.

Dengan kemampuannya untuk mengevaluasi secara detail bagaimana AI mengambil dan menggunakan informasi, RAGChecker membantu perusahaan memastikan bahwa sistem AI mereka tetap akurat dan dapat diandalkan, terutama di lingkungan yang berisiko tinggi. Seiring dengan terus berkembangnya AI, alat seperti RAGChecker akan memainkan peran penting dalam menjaga keseimbangan antara inovasi dan keandalan. Tim AI AWS menyimpulkan bahwa "metrik RAGChecker dapat memandu peneliti dan praktisi dalam mengembangkan sistem RAG yang lebih efektif", sebuah klaim yang, jika terbukti benar, dapat berdampak besar pada cara AI digunakan di berbagai industri.