Uber Luncurkan AI Generatif Gateway: Supermarket AI Untuk Semua

pibitek.biz -Uber lagi-lagi bikin gebrakan di dunia teknologi. Kali ini, perusahaan transportasi berbasis aplikasi ini menciptakan sebuah platform super canggih bernama AI Generatif Gateway. Platform ini diklaim sebagai gerbang utama untuk mengakses berbagai LLM yang ada di pasaran, baik dari vendor eksternal maupun yang dibuat sendiri oleh Uber. Bayangin, AI Generatif Gateway ini ibarat supermarket raksasa yang menyediakan semua kebutuhanmu seputar AI. Kamu bisa menemukan LLM dari berbagai vendor populer, seperti OpenAI, Vertex AI, dan lain-lain.

Platform ini juga memungkinkan Uber untuk mengakses LLM-nya sendiri, jadi Uber bisa punya kontrol penuh atas model yang mereka gunakan. Uber sebenarnya sudah lama terjun ke dunia AI. Banyak tim mereka yang sibuk-sibuk menggabungkan teknologi AI ke dalam berbagai bidang, seperti otomatisasi proses kerja, customer support, sampai pembuatan konten. Tapi, masalahnya, setiap tim menggunakan pendekatan yang berbeda-beda. Hal ini menyebabkan munculnya banyak pekerjaan yang harus diulang dan juga inkonsistensi dalam cara kerja mereka.

Nah, untuk mengatasi masalah ini, Uber akhirnya memutuskan untuk menggabungkan semua LLM ke dalam satu layanan terpusat, yaitu AI Generatif Gateway. Tujuannya jelas, agar semuanya lebih terstruktur dan efisien. Uber punya alasan kuat untuk memilih API OpenAI sebagai dasar AI Generatif Gateway. Alasannya sederhana, API OpenAI sudah jadi standar di dunia dan banyak library open-source yang mendukungnya, seperti LangChain dan LlamaIndex. Dengan menggunakan API OpenAI, Uber jadi lebih mudah mengajak tim-tim di dalam perusahaan untuk menggunakan AI Generatif Gateway.

AI Generatif Gateway dirancang dengan arsitektur yang rapi. Di bagian inti platform ini, terdapat layanan yang menggabungkan LLM eksternal dan internal. Di luar layanan inti tersebut, Uber menambahkan fitur-fitur pendukung yang penting, seperti otentikasi dan manajemen akun, caching, dan juga pemantauan serta pelacakan kinerja. AI Generatif Gateway juga dirancang untuk melindungi data pribadi. Uber sadar bahwa keamanan data adalah hal yang sangat penting, terutama ketika berurusan dengan LLM. Untuk mencegah kebocoran data, Uber membangun sistem pengurangan informasi identitas pribadi (PII) di dalam AI Generatif Gateway.

Tujuannya adalah untuk menyembunyikan informasi pribadi yang sensitif sebelum data dikirim ke vendor pihak ketiga. Sayangnya, sistem pengurangan PII ini ternyata punya efek samping yang tidak menyenangkan. Sistem ini bisa menghapus informasi penting yang dibutuhkan LLM untuk menghasilkan jawaban yang akurat. Terutama ketika LLM dijalankan dengan mekanisme caching dan RAG. Masalah ini masih menjadi PR bagi tim Uber. Mereka sedang berupaya untuk menemukan solusi yang tepat. Salah satu solusi yang sedang dipertimbangkan adalah dengan mengandalkan LLM milik Uber sendiri atau mencari jaminan keamanan dari vendor pihak ketiga.

Sebagai bukti keseriusan Uber dalam mengembangkan AI Generatif Gateway, mereka langsung menerapkan platform ini di layanan customer support. Uber memanfaatkan LLM untuk meringkas percakapan antara agen customer support dan pelanggan. Tujuannya agar agen customer support bisa lebih cepat memahami isi percakapan dan memberikan solusi yang tepat. Hasilnya? Wah, cukup mengesankan. Ternyata 97% ringkasan yang dihasilkan oleh LLM dinilai berguna oleh agen customer support. Selain itu, LLM juga berhasil memangkas waktu yang dibutuhkan untuk menyelesaikan pertanyaan pelanggan, sekitar 6 detik.

Saat ini, AI Generatif Gateway sudah menghasilkan 20 juta ringkasan per minggu. Ke depannya, Uber berencana untuk memperluas penggunaan AI Generatif Gateway ke wilayah dan tipe kontak lainnya. Uber bertekad untuk terus menyempurnakan AI Generatif Gateway. Tim pengembang AI Generatif Gateway punya rencana untuk meningkatkan kemampuan platform ini, seperti menambahkan mekanisme caching yang cerdas, memaksimalkan logika fallback, mendeteksi informasi yang salah, dan juga menambahkan sistem pengamanan dan kebijakan yang ketat.

Namun, di balik semua keunggulan AI Generatif Gateway, terdapat beberapa kekurangan yang harus dipertimbangkan. Pertama, terdapat risiko kebocoran data karena AI Generatif Gateway masih mengandalkan layanan LLM eksternal yang belum tentu bisa diandalkan sepenuhnya. Kedua, kemampuan AI Generatif Gateway untuk memahami konteks masih terbatas. Ini bisa menjadi masalah serius dalam memberikan jawaban yang akurat dan relevan. Ketiga, AI Generatif Gateway belum memiliki sistem yang efektif untuk mendeteksi dan mengatasi informasi yang salah.

Ini berpotensi menimbulkan masalah serius karena informasi yang salah bisa menyebar dengan cepat. Meskipun demikian, AI Generatif Gateway tetap menjadi terobosan besar di bidang AI. Platform ini menunjukkan komitmen Uber untuk memanfaatkan teknologi AI untuk meningkatkan efisiensi dan produktivitas. AI Generatif Gateway juga menjadi bukti bahwa Uber terus berinovasi dan berusaha untuk menjadi pemimpin dalam industri AI.