Pinecone Berkembang, Menjangkau Azure dan Google Cloud

pibitek.biz -Pinecone, startup pengembang basis data vektor serverless, terus melebarkan sayapnya dengan ekspansi ke Azure dan Google Cloud. Sebelumnya, Pinecone hanya tersedia di AWS. Basis data ini dirancang khusus untuk menyimpan embedding vektor, representasi simbolik multidimensi dari objek teks, gambar, audio, dan video yang digunakan dalam pencarian semantik oleh LLM AI Generatif. Embedding vektor memungkinkan LLM untuk memahami dan membandingkan konten secara lebih mendalam, menghasilkan respons yang lebih akurat dan relevan terhadap permintaan pengguna.

Dengan hadirnya Pinecone di Azure dan Google Cloud, pengguna memiliki lebih banyak pilihan cloud yang sesuai dengan kebutuhan dan preferensi mereka. Basis data serverless Pinecone menawarkan keuntungan utama, yaitu bebasnya pengguna dari beban mengelola infrastruktur server yang mendasari. Pengguna dapat fokus pada pengembangan aplikasi AI mereka tanpa harus khawatir dengan kompleksitas server fisik. Kehadiran Pinecone di ketiga cloud publik besar, AWS, Azure, dan Google Cloud, memperkuat posisi Pinecone sebagai penyedia basis data vektor yang fleksibel dan mudah diakses.

Hal ini memungkinkan perusahaan dari berbagai ukuran dan industri untuk memanfaatkan kemampuan Pinecone dalam menyimpan dan mencari data embedding vektor secara efisien dan efektif. Pinecone memiliki visi yang lebih luas daripada sekadar menjadi penyedia basis data vektor. Perusahaan ini ingin membantu aplikasi AI perusahaan dalam memanfaatkan data perusahaan mereka sendiri secara optimal. Fitur Retrieval-Augmented Generation (RAG) yang ditawarkan Pinecone memungkinkan LLM yang dilatih secara umum untuk memanfaatkan data perusahaan, menghasilkan respons yang lebih akurat dan relevan dengan konteks bisnis perusahaan.

Dengan menggabungkan pengetahuan umum dari LLM dengan data spesifik perusahaan, RAG memungkinkan aplikasi AI untuk menghasilkan jawaban yang lebih terinformasi dan menghindari kesalahan atau "halusinasi" yang sering muncul pada LLM yang hanya mengandalkan data umum. Pinecone memberikan solusi bagi perusahaan yang ingin meningkatkan akurasi dan relevansi respons AI mereka dengan memanfaatkan data internal yang unik. Salah satu contoh sukses penggunaan Pinecone adalah implementasinya di Cisco. Tim platform AI di Cisco memanfaatkan basis data vektor Pinecone di Google Cloud untuk membangun asisten AI yang dapat mencari jutaan dokumen dengan cepat dan akurat.

Asisten ini membantu berbagai organisasi di Cisco dalam menemukan informasi yang relevan dengan cepat dan efisien. Cisco menyadari pentingnya akses cepat dan akurat ke informasi internal dalam mendukung operasional dan pengambilan keputusan. Dengan menggunakan Pinecone, Cisco mampu membangun asisten AI yang membantu tim mereka bekerja lebih efisien dan efektif, meningkatkan produktivitas dan kualitas kerja secara keseluruhan. Menyadari kebutuhan akan solusi tanya jawab yang handal untuk data teknis yang padat teks, seperti dokumen keuangan dan hukum, Pinecone merilis Pinecone Assistant dalam versi beta.

Layanan ini menggunakan basis data vektor Pinecone sebagai fondasinya, menawarkan jawaban yang berkualitas tinggi dan terpercaya melalui API sederhana. Pinecone Assistant menangani seluruh kompleksitas sistem tanya jawab, mulai dari infrastruktur hingga operasi dan optimasi. Pengguna tidak perlu repot mengelola sistem tanya jawab yang kompleks karena Pinecone Assistant memberikan solusi yang siap pakai dan mudah diintegrasikan. Pinecone Assistant menawarkan jawaban yang relevan dan akurat untuk pertanyaan yang diajukan, membantu pengguna memahami dan mengolah data teknis yang rumit.

Layanan ini sangat bermanfaat bagi perusahaan yang memiliki banyak dokumen keuangan dan hukum, yang sering kali membutuhkan pemahaman yang mendalam dan akurat. Selain ekspansi cloud dan peluncuran Pinecone Assistant, Pinecone juga memperkenalkan fitur-fitur baru yang meningkatkan kendali dan proteksi data bagi pengguna. Salah satu fitur unggulan adalah kemampuan backup untuk indeks serverless. Backup ini memungkinkan pengguna untuk memulihkan data dengan mudah dan cepat. Pengguna dapat melakukan backup dan restore indeks serverless secara manual melalui API sederhana.

Fitur backup ini memberikan rasa aman kepada pengguna, memastikan bahwa data mereka selalu terlindungi dan dapat dipulihkan dengan mudah jika terjadi kesalahan atau gangguan. Pinecone juga menghadirkan fitur kontrol akses granular melalui API Key Roles. Fitur ini memberi pemilik proyek kontrol penuh atas akses ke Control Plane dan Data Plane di Pinecone serverless. Pengguna dapat menentukan tingkat akses yang berbeda, seperti NoAccess, ReadOnly, atau ReadWrite, untuk masing-masing pengguna. Kontrol akses granular ini memastikan bahwa data hanya diakses oleh orang-orang yang berwenang, meningkatkan keamanan dan privasi data.

Pinecone terus berinovasi dengan memperkenalkan lebih banyak peran pengguna di tingkat organisasi dan proyek. Peran-peran ini, seperti Org Owner, Billing Admin, Org Manager, Org Member, Project Owner, Project Editor, dan Project Viewer, memungkinkan pengaturan akses yang lebih rinci dan terstruktur. Organisasi dapat mengatur akses ke manajemen proyek, penagihan, pengguna, API key, Control Plane, Data Plane, dan lainnya dengan fleksibilitas yang tinggi. Dengan kontrol akses yang lebih terstruktur, organisasi dapat meningkatkan keamanan dan efisiensi dalam mengelola data dan pengguna di platform Pinecone.

Pinecone juga memperkenalkan kemampuan impor massal dari penyimpanan objek, yang merupakan fitur inovatif dan hemat biaya. Kemampuan ini memungkinkan pengguna untuk menyisipkan jutaan objek dengan cepat dan efisien tanpa harus melakukan pembaruan dan penyisipan catatan individual. Proses impor data dilakukan secara asynchronous, berjalan di latar belakang, dan tidak memerlukan penyetelan performa atau pemantauan status impor. Impor massal ini sangat bermanfaat bagi perusahaan yang memiliki data dalam jumlah besar yang perlu diimpor ke Pinecone.

Pinecone memberikan contoh bahwa impor 10 juta catatan dengan dimensi 768 hanya akan menghabiskan biaya $30 dengan impor massal. Kemampuan impor massal ini menawarkan penghematan biaya yang signifikan dibandingkan dengan metode impor tradisional. Sebelum melakukan impor massal, pengguna perlu mengintegrasikan penyimpanan objek mereka (misalnya Amazon S3) dengan Pinecone. Integrasi ini memungkinkan pengguna untuk menyimpan kredensial IAM untuk penyimpanan objek mereka, yang dapat diatur atau dikelola melalui konsol Pinecone.

Impor dilakukan melalui titik akhir API baru yang mendukung file sumber Parquet. Pinecone serverless tersedia untuk semua pelanggan Standard dan Enterprise. Saat ini, layanan tersebut mendukung wilayah "eastus2" (Virginia) di Azure, "us-central1" (Iowa) dan "europe-west4" (Netherlands) di Google Cloud, dengan lebih banyak wilayah akan segera tersedia di kedua platform. Pelanggan dapat mulai membangun di Pinecone serverless dengan menggunakan salah satu notebook contoh Pinecone atau berlangganan melalui Azure atau Google Cloud Marketplace.

Pinecone menawarkan pengalaman yang mudah dan intuitif bagi pengguna yang ingin mulai menggunakan layanannya. Impor dari penyimpanan objek kini tersedia dalam mode akses awal untuk pengguna Standard dan Enterprise dengan tarif flat $1.00/GB. Saat ini, fitur ini hanya tersedia untuk Amazon S3 di wilayah serverless AWS. Dukungan untuk Google Cloud Storage (GCS) dan Azure Blob Storage akan menyusul dalam beberapa minggu mendatang. Impor massal dibatasi hingga 200 juta catatan pada satu waktu selama akses awal dan operasi impor dibatasi untuk menulis catatan ke namespace serverless baru; saat ini, kamu tidak dapat mengimpor data ke namespace yang sudah ada.

Pinecone terus mengembangkan layanannya dengan memperkenalkan fitur-fitur baru dan memperluas cakupan layanannya. Dengan ekspansi ke Azure dan Google Cloud, Pinecone semakin dekat dengan para pengguna yang membutuhkan solusi basis data vektor yang andal, mudah diakses, dan hemat biaya. Ram Sriharsha, VP R&D Pinecone, menjelaskan secara teknis pendekatan serverless Pinecone. Ia menjelaskan bahwa basis data vektor tradisional menggunakan arsitektur mesin pencari di mana data dipecah menjadi banyak indeks individu yang lebih kecil, dan kueri dikirim ke semua indeks.

Mekanisme kueri ini disebut scatter-gather, yaitu menyebarkan kueri ke beberapa indeks sebelum mengumpulkan respons untuk menghasilkan satu hasil akhir. Arsitektur berbasis pod Pinecone menggunakan mekanisme yang sama. Sebelum Pinecone serverless, basis data vektor harus menyimpan seluruh indeks secara lokal di indeks. Pendekatan ini berlaku untuk semua basis data vektor yang menggunakan HNSW (seluruh indeks berada di memori untuk HNSW), algoritma grafik berbasis disk, atau pustaka seperti Faiss.

Tidak ada cara untuk halaman bagian-bagian indeks ke memori sesuai permintaan, dan dengan cara yang sama, dalam arsitektur scatter-gather, tidak ada cara untuk mengetahui bagian mana yang harus di halaman ke memori sampai semua indeks disentuh. Pinecone merancang basis data vektor yang melampaui scatter-gather dan memungkinkan halaman bagian-bagian indeks sesuai kebutuhan dari penyimpanan persisten berbiaya rendah. Ini berarti bahwa Pinecone mencapai dekopling penyimpanan dari komputasi untuk pencarian vektor.