Prompt Injection Ungkap Celah Keamanan di Apple Intelligence

pibitek.biz -Apple Intelligence, fitur AI terbaru Apple, akan menjadi komponen utama dalam iOS 18.1 yang akan dirilis pada Oktober 2024. Fitur ini diharapkan dapat membawa fungsi yang lebih baik pada perangkat Apple dan mengubah cara pengguna berinteraksi dengan teknologi. Namun, ketika tanggal peluncuran semakin dekat, sebuah celah keamanan yang signifikan telah ditemukan oleh seorang ahli, Evan Zhou. Celah ini ditemukan pada versi beta Apple Intelligence yang berjalan pada macOS 15.1 dan membuat AI rentan terhadap serangan prompt injection.

Serangan prompt injection adalah jenis eksploitasi yang menargetkan sistem AI yang ber basis pada LLM. Ini memungkinkan penyerang untuk memanipulasi AI agar melakukan tindakan yang tidak diinginkan. Zhou berhasil memanipulasi Apple Intelligence dengan beberapa baris kode, sehingga menimbulkan kekhawatiran tentang kesiapan sistem ini untuk dirilis secara luas dan menyoroti risiko keamanan yang lebih luas terkait dengan teknologi AI. Penyebab akar dari kerentanan ini terletak pada desain LLM, yang berbeda dari sistem software tradisional.

Pada software tradisional, instruksi program telah ditetapkan dan tidak berubah, dengan input pengguna diproses secara independen dari kode dasar. Namun, pada LLM, batas antara kode dan input menjadi kabur.AI sering menggunakan input yang diterima untuk menghasilkan respons, yang memperkenalkan fleksibilitas tetapi juga meningkatkan risiko eksploitasi.

Penemuan celah keamanan pada Apple Intelligence oleh Evan Zhou telah menarik perhatian pada risiko serius yang ditimbulkan oleh serangan prompt injection. Eksperimen Zhou dengan AI menunjukkan bahwa memungkinkan untuk memanipulasi AI agar mengabaikan instruksi awalnya, hanya dengan memasukkan perintah yang mengarahkan sistem untuk "mengabaikan instruksi sebelumnya". Ini memungkinkan Zhou untuk melewati batasan yang dimaksudkan pada AI, menyebabkan AI merespons dengan cara yang tidak diantisipasi oleh pengembangnya. Keberhasilan upaya Zhou sebagian besar karena informasi dari pengguna Reddit, yang memiliki informasi tentang template prompt Apple Intelligence.

Dengan memahami token khusus yang digunakan untuk memisahkan peran sistem dari peran pengguna dalam AI, Zhou dapat membuat prompt yang secara efektif menimpa instruksi awal sistem. Temuan Zhou, yang kemudian ia bagikan di GitHub, menunjukkan kemudahan dengan mana prompt injection dapat menembus bahkan sistem AI yang canggih seperti Apple Intelligence. Impikasi nyata dari serangan prompt injection melampaui kekhawatiran keamanan segera.

Untuk perusahaan dan individu yang mengandalkan sistem AI untuk menangani informasi sensitif, potensi pelanggaran data adalah ancaman yang signifikan. Penyerang dapat menggunakan prompt injection untuk mengekstrak detail rahasia dari AI, termasuk data pribadi, operasi internal perusahaan, atau bahkan protokol keamanan yang tertanam dalam data pelatihan model. Selain kekhawatiran privasi, serangan prompt injection dapat menyebabkan pembuatan konten berbahaya atau penyebaran informasi palsu.

Misalnya, pada kasus bot Remoteli.io, prompt injection digunakan untuk memanipulasi AI agar memposting pernyataan yang merugikan dan berita palsu, yang dapat memiliki konsekuensi yang luas jika tidak segera ditangani. Kemampuan penyerang untuk mengeksploitasi kerentanan ini menyoroti kebutuhan akan langkah-langkah keamanan yang lebih kuat dalam pengembangan AI.

Untuk melawan risiko prompt injection, perusahaan harus mengambil langkah-langkah yang lebih luas. Beberapa perusahaan telah mulai menerapkan langkah-langkah untuk mengurangi kerentanan ini, seperti membuat aturan untuk mendeteksi input pengguna yang berbahaya. Misalnya, OpenAI menerapkan daftar prioritas pada April 2024, yang memberikan prioritas lebih tinggi pada tugas dari pembuat, pengguna, dan alat pihak ketiga.

Rencana ini bertujuan untuk memastikan bahwa tugas prioritas tetap berjalan, bahkan ketika ada beberapa prompt. Namun, keamanan penuh masih sulit dicapai. Model teks besar, seperti yang digunakan pada ChatGPT atau Apple AI, masih menunjukkan kerentanan terhadap serangan prompt injection dalam beberapa kasus. Tugasnya terletak pada integrasi yang sulit dari tools ini dan pekerjaan yang sulit untuk melihat semua cara yang mungkin digunakan oleh penyerang untuk mengeksploitasi kerentanan ini.

Seiring dengan perkembangan AI, cara-cara yang digunakan oleh penyerang untuk mengeksploitasi kerentanan ini juga akan berkembang, sehingga memerlukan pengawasan yang terus-menerus dan ide-ide baru dalam langkah-langkah keamanan. Selain prompt injection, LLM juga menghadapi risiko baru: SQL injection. Seperti prompt injection, SQL injection terjadi ketika token yang tidak biasa dalam input string menyebabkan model berperilaku tidak diinginkan.

Dalam laporan yang menunjukkan kerentanan ini oleh Andrej Karpathy, ketika parser token LLM melihat beberapa kode, dapat menyebabkan hasil yang tidak diinginkan. Risiko-risiko ini sulit ditemukan dan tidak banyak diketahui, sehingga menjadi risiko yang tersembunyi tetapi signifikan dalam pekerjaan AI. Saran Karpathy untuk mengurangi kerentanan ini termasuk menggunakan flag untuk menangani token yang tidak biasa dengan lebih baik dan memastikan bahwa panggilan encode/decode tidak memparse string untuk token yang tidak biasa.

Dengan menggunakan rencana-rencana ini, pembuat dapat mengurangi risiko perilaku yang tidak diinginkan pada alat AI mereka, meskipun pekerjaan yang sulit dari model-model ini berarti bahwa beberapa risiko akan tetap ada. Dengan perubahan dalam ancaman AI, pengembang harus mengambil langkah-langkah yang cerdas untuk melindungi alat mereka. Salah satu tips utama adalah memisahkan input perintah dari input pengguna, yang dapat membantu mencegah penyerang menambahkan prompt yang berbahaya.

Ini sesuai dengan konsep "memisahkan jalur data dan kontrol", yang telah dipromosikan oleh para profesional selama beberapa waktu. Selain itu, pengembang harus memeriksa token mereka dan menguji kode mereka dengan baik untuk menemukan kerentanan. Pembaruan dan pemeriksaan rutin langkah-langkah keamanan sangat penting, karena alat AI terus berkembang dan ancaman baru muncul. Dengan tetap di depan ancaman-ancaman ini, pembuat dapat melindungi alat AI mereka dari kerusakan.

Penemuan kerentanan pada Apple AI menunjukkan pekerjaan yang sulit yang dihadapi oleh pembuat AI. Seiring dengan perkembangan teknologi AI, cara-cara yang digunakan oleh penyerang untuk mengeksploitasi kerentanan ini juga akan berkembang. Meskipun upaya untuk memperbaiki risiko-risiko ini sedang dilakukan, perubahan yang cepat dalam AI berarti bahwa keamanan akan tetap menjadi kekhawatiran besar untuk saat ini.

Membangun langkah-langkah keamanan yang lebih cerdas akan menjadi kunci dalam melindungi AI dari serangan prompt injection dan serangan lainnya. Lebih banyak pekerjaan, ide-ide baru, dan kerja sama dalam komunitas AI akan membantu menangani tantangan-tantangan yang sulit ini dan memastikan penggunaan AI yang aman. Peluncuran yang akan datang dari Apple Intelligence menyoroti baik potensi maupun risiko yang terkait dengan sistem AI yang canggih.