- Rehberger menemukan kerentanan pada ChatGPT yang memungkinkan penyerang menyimpan informasi palsu di memori pengguna.
- OpenAI menutup laporan Rehberger, tetapi akhirnya mengeluarkan perbaikan setelah peneliti membuat contoh eksploitasi.
- Rehberger khawatir bahwa OpenAI lebih peduli dengan keselamatan daripada keamanan pengguna ChatGPT dan memori mereka.
pibitek.biz -Peneliti keamanan Johann Rehberger baru-baru ini menemukan kerentanan pada ChatGPT yang memungkinkan penyerang untuk menyimpan informasi palsu dan instruksi jahat di pengaturan memori jangka panjang pengguna. OpenAI menutup laporan tersebut dengan alasan bahwa itu bukan masalah keamanan, tetapi hanya masalah keselamatan. Namun, Rehberger tidak puas dan membuat contoh konsep eksploitasi yang menggunakan kerentanan tersebut untuk mengirimkan semua input pengguna ke server pilihannya. OpenAI akhirnya mengambil tindakan dan mengeluarkan perbaikan sebagian pada awal bulan ini.
2 – Mengungkap Sisi Gelap YouTube: Konten Berbahaya Beredar 2 – Mengungkap Sisi Gelap YouTube: Konten Berbahaya Beredar
3 – Cyera Akuisisi Trail Security untuk Keamanan Data 3 – Cyera Akuisisi Trail Security untuk Keamanan Data
Dalam waktu tiga bulan, Rehberger menemukan bahwa memori palsu dapat dibuat dan disimpan secara permanen melalui injeksi prompt tidak langsung, sebuah eksploitasi AI yang menyebabkan LLM mengikuti instruksi dari konten tidak tepercaya seperti email, posting blog, atau dokumen. Peneliti tersebut menunjukkan bagaimana ia dapat menipu ChatGPT untuk percaya bahwa pengguna target berusia 102 tahun, tinggal di Matrix, dan yakin bahwa Bumi datar, dan LLM akan mengintegrasikan informasi tersebut untuk mengarahkan semua percakapan masa depan. Memori palsu ini dapat dipasang dengan menyimpan file di Google Drive atau Microsoft OneDrive, mengunggah gambar, atau browsing situs seperti Bing, dan semuanya dapat dikembangkan oleh penyerang jahat.
Rehberger melaporkan temuan tersebut secara pribadi ke OpenAI pada bulan Mei. Namun, perusahaan tersebut menutup tiket laporan tersebut. Sebulan kemudian, peneliti tersebut mengirimkan pernyataan pengumuman baru, yang kali ini disertai dengan contoh konsep eksploitasi yang menyebabkan aplikasi ChatGPT untuk macOS mengirimkan salinan verbatim dari semua input pengguna dan output ChatGPT ke server pilihannya. Semua yang perlu dilakukan oleh target adalah menginstruksikan LLM untuk melihat tautan web yang menghosting gambar jahat.
Dari saat itu, semua input dan output ke dan dari ChatGPT dikirim ke situs web penyerang. "Apa yang sangat menarik adalah bahwa ini sekarang memori-persisten", kata Rehberger dalam video demo di atas. "Injeksi prompt memasukkan memori ke penyimpanan jangka panjang ChatGPT. Ketika kamu memulai percakapan baru, itu masih mengirimkan data". Sementara OpenAI telah mengeluarkan perbaikan yang mencegah memori dari disalahgunakan sebagai vektor eksfiltrasi, peneliti tersebut mengatakan bahwa konten tidak tepercaya masih dapat melakukan injeksi prompt yang menyebabkan alat memori menyimpan informasi jangka panjang yang dipasang oleh penyerang jahat.
Pengguna LLM yang ingin mencegah serangan ini harus memperhatikan output yang menunjukkan bahwa memori baru telah ditambahkan selama sesi. Mereka juga harus secara teratur meninjau memori yang disimpan untuk mencari apa pun yang mungkin telah dipasang oleh sumber tidak tepercaya. OpenAI menyediakan panduan untuk mengelola alat memori dan memori yang disimpan di dalamnya. Namun, ini adalah contoh lain dari kegagalan OpenAI dalam melindungi pengguna mereka. Mereka sepertinya lebih peduli dengan keselamatan daripada keamanan. Ini sangat mengkhawatirkan dan membuat kita bertanya-tanya apakah kita dapat mempercayai mereka dengan data kita.
