Microsoft Rilis PyRIT, Alat Red Teaming untuk AI Generatif



TL;DR
  • Microsoft merilis PyRIT, alat red teaming untuk AI Generatif.
  • PyRIT dirancang untuk mengidentifikasi risiko dalam sistem AI Generatif.
  • Alat ini memungkinkan peneliti memiliki dasar tentang seberapa baik model mereka. ```
Microsoft Rilis PyRIT, Alat Red Teaming untuk AI Generatif - credit for: thehackernews - pibitek.biz - Dataset

credit for: thehackernews


336-280

pibitek.biz - Microsoft telah merilis kerangka otomatisasi akses terbuka bernama PyRIT (singkatan dari Python Risk Identification Tool) untuk secara proaktif mengidentifikasi risiko dalam sistem Artificial Intelligence (AI) generatif. Alat red teaming ini dirancang untuk "memungkinkan setiap organisasi di seluruh dunia untuk berinovasi secara bertanggung jawab dengan kemajuan AI terbaru", kata Ram Shankar Siva Kumar, pemimpin red team AI di Microsoft. Perusahaan tersebut mengatakan PyRIT dapat digunakan untuk menilai kekokohan endpoin LLM terhadap kategori risiko yang berbeda seperti fabrikasi (misalnya, halusinasi), penyalahgunaan (misalnya, bias), dan konten yang dilarang (misalnya, pelecehan).

PyRIT juga dapat digunakan untuk mengidentifikasi risiko keamanan mulai dari pembuatan malware hingga jailbreaking, serta risiko privasi seperti pencurian identitas. PyRIT dilengkapi dengan lima antarmuka: target, dataset, mesin penilaian, kemampuan untuk mendukung strategi serangan yang berbeda, dan memasukkan komponen memori yang dapat berupa JSON atau database untuk menyimpan interaksi input dan output yang intermediat. Mesin penilaian juga menawarkan dua opsi berbeda untuk menilai output dari sistem AI target, sehingga memungkinkan red teamers untuk menggunakan klasifikasi machine learning klasik atau memanfaatkan endpoin LLM untuk evaluasi diri.

"Tujuannya adalah memungkinkan para peneliti memiliki dasar tentang seberapa baik model mereka dan seluruh pipa inferensi mereka dalam menghadapi kategori risiko yang berbeda dan dapat membandingkan dasar tersebut dengan iterasi masa depan model mereka", kata Microsoft. "Hal ini memungkinkan mereka memiliki data empiris tentang seberapa baik model mereka saat ini, dan mendeteksi setiap penurunan kinerja berdasarkan perbaikan di masa depan". Namun, raksasa teknologi tersebut berhati-hati untuk menekankan bahwa PyRIT bukan pengganti red teaming manual dari sistem AI Generatif, melainkan melengkapi keahlian domain yang ada dalam red team.

Dengan kata lain, alat ini dimaksudkan untuk menyoroti "titik-titik panas" risiko dengan menghasilkan prompt yang dapat digunakan untuk mengevaluasi sistem AI dan menandai area yang memerlukan penyelidikan lebih lanjut. Microsoft juga mengakui bahwa red teaming sistem AI Generatif memerlukan penyelidikan terhadap risiko keamanan dan AI yang bertanggung jawab secara bersamaan dan bahwa latihan ini lebih bersifat probabilitas sambil menunjukkan perbedaan yang luas dalam arsitektur sistem AI Generatif. "Pemeriksaan manual, meskipun memakan waktu, sering diperlukan untuk mengidentifikasi potensi titik buta", kata Siva Kumar.