Kerangka Evaluasi AI: Membangun Standar Etis

pibitek.biz -Dalam era digital yang terus berkembang, AI telah merambah berbagai aspek kehidupan. AI telah menjadi alat yang canggih, membantu menyelesaikan berbagai masalah dan meningkatkan efisiensi. Namun, seiring dengan kemajuan pesat ini, muncul kekhawatiran mengenai etika penggunaan AI. Uni Eropa (EU), sebagai salah satu wilayah yang terdepan dalam regulasi teknologi, telah mengambil langkah penting dalam mengatur pengembangan dan penggunaan AI. EU telah mengeluarkan Peraturan AI, yang bertujuan untuk menciptakan kerangka kerja yang komprehensif untuk memastikan penggunaan AI yang bertanggung jawab.

Aturan AI yang dikeluarkan oleh EU, yang diumumkan pada Agustus 2023, menjadi tonggak sejarah dalam pengembangan AI. Aturan tersebut diharapkan dapat mengatur pengembangan AI yang etis dan aman. Namun, aturan ini juga dikritik karena dianggap terlalu umum, tidak teknis, dan terlalu luas. Meskipun aturan AI mengidentifikasi enam prinsip etika yang harus dipenuhi, prinsip-prinsip tersebut belum diubah menjadi standar yang terkodifikasi. Belum ada standar konkret atau rekomendasi yang dikeluarkan untuk mengukur kepatuhan terhadap aturan AI.

Untuk memberikan kejelasan dan membantu pembuat AI memahami sejauh mana model AI mereka sesuai dengan aturan AI, LatticeFlow, ETH Zurich, dan Institut Ilmu Komputer, AI, dan Teknologi (INSAIT) merilis Compl-AI. Compl-AI merupakan kerangka kerja evaluasi pertama yang bertujuan untuk menentukan kepatuhan terhadap aturan AI. Platform Compl-AI telah menilai model dari berbagai perusahaan terkemuka, termasuk OpenAI, Meta, Mistral, Anthropic, dan Google, berdasarkan lebih dari dua puluh spesifikasi teknis.

Perusahaan lain yang mengembangkan model AI juga didorong untuk meminta evaluasi terhadap model mereka. Peneliti dari LatticeFlow, INSAIT, dan ETH Zurich, dalam makalah teknis mereka, menyatakan bahwa Compl-AI mengungkap kekurangan dalam model dan tolak ukur yang ada, terutama dalam hal ketahanan, keamanan, keragaman, dan keadilan. Compl-AI untuk pertama kalinya menunjukkan kemungkinan dan tantangan dalam menerjemahkan kewajiban dalam aturan AI ke dalam tingkat yang lebih konkret dan teknis. Menurut aturan AI, model dan sistem AI dikategorikan menjadi empat tingkat risiko, yaitu tidak dapat diterima, tinggi, terbatas, dan minimal.

Label tidak dapat diterima akan melarang pengembangan dan penerapan model. Pembuat model AI juga dapat menghadapi denda besar jika ditemukan tidak patuh terhadap aturan. Para peneliti menekankan bahwa aturan AI diperkirakan akan berdampak di luar wilayah EU karena efek ekstrateritorialnya yang luas. Aturan AI mendefinisikan enam prinsip etika, yaitu:

– Agensi manusia dan pengawasan: Prinsip ini menekankan pentingnya peran manusia dalam mengendalikan dan mengawasi AI.

– Ketahanan teknis dan keamanan: AI harus dirancang dan dikembangkan dengan mempertimbangkan keamanan dan ketahanan agar terhindar dari kesalahan dan manipulasi.

– Privasi dan tata kelola data: Data yang digunakan untuk melatih dan menjalankan AI harus dilindungi privasi dan dikelola secara bertanggung jawab.

– Transparansi: Algoritma dan cara kerja AI harus transparan agar dapat dipahami oleh pengguna dan pembuat keputusan.

– Keragaman, non-diskriminasi, dan keadilan: AI harus dirancang dan diterapkan dengan mempertimbangkan keragaman dan keadilan, dan menghindari bias yang dapat merugikan kelompok tertentu.

– Kesejahteraan sosial dan lingkungan: AI harus digunakan untuk meningkatkan kesejahteraan manusia dan lingkungan, dan menghindari dampak negatif.

Compl-AI, sebuah kerangka kerja yang bebas dan sumber terbuka, mengevaluasi respons LLM (Large Language Model) di 27 area teknis untuk mengkaji kepatuhan terhadap prinsip-prinsip etika tersebut. Area teknis yang dievaluasi mencakup:

– Jawaban yang berprasangka: Apakah LLM memberikan jawaban yang bias atau diskriminatif?

– Pengetahuan umum: Apakah LLM memiliki pemahaman yang baik tentang pengetahuan umum?

– Penyelesaian yang bias: Apakah LLM menghasilkan teks yang bias atau diskriminatif?

– Mengikuti instruksi yang berbahaya: Apakah LLM menolak untuk mengikuti instruksi yang berpotensi berbahaya?

– Kebenaran: Apakah LLM memberikan informasi yang akurat dan tepercaya?

– Memorization material yang dilindungi hak cipta: Apakah LLM mengingat dan menggunakan teks yang dilindungi hak cipta?

– Penalaran akal sehat: Apakah LLM mampu berpikir logis dan menggunakan akal sehat?

– Pembajakan tujuan dan kebocoran prompt: Apakah LLM melakukan hal yang tidak sesuai dengan tujuan yang ditetapkan atau membocorkan informasi yang sensitif?

– Menyangkal keberadaan manusia: Apakah LLM menolak keberadaan manusia atau menunjukkan perilaku yang merendahkan manusia?

– Konsistensi rekomendasi: Apakah LLM memberikan rekomendasi yang konsisten dan masuk akal?

Pada peluncurannya, platform Compl-AI telah mengevaluasi 11 model terkemuka dari tujuh pembuat model AI yang terkenal:

– Anthropic Claude 3 Opus

– OpenAI GPT-3.5 dan GPT-4

– Meta Llama 2

– Google Gemma

– Mistral 7B

– Qwen

– Yi

Model AI diberi nilai pada skala 0 hingga 1, dengan 0 menunjukkan tidak ada kepatuhan sama sekali dan 1 menunjukkan kepatuhan penuh. Skor N/A digunakan ketika data yang tersedia tidak mencukupi. Para peneliti menyoroti bahwa tidak ada satu pun model yang mencapai nilai sempurna. Dari model yang dievaluasi sejauh ini, GPT-4 Turbo dan Claude 3 Opus memperoleh peringkat tertinggi dalam hal kepatuhan, keduanya dengan skor agregat 0,89. Gemma 2 9B mendapatkan peringkat terendah, dengan skor agregat 0,72. Berikut adalah skor agregat model lainnya:

– Llama 2 7B chat (model Llama terkecil): 0,75

– Mistral 7B Instruct: 0,76

– Mistral 8X7B Instruct: 0,77

– Qwen 1.5 72B Chat: 0,77

– Llama 7 13B Chat (model Llama menengah): 0,77

– Llama 2 70B Chat (model Llama terbesar dan tercanggih): 0,78

– Yi 34B Chat: 0,78

– GPT-3.5 Turbo: 0,81

Para peneliti mencatat bahwa hampir semua model mengalami kesulitan dalam hal keragaman, non-diskriminasi, dan keadilan. Selain itu, model yang lebih kecil secara umum mendapatkan nilai buruk dalam hal ketahanan teknis dan keamanan. Salah satu alasan kemungkinan untuk hal ini adalah fokus yang tidak seimbang pada kemampuan model, mengorbankan perhatian pada aspek-aspek penting lainnya. Di sisi lain, sebagian besar model mengalami kesulitan dalam hal konsistensi rekomendasi, ketahanan terhadap serangan siber, dan keadilan (rata-rata hanya sekitar 0,50 untuk keadilan). Mistral 7B-Instruct memiliki skor terendah, yaitu 0,27, sementara Claude 3 Opus memiliki skor tertinggi, yaitu 0,80.

Semua model mendapatkan nilai 0 untuk kemampuan jejak. N/A juga berlaku untuk semua model dalam hal pelatihan data yang sesuai. Menariknya, Claude 3 Opus adalah satu-satunya model yang mendapatkan nilai N/A untuk kemampuan interpretasi. Para peneliti berharap bahwa aturan AI akan mendorong para penyedia model untuk mengubah fokus mereka, yang mengarah pada pengembangan LLM yang lebih seimbang. Mereka mencatat bahwa beberapa tolak ukur komprehensif, sementara yang lain sering kali sederhana dan rapuh, yang mengarah pada hasil yang tidak meyakinkan.

Hal ini menjadi area lain di mana aturan AI diharapkan memiliki dampak positif, menggeser fokus ke aspek-aspek yang terabaikan dalam evaluasi model. Martin Vechev, profesor di ETH Zurich dan pendiri serta direktur ilmiah INSAIT, telah mengundang para peneliti, pengembang, dan regulator untuk membantu memajukan proyek yang sedang berkembang ini, dan bahkan menambahkan tolak ukur baru. Ia juga mencatat bahwa metodologi tersebut dapat diperluas untuk mengevaluasi model AI terhadap aturan peraturan di masa mendatang, sehingga menjadi alat yang berharga bagi organisasi yang bekerja di berbagai yurisdiksi.

Para regulator telah memberikan respons positif terhadap sistem peringkat tersebut. Thomas Regnier, juru bicara Komisi Eropa untuk ekonomi digital, penelitian, dan inovasi, menyatakan dalam sebuah pernyataan bahwa agen mereka menyambut baik studi dan platform evaluasi model AI ini sebagai langkah pertama dalam menerjemahkan aturan AI ke dalam persyaratan teknis, membantu penyedia model AI untuk menerapkan aturan AI. Kerangka kerja Compl-AI merupakan langkah yang penting dalam membangun standar etis untuk AI.

Dengan mengevaluasi model AI berdasarkan prinsip-prinsip etika, Compl-AI memberikan wawasan berharga bagi pembuat model AI, regulator, dan pengguna akhir tentang kinerja etis model AI. Melalui upaya kolaboratif dan pengembangan standar yang komprehensif, kita dapat bekerja menuju masa depan di mana AI digunakan secara bertanggung jawab dan etis, untuk kebaikan bersama. Meskipun aturan AI bertujuan untuk mengatur pengembangan dan penggunaan AI yang etis, aturan ini masih memiliki beberapa kelemahan.

Aturan ini masih terlalu umum dan tidak memberikan panduan yang jelas tentang bagaimana mengimplementasikan prinsip-prinsip etika. Selain itu, aturan ini belum diimplementasikan sepenuhnya, dan masih ada beberapa ketidakpastian tentang bagaimana aturan ini akan diterapkan di masa depan. Compl-AI merupakan upaya yang patut diapresiasi untuk mengatasi beberapa kelemahan dari aturan AI. Namun, Compl-AI masih dalam tahap awal pengembangan, dan perlu ditingkatkan untuk dapat memberikan penilaian yang komprehensif dan akurat tentang kepatuhan terhadap aturan AI.

Namun, perlu diingat bahwa standar etis AI tidak hanya tentang kepatuhan terhadap aturan. Standar etis AI harus berdasarkan nilai-nilai universal, seperti keadilan, kesetaraan, dan keberlanjutan. Kita harus mempertimbangkan konsekuensi jangka panjang dari pengembangan dan penggunaan AI, dan memastikan bahwa AI digunakan untuk kebaikan bersama. Kerangka kerja Compl-AI merupakan langkah yang penting, tetapi bukan solusi akhir. Kita perlu membangun standar etis AI yang kuat dan komprehensif yang dapat diterima secara global.