Metrik SAFE AI: Simulasi Interaktif

PENGANTAR

Metrik SAFE AI

AI yang baik harus SAFE: Secure (aman), Accountable (bisa dipertanggungjawabkan), Fair (adil), dan Explainable (bisa dijelaskan). Empat sifat ini hanya bermakna kalau bisa diukur dengan angka. Halaman ini menunjukkan caranya lewat tiga paper, dengan simulasi yang bisa kamu mainkan sendiri.

Beberapa AI belajar sendiri dari jutaan data tanpa kunci jawaban manusia (self-supervised learning). Risikonya: AI ikut menyimpan bias dari data, misalnya bisa menebak gender seseorang padahal tidak diminta. SoFCLR melatih AI lewat permainan tarik-menarik: satu sisi menyembunyikan info sensitif, satu sisi mencoba menebaknya.

Analogi: seperti anak yang belajar dari internet tanpa pengawasan, AI bisa ikut menyerap prasangka dari data.

Model sekelas ChatGPT diuji pada 8 aspek kepercayaan. Salah satu yang paling penting: jailbreak, yaitu trik mengakali AI agar melanggar aturannya. Coba kirim prompt di bawah, dengan dan tanpa pertahanan.

Analogi: seperti satpam yang sopan menolak tamu tak dikenal, tapi bisa tertipu kalau tamu memakai seragam palsu.

HELM menilai banyak model dengan banyak ukuran sekaligus, jadi kelebihan dan kekurangan tiap model kelihatan. Salah satu cara mengukur ketahanan dan keadilan adalah memberi gangguan kecil (typo atau ubah dialek), lalu melihat nilai terburuknya. Coba nyalakan.

Analogi: seperti rapor sekolah dengan banyak mata pelajaran, supaya semua murid dinilai dengan ukuran yang sama.

REFERENSI