Alat forensik 'menghidupkan kembali' 'otak' AIS yang gagal untuk memahami apa yang salah

Sistem AI dapat tidak berfungsi karena cacat desain teknis atau data pelatihan yang bias. Mereka juga dapat menderita kerentanan dalam kode mereka, yang dapat dieksploitasi oleh peretas jahat. Mengisolasi penyebab kegagalan AI sangat penting untuk memperbaiki sistem.

ADVERTISEMENT

SCROLL TO RESUME CONTENT

Tetapi sistem AI biasanya buram, bahkan bagi pencipta mereka. Tantangannya adalah bagaimana menyelidiki sistem AI setelah mereka gagal atau menjadi korban menyerang. Ada teknik untuk memeriksa sistem AI, tetapi mereka memerlukan akses ke data internal sistem AI. Akses ini tidak dijamin, terutama bagi para peneliti forensik yang dipanggil untuk menentukan penyebab kegagalan sistem AI yang berpemilik, membuat investigasi tidak mungkin.

Kami adalah ilmuwan komputer yang mempelajari forensik digital. Tim kami di Georgia Institute of Technology telah membangun sistem, AI Psychiatry, atau AIP, yang dapat menciptakan kembali skenario di mana AI gagal untuk menentukan apa yang salah. Sistem ini membahas tantangan forensik AI dengan memulihkan dan “menghidupkan kembali” model AI yang dicurigai sehingga dapat diuji secara sistematis.

Ketidakpastian AI

Bayangkan mobil self-driving membelok keluar jalan tanpa alasan yang mudah dilihat dan kemudian jatuh. Log dan data sensor mungkin menunjukkan bahwa kamera yang salah menyebabkan AI salah menafsirkan tanda jalan sebagai perintah untuk berbelok. Setelah kegagalan misi-kritis seperti kecelakaan kendaraan otonom, para penyelidik perlu menentukan dengan tepat apa yang menyebabkan kesalahan.

Apakah kecelakaan itu dipicu oleh serangan jahat pada AI? Dalam kasus hipotetis ini, kesalahan kamera bisa menjadi hasil dari kerentanan keamanan atau bug dalam perangkat lunaknya yang dieksploitasi oleh peretas. Jika peneliti menemukan kerentanan seperti itu, mereka harus menentukan apakah itu menyebabkan kecelakaan itu. Tetapi membuat tekad itu bukanlah prestasi kecil.

Meskipun ada metode forensik untuk memulihkan beberapa bukti dari kegagalan drone, kendaraan otonom dan sistem fisik cyber lainnya, tidak ada yang dapat menangkap petunjuk yang diperlukan untuk sepenuhnya menyelidiki AI dalam sistem itu. AIS tingkat lanjut bahkan dapat memperbarui pengambilan keputusan mereka-dan akibatnya petunjuk-terus menerus, sehingga tidak mungkin untuk menyelidiki model terbaru dengan metode yang ada.

Patologi untuk AI

AI Psychiatry menerapkan serangkaian algoritma forensik untuk mengisolasi data di balik pengambilan keputusan sistem AI. Potongan -potongan ini kemudian dipasang kembali menjadi model fungsional yang berkinerja identik dengan model asli. Penyelidik dapat “menghidupkan kembali” AI di lingkungan yang terkontrol dan mengujinya dengan input jahat untuk melihat apakah itu menunjukkan perilaku berbahaya atau tersembunyi.

AI Psychiatry menerima sebagai input gambar memori, snapshot dari bit dan byte dimuat ketika AI beroperasi. Gambar memori pada saat kecelakaan dalam skenario kendaraan otonom memiliki petunjuk penting tentang keadaan internal dan proses pengambilan keputusan AI yang mengendalikan kendaraan. Dengan psikiatri AI, peneliti sekarang dapat mengangkat model AI yang tepat dari memori, membedah bit dan byte, dan memuat model ke lingkungan yang aman untuk pengujian.

Tim kami menguji psikiatri AI pada 30 model AI, 24 di antaranya dengan sengaja “kembali” untuk menghasilkan hasil yang salah di bawah pemicu tertentu. Sistem ini berhasil dapat memulihkan, mengulang dan menguji setiap model, termasuk model yang biasa digunakan dalam skenario dunia nyata seperti pengenalan jalanan di kendaraan otonom.

Sejauh ini, tes kami menunjukkan bahwa psikiatri AI dapat secara efektif menyelesaikan misteri digital di balik kegagalan seperti kecelakaan mobil otonom yang sebelumnya akan meninggalkan lebih banyak pertanyaan daripada jawaban. Dan jika tidak menemukan kerentanan dalam sistem AI mobil, AI Psychiatry memungkinkan penyelidik untuk mengesampingkan AI dan mencari penyebab lain seperti kamera yang salah.

Bukan hanya untuk kendaraan otonom

Algoritma utama AI Psychiatry adalah generik: ia berfokus pada komponen universal yang harus semua model AI harus membuat keputusan. Ini membuat pendekatan kami mudah diperpanjang untuk setiap model AI yang menggunakan kerangka kerja pengembangan AI yang populer. Siapa pun yang bekerja untuk menyelidiki kemungkinan kegagalan AI dapat menggunakan sistem kami untuk menilai model tanpa pengetahuan sebelumnya tentang arsitektur yang tepat.

Apakah AI adalah bot yang membuat rekomendasi produk atau sistem yang memandu armada drone otonom, psikiatri AI dapat memulihkan dan memulihkan AI untuk dianalisis. Psikiatri AI sepenuhnya open source untuk digunakan oleh penyelidik.

Psikiatri AI juga dapat berfungsi sebagai alat yang berharga untuk melakukan audit pada sistem AI sebelum masalah muncul. Dengan lembaga pemerintah dari penegakan hukum ke layanan perlindungan anak yang mengintegrasikan sistem AI ke dalam alur kerja mereka, audit AI menjadi persyaratan pengawasan yang semakin umum di tingkat negara bagian. Dengan alat seperti psikiatri AI di tangan, auditor dapat menerapkan metodologi forensik yang konsisten di berbagai platform dan penyebaran AI.

Dalam jangka panjang, ini akan membayar dividen yang bermakna baik untuk pencipta sistem AI dan semua orang yang terkena dampak tugas yang mereka lakukan.

David Oygenlik, Ph.D. Siswa di bidang Teknik Listrik dan Komputer, Institut Teknologi Georgia dan Brendan Saltaformaggio, Associate Professor Cybersecurity and Privacy, dan Teknik Listrik dan Komputer, Institut Teknologi Georgia

Artikel ini diterbitkan ulang dari percakapan di bawah lisensi Creative Commons. Baca artikel asli.