Saat ini, kecerdasan buatan dapat menghasilkan gambar fotorealistik, menulis novel, mengerjakan pekerjaan rumah Anda, dan bahkan memprediksi struktur protein. Penelitian baru, bagaimanapun, mengungkapkan bahwa itu sering gagal pada tugas yang sangat mendasar: waktu yang menceritakan.
Para peneliti di Universitas Edinburgh telah menguji kemampuan tujuh model bahasa multimoda besar yang terkenal-jenis AI yang dapat menafsirkan dan menghasilkan berbagai jenis media-untuk menjawab pertanyaan terkait waktu berdasarkan berbagai gambar jam atau kalender. Studi mereka, yang akan datang pada bulan April dan saat ini di -host di pracrint server ARXIV, menunjukkan bahwa LLMS mengalami kesulitan dengan tugas -tugas dasar ini.
ADVERTISEMENT
SCROLL TO RESUME CONTENT
“Kemampuan untuk menafsirkan dan bernalar tentang waktu dari input visual sangat penting untuk banyak aplikasi dunia nyata-mengalihkan dari penjadwalan acara ke sistem otonom,” tulis para peneliti dalam penelitian ini. “Meskipun ada kemajuan dalam model bahasa besar multimodal (MLLM), sebagian besar pekerjaan berfokus pada deteksi objek, keterangan gambar, atau pemahaman adegan, membuat inferensi temporal tidak dieksplorasi.”
Tim menguji GPT-4O dan GPT-O1 Openai; Google Deepmind's Gemini 2.0; Antropik Claude 3.5 sonnet; Llama Meta 3.2-11b-Vision-Instruct; Qwen2-vl7b-instruct Alibaba; dan minicpm-v-2.6 Modelbest. Mereka memberi makan model gambar yang berbeda dari jam analog – penjaga waktu dengan angka Romawi, warna dial yang berbeda, dan bahkan beberapa kehilangan tangan detik – serta 10 tahun gambar kalender.
Untuk gambar jam, para peneliti bertanya kepada LLMS, wWaktu topi ditampilkan pada jam pada gambar yang diberikan? Untuk gambar kalender, para peneliti mengajukan pertanyaan sederhana seperti, wHat Day dalam seminggu adalah Hari Tahun Baru? dan pertanyaan yang lebih sulit termasuk wtopi adalah hari ke -153 tahun ini?
“Pembacaan jam analog dan pemahaman kalender melibatkan langkah-langkah kognitif yang rumit: mereka menuntut pengenalan visual berbutir halus (misalnya, posisi clock-hand, tata letak sel hari) dan penalaran numerik non-sepele (misalnya, menghitung offset hari),” jelas para peneliti.
Secara keseluruhan, sistem AI tidak berkinerja baik. Mereka membaca waktu pada jam analog dengan benar kurang dari 25% dari waktu. Mereka berjuang dengan jam yang memiliki angka Romawi dan tangan bergaya sebanyak yang mereka lakukan dengan jam yang tidak memiliki tangan detik sama sekali, menunjukkan bahwa masalah tersebut dapat berasal dari mendeteksi tangan dan menafsirkan sudut pada wajah jam, menurut para peneliti.
Google Gemini-12.0 mendapat skor tertinggi pada tugas jam tim, sementara GPT-O1 akurat pada tugas kalender 80% dari waktu-hasil yang jauh lebih baik daripada para pesaingnya. Tetapi bahkan kemudian, MLLM paling sukses pada tugas kalender masih membuat kesalahan sekitar 20% dari waktu.
“Kebanyakan orang dapat mengatakan waktu dan menggunakan kalender sejak usia dini. Temuan kami menyoroti kesenjangan yang signifikan dalam kemampuan AI untuk melaksanakan keterampilan yang cukup mendasar bagi orang-orang, ”Rohit Saxena, rekan penulis penelitian dan mahasiswa PhD di School of Informatics University of Edinburgh, mengatakan dalam pernyataan universitas. “Kekurangan ini harus diatasi jika sistem AI berhasil diintegrasikan ke dalam aplikasi dunia nyata yang peka terhadap waktu, seperti penjadwalan, otomatisasi dan teknologi bantuan.”
Jadi, sementara AI mungkin dapat menyelesaikan pekerjaan rumah Anda, jangan mengandalkannya tetap pada tenggat waktu apa pun.
RakyatPos.ID Network
