Penelitian baru menunjukkan: Kemampuan AI mungkin dibesar-besarkan karena pengujian yang memiliki kekurangan

Data Jitu 11 November: Sebuah studi baru menunjukkan bahwa metode penilaian kemampuan sistem kecerdasan buatan sering kali melebih-lebihkan kinerja AI dan kurang memiliki keakuratan ilmiah. Studi ini dipimpin oleh Oxford Internet Institute dan melibatkan lebih dari tiga puluh peneliti dari berbagai lembaga. Mereka meninjau 445 pengujian AI terkemuka (disebut sebagai benchmark), yang umum digunakan untuk mengukur performa model AI di berbagai bidang topik. Penelitian ini menunjukkan bahwa pengujian dasar ini mungkin kurang dapat diandalkan dan mempertanyakan validitas hasil dari banyak benchmark tersebut.

Studi ini menyatakan bahwa banyak benchmark top-tier gagal menjelaskan tujuan pengujiannya secara jelas, dan ada kekhawatiran tentang penggunaan data dan metode pengujian yang sama berulang kali. Selain itu, sangat jarang digunakan metode statistik yang andal untuk membandingkan hasil dari berbagai model. Adam Mahdi, peneliti senior di Oxford Internet Institute dan penulis utama studi ini, berpendapat bahwa benchmark ini berpotensi menyesatkan dan menyatakan, “Ketika kita meminta model AI untuk melakukan tugas tertentu, apa yang sebenarnya kita ukur sering kali adalah konsep atau konstruk yang berbeda sama sekali dari tujuan asli.” Penulis utama lainnya juga berpendapat bahwa bahkan benchmark yang memiliki reputasi kuat sering kali diikuti dengan kepercayaan buta, dan perlu dilakukan peninjauan yang lebih mendalam.