Google Lakukan Evaluasi Double-Blind, Uji Gemini Tanpa Bocorkan Soal

Google DeepMind menerapkan metode uji coba double-blind pertama untuk model kecerdasan buatan Gemini guna mengatasi masalah kontaminasi data dan inflasi skor benchmark. Berdasarkan aignan-dan-adrien-rabiot-disorot" class="internal-link">analisis Kabayan News, pendekatan inovatif ini dirancang agar pengembang model dan pihak evaluator sama-sama tidak dapat mengakses data sensitif milik satu sama lain.

Seiring berkembangnya dataset publik, kekhawatiran mengenai kebocoran soal ujian semakin meningkat di industri teknologi. Penelitian menunjukkan bahwa kontaminasi data dapat mendongkrak skor kemampuan model secara tidak wajar, terutama pada model berukuran besar yang kerap dipertanyakan keaslian peningkatan performanya.

Pengujian percontohan ini melibatkan model Gemini 2.5 Flash Lite yang diuji menggunakan kumpulan data privat dari MLCommons serta Singapore AI Safety Institute. Sebagaimana dilaporkan, pengujian dilakukan dengan menyembunyikan bobot model dari pihak evaluator sekaligus menjaga kerahasiaan soal ujian dari pihak Google.

Infrastruktur keamanan tersebut mengandalkan teknologi Google Cloud Confidential Space yang dipadukan dengan NVIDIA H100 Confidential GPU serta enkripsi memori host Intel TDX. Melalui sistem ini, seluruh proses evaluasi berlangsung di dalam lingkungan terisolasi yang aman dari potensi kebocoran data.

Meskipun sistem ini mengurangi kebutuhan kepercayaan penuh antarpihak, tantangan teknis dan administratif tetap ada. Riset mencatat bahwa hambatan terbesar dalam implementasi skala luas bukan berasal dari kapasitas komputasi, melainkan proses peninjauan kode serta penyusunan perjanjian hukum antarorganisasi.