11 Model AI Multimodal Diadu Membaca Kasus Gigi: Siapa Terakurat?

Sebelas model multimodal diuji terhadap 140 soal Ujian Kompetensi Mahasiswa Program Profesi Dokter Gigi yang mencakup 14 departemen, menghasilkan 1.540 observasi Aghasy, 2026 · Tahap 1.

Papan peringkat

Menyusul Gemini 66,4% dan DeepSeek 63,6%. Kelompok sumber terbuka tertinggal cukup jauh: Mistral 55,0% · Medgemma 52,9% · Gemma 47,9% · Llama 42,1% · Llava 30,7% · Qwen 29,3%.

Jurang API vs sumber terbuka

Rata-rata model berbayar melalui API mencapai 67,9%, sementara model sumber terbuka 43,0% — selisih 24,9 poin persentase yang signifikan secara statistik (χ² = 95,2; p < 0,001; V = 0,249).

Yang tak terduga: cepat tidak berarti ceroboh

Durasi median sangat bervariasi — Gemini tercepat dengan 6 detik, Claude 33 detik, Grok 100 detik. Namun korelasi antara akurasi dan durasi hanya ρ = 0,055: praktis nol.

"Tidak ada trade-off antara kecepatan dan ketepatan. Model yang lambat tidak otomatis berpikir lebih baik."

Sebaran antardepartemen

Akurasi total 54,3% menyembunyikan keragaman besar: Oral Biologi 73,6% di puncak, Ortodonsia 34,5% di dasar. Temuan ini menjadi dasar keputusan memilih Claude sebagai mesin CDSS pada tahap penelitian berikutnya.