Dari soal ujian ke kasus sungguhan
Benchmark pertama tim ini mengadu 11 model pada 140 soal UKMP2DG — soal pilihan ganda yang jawabannya pasti. Makalah terbaru di jurnal IJACSA melangkah lebih jauh: bagaimana bila AI diminta menyusun rencana tata laksana untuk kasus nyata, yang jawabannya berupa narasi klinis dan tidak pernah persis sama antara dua dokter? Aghasy dkk., 2026
Untuk itu dipakai 116 laporan kasus yang terbit di jurnal Case Reports in Dentistry (2024–2025), mencakup sembilan spesialisasi kedokteran gigi. Claude Opus 4.5 diminta menyusun rekomendasi tata laksana untuk setiap kasus, lalu jawabannya dibandingkan dengan penanganan yang benar-benar dipublikasikan penulis kasusnya.
Mengukur kemiripan makna, bukan kemiripan kata
Membandingkan dua teks klinis tidak bisa dengan mencocokkan kata demi kata — "ekstraksi gigi 36" dan "pencabutan molar pertama kiri bawah" adalah tindakan yang sama. Penelitian ini memakai BERT Score: metrik yang menilai kemiripan makna memakai model bahasa RoBERTa-large sebagai pembanding semantik.
Rerata 0,8199 (interval kepercayaan 95%: 0,8172–0,8225) melampaui ambang 0,80 secara signifikan — artinya rekomendasi model secara konsisten sejajar makna dengan tata laksana yang dipublikasikan.
Konsisten lintas spesialisasi
Yang sering dikhawatirkan dari AI klinis adalah kinerjanya timpang: cakap di satu bidang, payah di bidang lain. Analisis lintas sembilan spesialisasi tidak menemukan perbedaan bermakna (Kruskal-Wallis H=3,07; p=0,879) — kinerjanya merata, dari bedah mulut sampai kedokteran gigi anak.
Temuan yang menarik: berpikir lama ≠ berpikir benar
Ada korelasi negatif antara skor dan lama respons (ρ=−0,371; p<0,001): jawaban yang makin lama disusun justru cenderung makin melenceng. Pola ini menarik disandingkan dengan benchmark UKMP2DG sebelumnya yang tidak menemukan hubungan akurasi–durasi — pada tugas menyusun narasi, "berpikir kelamaan" tampaknya membuka ruang melantur.
"Skor 0,82 bukan izin melepas pengawasan — ia alasan untuk mengawasi dengan cara yang lebih cerdas."
Apa artinya bagi praktik
Dua benchmark kini saling melengkapi: pada soal berjawaban pasti Claude terakurat (71,4%), dan pada kasus naratif rekomendasinya sejajar dengan literatur. Keduanya menunjuk arah yang sama — AI layak menjadi pendamping keputusan di layanan primer, dengan keputusan akhir tetap di tangan dokter. Metodologi BERT Score-nya sendiri dapat direproduksi untuk menguji model lain, dan itulah sumbangan metodologis utama makalah ini.
Cara Mengutip Artikel Ini
Pilih gaya selingkung yang diminta jurnal atau institusi Anda.
Achmad Zam Zam Aghasy (2026, 7 Agustus 2026). Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82. kedokterangigi.ai. https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45
Achmad Zam Zam Aghasy (2026) Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82. kedokterangigi.ai. Tersedia di: https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45 (Diakses: 14 AGU 2026).
Achmad Zam Zam Aghasy. Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82 [Internet]. kedokterangigi.ai; 2026 [dikutip 2026 Aug 14]. Tersedia dari: https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45
Achmad Zam Zam Aghasy, "Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82," kedokterangigi.ai, 7 AGU 2026. [Daring]. Tersedia: https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45 [Diakses: 14 AGU 2026].
Achmad Zam Zam Aghasy. 2026. "Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82." kedokterangigi.ai. Diakses 14 AGU 2026. https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45.
Mengutip Karya Ilmiah di Dalam Artikel Ini
Artikel ini merangkum 1 karya ilmiah. Bila Anda sudah membaca naskah aslinya, kutiplah secara langsung — itulah yang dianjurkan semua gaya selingkung. Bentuk “dalam” (sitasi sekunder, kadang ditulis cit.) hanya dipakai bila naskah aslinya benar-benar tidak dapat Anda akses.
Aghasy, A. Z. Z, Lazuardi, M. L. & Josef, H. K. (2026). Benchmarking Large Language Models for Dental Clinical Decision Support: A BERT Score Analysis of Claude Opus 4.5. International Journal of Advanced Computer Science and Applications (IJACSA), 17(1) https://doi.org/10.14569/IJACSA.2026.0170158
Dalam teks: (Aghasy dkk., 2026, sebagaimana dikutip dalam Achmad Zam Zam Aghasy, 2026)
Daftar pustaka: Achmad Zam Zam Aghasy (2026, 7 Agustus 2026). Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82. kedokterangigi.ai. https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45
APA 7 §8.6: cantumkan sumber perantara di daftar pustaka, dan sebut sumber aslinya hanya di dalam teks.
Aghasy, A.Z.Z, Lazuardi, M.L. dan Josef, H.K. (2026) Benchmarking Large Language Models for Dental Clinical Decision Support: A BERT Score Analysis of Claude Opus 4.5, International Journal of Advanced Computer Science and Applications (IJACSA), 17(1), https://doi.org/10.14569/IJACSA.2026.0170158
Dalam teks: Aghasy dkk. (2026, dikutip dalam Achmad Zam Zam Aghasy, 2026)
Daftar pustaka: Achmad Zam Zam Aghasy (2026) Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82. kedokterangigi.ai. Tersedia di: https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45 (Diakses: 14 AGU 2026).
Harvard mencantumkan hanya sumber yang benar-benar Anda baca di daftar pustaka — yaitu artikel ini.
Aghasy AZZ, Lazuardi ML, Josef HK. Benchmarking Large Language Models for Dental Clinical Decision Support: A BERT Score Analysis of Claude Opus 4.5. International Journal of Advanced Computer Science and Applications (IJACSA). 2026;17(1) doi:10.14569/IJACSA.2026.0170158
Dalam teks: Aghasy dkk. [dikutip dalam ref. n]
Daftar pustaka: Achmad Zam Zam Aghasy. Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82 [Internet]. kedokterangigi.ai; 2026 [dikutip 2026 Aug 14]. Tersedia dari: https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45
Vancouver menganjurkan mengutip naskah asli secara langsung. Sitasi sekunder dipakai hanya bila naskah aslinya benar-benar tidak dapat diakses.
A. Z. Z. Aghasy, M. L. Lazuardi dan H. K. Josef, "Benchmarking Large Language Models for Dental Clinical Decision Support: A BERT Score Analysis of Claude Opus 4.5," International Journal of Advanced Computer Science and Applications (IJACSA), vol. 17, no. 1, 2026. https://doi.org/10.14569/IJACSA.2026.0170158
Dalam teks: Aghasy dkk. [dikutip dalam [n]]
Daftar pustaka: Achmad Zam Zam Aghasy, "Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82," kedokterangigi.ai, 7 AGU 2026. [Daring]. Tersedia: https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45 [Diakses: 14 AGU 2026].
IEEE bernomor; nomor [n] mengikuti urutan kemunculan pada naskah Anda.
Aghasy, A. Z. Z, Lazuardi, M. L. & Josef, H. K. 2026. "Benchmarking Large Language Models for Dental Clinical Decision Support: A BERT Score Analysis of Claude Opus 4.5." International Journal of Advanced Computer Science and Applications (IJACSA) 17(1): https://doi.org/10.14569/IJACSA.2026.0170158
Dalam teks: Aghasy dkk. (2026), dikutip dalam Achmad Zam Zam Aghasy (2026)
Daftar pustaka: Achmad Zam Zam Aghasy. 2026. "Riset Terbaru: Claude Opus 4.5 Diuji pada 116 Laporan Kasus Gigi, Skor BERT Tembus 0,82." kedokterangigi.ai. Diakses 14 AGU 2026. https://kedokterangigiai.curagi.io/artikel/benchmark-bert-score-claude-opus-45.
Chicago menuliskan sumber perantara di daftar pustaka, bukan sumber aslinya.