Whisper OpenAI Dikritik Peneliti, Akibat Terlalu Halu
Sumber: Unsplash/National Cancer Institute
Uzone.id - Eksistensi Whisper milik OpenAI di dunia medis belum lama ini dikecam oleh para peneliti dari beberapa universitas ternama dunia. Peneliti dari Universitas Cornell, Washington, dan Michigan mengklaim Whisper di dunia medis terlalu ‘mengarang’.
Whisper sendiri merupakan sistem automatic speech recognition (ASR) yang dapat mentranskripsikan ucapan audio maupun video menjadi sebuah teks. Tidak hanya itu, Whisper juga dapat menerjemahkan ucapan dari bahasa apapun yang didukungnya menjadi teks bahasa inggris.Lebih lanjut, kantor berita nirlaba di New York, The Associated Press (AP) mengungkapkan sebuah laporan tentang Whisper milik OpenAI. Dalam laporan tersebut, mereka menyebut terjadi kesalahan dalam transkripsi yang dibuat oleh Whisper dalam lingkup medis.
Laporan oleh AP ini, dibuka dengan kasus milik perusahaan bernama Nabla yang telah menggunakan Whisper untuk mentranskripsikan tujuh juta percakapan medis. AP menyebut, lebih dari dari 30.000 dokter dan 40 sistem kesehatan menggunakannya dengan sebagian besar hasil transkripsi memiliki masalah ‘halusinasi’.
Maksudnya, istilah ‘halusinasi’ ini digunakan untuk menggambarkan hasil transkripsi atau teks dari Whisper yang tidak diinginkan, tidak masuk akal, atau tidak bersumber dari ucapan yang dilontarkan.
Dilansir dari The Verge, Whisper cenderung membuat potongan teks atau bahkan seluruh kalimat yang mencakup komentar rasial hingga retorika kekerasan.
Sekelompok peneliti dari Universitas Cornell, Universitas Washington, dan lainnya memaparkan temuan mereka dalam uji coba yang dipresentasikan dalam konferensi Association for Computing Machinery FAccT bulan Juni lalu.
Peneliti memaparkan bahwa, “Meskipun banyak transkripsi Whisper sangat akurat, kami menemukan bahwa sekitar satu persen transkripsi audio mengandung seluruh frasa atau kalimat halusinasi yang tidak ada dalam bentuk apapun dalam audio yang mendasarinya. 38 persen halusinasi mencakup bahaya yang nyata seperti melakukan kekerasan, membuat asosiasi yang tidak akurat, atau menyiratkan otoritas yang salah.”
Hal ini tentu membuat beberapa peneliti merasa resah terhadap sistem ASR milik OpenAI ini. Dimana, para ahli mengecam OpenAI karena eksistensi Whisper yang banyak digunakan di sektor-sektor vital, seperti medis.
Peneliti menyayangkan ketergesaan pusat medis dalam memanfaatkan alat berbasis Whisper untuk menyalin konsultasi antara dokter dan pasien.
Tidak hanya itu, peneliti dari Universitas Michigan juga turut melakukan uji coba terhadap Whisper dan menemukan halusinasi dalam delapan dari setiap 10 transkripsi audio yang dia periksa.
Sejalan dengan hal tersebut, Alondra Nelson selaku pemimpin di Kantor Kebijakan Sains dan Teknologi Gedung Putih pada pemerintahan Biden hingga tahun lalu, mengatakan bahwa fenomena ini dapat menimbulkan konsekuensi yang sangat serius.
“Tidak seorang pun menginginkan kesalahan diagnosis,” kata Nelson yang juga seorang profesor di Institute for Advanced Study di Princeton, New Jersey. “Harusnya ada standar yang lebih tinggi.
Merespon kasus tersebut, pihak OpenAI memberikan pernyataan dengan menuliskan bahwa perusahaan terus mempelajari cara mengurangi halusinasi dan menghargai temuan para peneliti, serta memperingatkan bahwa alat tersebut tidak boleh digunakan di domain yang berisiko tinggi.
“Kami menanggapi masalah ini dengan serius dan terus berupaya untuk meningkatkannya, termasuk mengurangi halusinasi. Untuk penggunaan Whisper pada platform API kami, kebijakan penggunaan kami melarang penggunaan dalam konteks pengambilan keputusan berisiko tinggi tertentu, dan kartu model kami untuk penggunaan sumber terbuka mencakup rekomendasi terhadap penggunaan dalam domain berisiko tinggi,” tulis juru bicara OpenAI, Taya Christianson melalui email langsung ke The Verge.
“Kami berterima kasih kepada para peneliti karena telah membagikan temuan mereka.” tutup mereka.
Related Article