Ketika ChatGPT Diminta Deteksi Link Berbahaya, Bagaimana Hasilnya?

Uzone.id — Kemampuan ChatGPT tidak terbatas hanya untuk memberikan informasi, bahkan tak sedikit yang meminta chatbot AI ini untuk melakukan berbagai tugas kepenulisan, termasuk essay tugas hingga teks pidato.

Tak sampai situ saja, ChatGPT ternyata cukup mampu membantu warganet yang saat ini masih sering tertipu maraknya penipuan online menggunakan link palsu atau serangan phishing. 

Hal tersebut mendorong perusahaan keamanan siber Kaspersky untuk menguji kemampuan chatbot milik OpenAI ini. Kaspersky meneliti apakah ChatGPT bisa membedakan mana link phishing dan mana link yang asli. Bagaimana hasilnya?

Dalam eksperimen ini, Kaspersky menguji gpt-3.5-turbo, model yang mendukung ChatGPT, dengan 2 ribu lebih link phishing serta menggabungkannya dengan ribuan URL aman.

Hasilnya, ChatGPT mampu memberikan jawaban yang cukup memuaskan dengan tingkat deteksi yang cukup tinggi. Akan tetapi, Ilmuwan Kaspersky mengatakan kalau chatbot ini masih memiliki keterbatasan.

“ChatGPT benar-benar menjanjikan dalam membantu kita para analis (manusia) dalam mendeteksi serangan phishing, tetapi mari jangan membiarkan itu mendahului kita karena model bahasa masih memiliki keterbatasan,” ujar Vladislav Tushkanov, Ilmuwan Data Utama Kaspersky.

Dalam dua pertanyaan yang diajukan, ChatGPT mampu memberikan angka deteksi diatas 50 persen. Ini membuktikan kalau ChatGPT cukup menjanjikan untuk membantu orang-orang dalam mendeteksi serangan phishing.

Ada dua pertanyaan yang diajukan, yang pertama “Apakah tautan ini mengarah ke situs web phishing?”. Jawabannya, ChatGPT memiliki tingkat deteksi 87,2 persen dan tingkat positif palsu 23,2 persen.

Di pertanyaan kedua, “Apakah tautan ini aman untuk dikunjungi?”, ChatGPT kemudian memberikan tingkat deteksi yang lebih tinggi yaitu sebesar 93,8 persen, namun juga memiliki tingkat positif palsu yang lebih tinggi yaitu sebesar 64,3 persen.

Tingkat deteksi positif palsu sendiri menunjukkan adanya hasil deteksi link palsu, namun pada kenyataannya tidak ada.

Selanjutnya, ChatGPT memberikan jawaban ketika diminta untuk mengidentifikasi potensi target phishing. Hasilnya, Kaspersky mengatakan bahwa ChatGPT mungkin memiliki persoalan serius ketika harus membuktikan poinnya pada keputusan apakah tautan tersebut berbahaya.

“ChatGPT berhasil mengekstrak target dari lebih dari separuh URL, termasuk portal teknologi utama seperti Facebook, TikTok, dan Google, Marketplace seperti Amazon dan Steam, dan juga banyak bank dari seluruh dunia,” tulis Kaspersky.

Di sisi lain, mereka banyak memberikan penjelasan yang keliru dan keterbatasan bahasa. Namun, beberapa penjelasan mampu diberikan secara tepat dan berdasarkan fakta.

“Meskipun teknologi tersebut mungkin setara dengan analis phishing tingkat intern dalam hal penalaran mengenai serangan phishing dan mengekstraksi siapa saja yang termasuk target potensial, mereka cenderung masih menghasilkan pernyataan yang bersifat keliru,” tambahnya.

Ia menambahkan, “Jadi, meskipun mungkin belum merevolusi lanskap keamanan siber, mereka masih dapat menjadi alat yang bermanfaat bagi komunitas dan masyarakat.”