Implementation of Naive Bayes Method and Natural Language Processing in Web-Based Online Hoax News Detection System

Mohammad Ainur Rofiqi; Ahmad Heru Mujianto

doi:10.32664/smatika.v16i02.2338

Penulis

Mohammad Ainur Rofiqi Universitas Hasyim Asy`ari Tebuireng Jombang, Indonesia
Ahmad Heru Mujianto Universitas Hasyim Asy’ari Tebuireng Jombang, Indonesia

DOI:

https://doi.org/10.32664/smatika.v16i02.2338

Kata Kunci:

Deteksi Hoax; Naive Bayes; Natural Language Processing; TF-IDF; Sistem Berbasis Web

Abstrak

Pesatnya pertumbuhan media digital di Indonesia telah mempercepat penyebaran berita hoax yang menimbulkan ancaman serius terhadap kepercayaan publik dan stabilitas sosial. Berdasarkan data Kementerian Komunikasi dan Informatika Republik Indonesia, sebanyak 12.547 konten hoax teridentifikasi sejak 2018 hingga 2023, sementara 1.923 konten hoax baru muncul sepanjang tahun 2024 saja. Penelitian ini bertujuan merancang dan membangun sistem deteksi berita hoax berbasis web dengan mengimplementasikan algoritma Multinomial Naive Bayes yang dikombinasikan dengan teknik Natural Language Processing (NLP). Sistem memproses teks melalui lima tahap NLP: pemisahan kalimat, case folding, tokenisasi, penghapusan stopword, dan stemming menggunakan PySastrawi. Pembobotan fitur dilakukan menggunakan TF-IDF (Term Frequency–Inverse Document Frequency), sedangkan klasifikasi dijalankan menggunakan algoritma Multinomial Naive Bayes yang diperkuat dengan Laplace Smoothing dan Log Posterior Probability. Keluaran dikonversi menggunakan fungsi Softmax untuk menghasilkan persentase probabilitas bagi setiap kalimat. Simulasi perhitungan manual menggunakan 10 kalimat pelatihan dan satu narasi uji berisi empat kalimat dilakukan untuk memverifikasi algoritma. Sistem berhasil mengklasifikasikan narasi uji sebagai hoax dengan probabilitas 62,00% hoax dan 38,00% non-hoax, konsisten dengan label sebenarnya. Sistem dievaluasi menggunakan Confusion Matrix pada dataset uji sebanyak 50 kalimat, menghasilkan Akurasi 90,00%, Presisi 91,67%, Recall 88,00%, dan F1-Score 89,80%. Sistem yang dihasilkan menyediakan alat praktis bagi masyarakat untuk memverifikasi kredibilitas informasi berita di era digital.

Biografi Penulis

Ahmad Heru Mujianto, Universitas Hasyim Asy’ari Tebuireng Jombang, Indonesia

Department of Informatics Engineering, Universitas Hasyim Asy’ari Tebuireng Jombang.

Referensi

[1] Asosiasi Penyelenggara Jasa Internet Indonesia, “Jumlah pengguna internet Indonesia tembus 221 juta orang,” 2024.

[2] Kementerian Komunikasi dan Informatika Republik Indonesia, “Siaran Pers No. 02/HM/KOMINFO/01/2024 tentang Hingga Akhir Tahun 2023, Kominfo Tangani 12.547 Isu Hoaks,” 2024.

[3] Kementerian Komunikasi dan Digital Republik Indonesia, “Komdigi Identifikasi 1.923 Konten Hoaks Sepanjang Tahun 2024,” 2025.

[4] H. Allcott and M. Gentzkow, “Social Media and Fake News in the 2016 Election,” J. Econ. Perspect., vol. 31, no. 2, pp. 211–236, 2017, doi: 10.1257/jep.31.2.211.

[5] S. Vosoughi, D. Roy, and S. Aral, “The spread of true and false news online,” Science (80-. )., vol. 359, no. 6380, pp. 1146–1151, 2018, doi: 10.1126/science.aap9559.

[6] C. Pelau, M. I. Pop, M. Stanescu, and G. Sanda, “The Breaking News Effect and Its Impact on the Credibility and Trust in Information Posted on Social Media,” Electronics, vol. 12, no. 2, 2023, doi: 10.3390/electronics12020423.

[7] S. H. Daulay, D. N. Aulia, and N. A. Zahra, “Framing The Lie: A Linguistic Analysis of Viral Fake News Discourse,” BASIS J. Bhs. dan Sastra Ingg., vol. 12, no. 2, pp. 253–264, 2025, doi: 10.33884/basisupb.v12i2.10000.

[8] R. R. Sani, Y. A. Pratiwi, S. Winarno, E. D. Udayanti, and F. Al Zami, “Analisis Perbandingan Algoritma Naive Bayes Classifier dan Support Vector Machine untuk Klasifikasi Hoax pada Berita Online Indonesia,” J. Masy. Inform., vol. 13, no. 2, 2022, doi: 10.14710/jmasif.13.2.47983.

[9] N. E. Febriyanty, M. A. Hariyadi, and C. Crysdian, “Hoax Detection News Using Naive Bayes and Support Vector Machine Algorithm,” Int. J. Adv. Data Inf. Syst., vol. 4, no. 2, pp. 191–200, 2023, doi: 10.25008/ijadis.v4i2.1306.

[10] G. Airlangga, “Comparative Analysis of Machine Learning Algorithms for Detecting Fake News: Efficacy and Accuracy in the Modern Information Ecosystem,” J. Comput. Networks, Archit. High Perform. Comput., vol. 6, no. 1, pp. 354–363, 2024, doi: 10.47709/cnahpc.v6i1.3466.

[11] W. Hidayat, J. Ong, H. Irsyad, and A. Rahman, “Ekstrasi Berita Hoax Pada Turn Back Hoax Berbasis Pendekatan TF-IDF & Cosine Similarity,” J. Ilm. Comput. Insight, vol. 7, no. 2, 2025, doi: 10.30651/comp_insight.v7i2.26678.

[12] M. F. Ramadhan, “Klasifikasi Topik dan Sentimen Judul Berita dengan Augmentasi dan TF-IDF,” RIGGS J. Artif. Intell. Digit. Bus., vol. 4, no. 2, pp. 6732–6741, 2025, doi: 10.31004/riggs.v4i2.1692.

[13] T. F. Mustafa and H. Alfianti, “Klasifikasi Berita Palsu Berbahasa Indonesia Menggunakan Algoritma Naive Bayes Berbasis Web,” J. Sains Inform. Terap., 2025, [Online]. Available: https://doi.org/10.62357/jsit.v4i3.564

[14] M. F. Ansyori and A. H. Mujianto, “Penerapan Natural Language Processing (NLP) dengan Metode Cosine Similarity pada Sistem E-Monev untuk Pencarian Program Pembangunan Daerah,” J. Software, Hardw. Inf. Technol., vol. 5, no. 2, pp. 84–102, 2025, doi: 10.24252/shift.v5i2.183.

[15] D. Rifaldi and others, “Evaluasi Sentimen Pengguna ChatGPT Menggunakan Naive Bayes: Tinjauan dari Confusion Matrix dan Classification Report,” J. Ris. Sist. dan Teknol. Inf., vol. 3, no. 2, pp. 81–89, 2025, [Online]. Available: https://doi.org/10.30787/restia.v3i2.1990

[16] O. N. Cahyani and F. Budiman, “Performa Logistic Regression dan Naive Bayes dalam Klasifikasi Berita Hoax di Indonesia,” Edumatic J. Pendidik. Inform., vol. 9, no. 1, pp. 60–68, 2025, doi: 10.29408/edumatic.v9i1.28987.

[17] A. Fardhina, R. M. Siregar, M. R. W. Br Sibarani, I. C. Br Ginting, and A. Pratama, “Sistem Deteksi Berita Hoaks berbasis Algoritma Natural Language Processing (NLP) menggunakan BERT,” J. Manaj. Inform. Sist. Inf. Dan Teknol. Komput., vol. 4, no. 1, pp. 450–461, 2025, doi: 10.70247/jumistik.v4i1.156.

[18] B. Wilie et al., “IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding,” in Proc. 1st Conf. of the Asia-Pacific Chapter of the Association for Computational Linguistics, 2020, pp. 843–857. doi: 10.18653/v1/2020.aacl-main.85.

[19] J. Devlin, M. W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” in Proc. 2019 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), 2019, pp. 4171–4186. doi: 10.18653/v1/N19-1423.

[20] R. Fernando, Y. D. Proboningrum, S. D. Supriati, and Nurmalitasari, "NLP Implementation for AI Generated Text Detection (ChatGPT) Using Naive Bayes Method," J-INTECH (Journal of Information and Technology), vol. 13, no. 2, 2025, doi: 10.32664/j-intech.v13i02.2026.