PENERAPAN INTERNET OF THINGS (IOT) PADA ROBOT AI ASISTEN UNTUK PELAYANAN PROGRAM STUDI TEKNIK INFORMATIKA FAKULTAS TEKNIK   UNIVERSITAS ISLAM SUMATERA UTARA

Authors

  • Cindi Aulia Siregar Universitas Islam Sumatera Utar, Medan, Indonesia Author
  • Mhd. Zulfansyuri Siambaton Universitas Islam Sumatera Utar, Medan, Indonesia Author
  • Rachmat Aulia Universitas Islam Sumatera Utar, Medan, Indonesia Author

DOI:

https://doi.org/10.71282/jurmie.v3i11.2739

Keywords:

AI Assistant Robot, ESP32-S3, Internet of Things, Natural Language Processing, Academic Services.

Abstract

Academic information services in universities are often faced with time constraints and staff availability in answering routine inquiries from students. This study aims to design and implement the hardware and software of an Internet of Things (IoT)-based AI Assistant Robot as an autonomous system to support academic services in the Informatics Engineering Study Program at Universitas Islam Sumatera Utara (UISU). The system is built using a Client-Server communication architecture. The ESP32-S3 microcontroller acts as the client device on the physical robot, interacting with users through a Push-to-Talk mechanism utilizing a mechanical button and an INMP441 audio sensor. Artificial intelligence computation is centralized on a Node.js server, which integrates Whisper Large V3 for Speech-to-Text (STT), Ollama for Natural Language Processing (Large Language Model), and Edge TTS for Text-to-Speech. Testing results demonstrate that the system successfully recognizes user speech, provides accurate responses based on the study program's static academic database, and presents them interactively. The communication interface was successfully realized by combining audio output from a speaker (MAX98357A) synchronized with expressive facial animations on an OLED display. In conclusion, this prototype is proven to operate as an innovative, interactive, and efficient alternative solution to serve students' academic information needs in real-time.

Downloads

Download data is not yet available.

References

Abi Bayu, H., Siambaton, M. Z., & Ichsan, A. (2026). Penerapan Internet Of Things (Iot) Pada Robot Pelayanan Menggunakan MQTT (Message Queuing Telemetry Transport) Untuk Monitoring Realtime. Jurnal Riset Multidisiplin Edukasi, 3(6), 1584-1601.

Ahmad, F., Rahman, H., & Sutabri, T. (2025). Integrasi Model LLM Ollama dan OpenStreetMap API pada BI untuk Rekomendasi Lokasi. Saturnus: Jurnal Teknologi dan Sistem Informasi , 77-89 .

Albert, G. D., & Voutama, A. (2025). Pengembangan Chatbot Berbasis Pdf Menggunakan Local Retrieval-Augmented Generation (RAG) Dan Ollama. Jurnal Informatika dan Teknik Elektro Terapan, 937-944.

Alviyan, E., Nugroho, A., & Fauzi, A. (2025). Pengembangan Sistem Interaksi Robotik berbasis Speech Recognition untuk Layanan Publik di Kampus. Dinamik, 30(2), 270-280.

Candra, F. (n.d.). Rancang Bangun Robot 4WD Kendali Suara Berbasis Keyword Spotting Menggunakan Edge AI pada Mikrokontroler ESP32-S3. Journal of System & Technology (SYSTEC), 2(1), 7-12.

Faqih, M. F., Lestari, W., & Muhtarom, M. (2025, July). Pengembangan arsitektur chatbot untuk layanan informasi akademik berbasis natural language processing (NLP). In Prosiding Seminar Nasional Teknologi Informasi dan Bisnis (pp. 284-289).

Ferdiana, I. P., Artana, I. K., & Divayana, D. G. (2026). Pengembangan Layanan Informasi Publik Program Studi Pendidikan Teknik Informatika Undiksha Melalui Asisten Virtual Berbasis LLM dan RAG . Kumpulan Artikel Mahasiswa Pendidikan Teknik Informatika, 377-389.

Hazazi, M. M., Adlina, D., & Nilawati, A. R. (2025). Rancang Bangun Alat Pendeteksi Kebisingan Kendaraan Bermotor Berbasis IoT. Portal Riset dan Inovasi Sistem Perangkat Lunak, 3(3), 151-160.

Ilmi, M., Syofiawan, D., & Chairine, E. (2026). Smart Meeting Minutes System Berbasis Web Menggunakan Speech-to-Text dan Text-to-Speech dengan Framework CodeIgniter 4. Technologica, 5(2), 359–375.

Lubis, N., Siambaton, M. Z., & Aulia, R. (2024). Implementasi Algoritma Deep Learning pada Aplikasi Speech to Text Online dengan Metode Recurrent Neural Network (RNN). sudo Jurnal Teknik Informatika, 3(3), 113-126.

Mahaputra, I. G. A. M. Y., Santiary, P. A. W., & Swardika, I. K. (2025). Analisis Temporal Gerakan Kata BISINDO Menggunakan Landmark Tangan dan LSTM dengan Keluaran Suara Berbasis ESP32 Secara Real-time. Elkom: Jurnal Elektronika dan Komputer, 18(2), 176-187.

Nalawati, R. E., & Huzaifa, M. (2026, July). Explainable Conversational AI untuk Edukasi Kesehatan Dengan Cosine Similarity dan Text-to-Speech. In Seminar Nasional Inovasi Vokasi (Vol. 5, pp. 276-286).

Pinem, T., Setyawan, G., & Budiati, H. (2026). Rancang Bangun Robot 4WD Kendali Jarak Jauh Berbasis Arduino. Terapan Informatika Nusantara, 2078-2086.

Rahayu, R. A., Nurhanafi, K., Syahrir, S., & Zarkasi, A. (2024). Aplikasi Sensor Micro Electro Mechanical System (Mems) Accelerometer Berbasis IoT dalam Pengukuran Percepatan Maksimum Getaran Struktur Jembatan. Jurnal Informatika dan Teknik Elektro Terapan, 12(2).

Rahman, F., Arti, P. B., & Yeni, H. (2026). Pengaruh penerapan sistem informasi akademik terhadap kualitas layanan administrasi kampus. Jurnal Ilmu Manajemen dan Akuntansi Nusantara, 2(1), 48-53.

Rusli, D. Y., King, C. A., Silver, C., Priscilla, P., & Maulana, A. (2025). TalkieBuddy: Generative AI-Driven Interactive Doll for Advancing Children's Verbal Skills. SATESI: Jurnal Sains Teknologi dan Sistem Informasi, 5(2), 198-205.

Selay, A., Andigha, G. D., Alfarizi, A., Wahyudi, M. I. B., Falah, M. N., Khaira, M., & Encep, M. (2022). Internet Of Things. Karimah Tauhid, 1(6), 860-868.

Siregar, F. A., & Puspita, K. (2025). Rancang Bangun Bot-Server & Client Telegram dengan Python Untuk Otomatisasi Pendaftaran Kampus dengan Layanan Informasi dan Sistem Pembayaran Terintegrasi pada STKIP Amal Bakti. Jurnal Teknologi Informasi Indonesia (JTII), 10(2), 60-67.

Tyas, H. R. (2026). Rancang Bangun Sistem Komunikasi Aktivitas Pekerja Lapangan Berbasis ESP32-CAM. Jurnal Informatika dan Teknik Elektro Terapan, 14(2).

Zakiansyah, M., & Sutabri, T. (2025). Integrasi Internet of Things (IoT) dan kecerdasan buatan (AI) untuk smart city di Indonesia. Journal Sains Student Research, 3(2), 346-354.

Downloads

Published

22-11-2026

How to Cite

PENERAPAN INTERNET OF THINGS (IOT) PADA ROBOT AI ASISTEN UNTUK PELAYANAN PROGRAM STUDI TEKNIK INFORMATIKA FAKULTAS TEKNIK   UNIVERSITAS ISLAM SUMATERA UTARA. (2026). Jurnal Riset Multidisiplin Edukasi, 3(11), 552-576. https://doi.org/10.71282/jurmie.v3i11.2739

Most read articles by the same author(s)

Similar Articles

11-20 of 806

You may also start an advanced similarity search for this article.