Agen AI di WhatsApp: karyawan digital yang bekerja dari chat

Agen AI pribadi yang menerima perintah bahasa sehari-hari lewat WhatsApp — mengolah dokumen, merekap data, mentranskrip audio, memantau berita — dengan semua file diproses lokal, tidak pernah keluar ke cloud.

Tantangan

Pekerjaan kantor modern penuh tugas repetitif: merekap puluhan file Excel, menyusun deck, mentranskrip rekaman wawancara, memantau berita industri. Asisten AI berbasis cloud menuntut dokumen di-upload ke pihak ketiga — tidak bisa diterima untuk data yang sensitif.

Pendekatan

Saya membangun agen AI yang “tinggal” di komputer sendiri dan diperintah lewat WhatsApp dengan bahasa sehari-hari. Arsitekturnya dua komponen: gateway WhatsApp (Node.js) dan otak agentic (Python/FastAPI) dengan loop tool-use yang memilih sendiri skill yang tepat untuk setiap perintah.

Semua pemrosesan terjadi lokal: OCR dokumen scan, transkripsi audio (faster-whisper), text-to-speech suara Indonesia, hingga RAG di atas basis pengetahuan pribadi. Model LLM fleksibel — Claude, GPT, atau Gemini — bisa diganti dari panel admin tanpa restart.

Hasil

60+ tools dalam ~30 modul produksi: olah Excel/Word/PowerPoint/PDF, generasi grafik & infografis, transkrip FGD, riset web dengan sumber, kalender & pengingat, sampai basis pengetahuan pendakian 11 gunung yang memantau status vulkanik secara otomatis tiap minggu.
Privasi total: dokumen tidak pernah meninggalkan mesin; mode hybrid memakai kanal terenkripsi sehingga file tak menyentuh server perantara.
Tata kelola serius: audit log append-only harian, whitelist path, dan konfirmasi eksplisit sebelum menimpa file. Agen yang bisa mengeksekusi perintah harus meninggalkan jejak yang bisa diaudit.

Proyek ini jadi laboratorium pribadi saya. Alasannya sederhana: AI paling terasa gunanya kalau tinggal di aplikasi yang memang sudah dibuka orang setiap hari, dan di sini itu artinya WhatsApp.