Catatan Tentang Model AI: Otak Untuk Agent
Jika Agent AI adalah tubuh, maka Model AI/LLM adalah otaknya.
Tanpa otak, tubuh hanyalah cangkang. Tanpa tubuh, otak tidak akan bisa bertindak. Keduanya saling bergantung satu sama lain.
Baca juga: Catatan tentang AI Agent: Mengapa Mereka Lebih Dari Sekedar Chatbot Catatan Tentang Hermes: AI Agent yang dapat berkembang bersama User
Dan yang mungkin juga perlu diketahui: Model yang berbeda menghasilkan tindakan agent yang berbeda, meskipun tools-nya dan personanya sama persis.
Contoh nyata, saya mencoba menggunakan Model AI Gemma 4 31B (Model Open-Source dari Google) untuk AI Agent Hermes, apa yang terjadi? Ia tidak bisa eksekusi apa yang saya perintahkan, lebih banyak berhalusinasi, tanpa bertindak secara langsung.
Hermes Agent mencari folder terlebih dahulu di terminal
Hermes Agent Menulis file catatan menggunakan Python
Note: Gambar diatas saat menggunakan Model: Claude: Sonnet 4.5
Agent berhalusinasi mengerjakan task yang diberikan
Note: Gambar diatas saat menggunakan model: Gemma 4 31B
Tapi bisa juga bukan hanya karena model nya namun karena terjadinya Lost in Translation pada format chat template.
Selain Gemma 4 31B Nemotron 3 versi safety dapat eksekusi akan tetapi chat teks dari Agent AI nya menjadi lebih kaku seperti tidak mengikuti konteks dari Soul.md dan Memory yang tertulis.
Apa Itu Model AI?
Model AI adalah sistem yang dilatih dari data besar untuk memahami bahasa, pola, dan konteks, lalu menghasilkan respons berdasarkan input.
Secara teknis, model adalah:
- Parameter, bobot dan pola yang dipelajari selama training (GPT-4 punya triliunan parameter, model kecil punya miliaran, Gemma 4 31B dibagian belakangnya menunjukan parameter 31B itu berarti Gemma 4 memiliki parameter 31 Miliar)
- Architecture, cara model memproses informasi (transformer, attention mechanism, dll)
- Training data, teks, kode, dokumen yang dipakai untuk melatih model
- Fine-tuning, penyesuaian tambahan agar model lebih sesuai dengan use case tertentu.
Namun yang lebih penting dan perlu dicatat juga, Model menentukan cara berpikir, kecepatan, gaya bahasa, kedalaman reasoning, dan biaya operasional agent.
Model bukan hanya mesin penerjemah teks. Model adalah engine kognitif yang menentukan bagaimana agent memproses konteks, membuat keputusan, dan menghasilkan output.
Model vs Agent: Bedanya Apa?
Terkadang ini sering terasa membingungkan, jadi akan saya jelaskan sekali lagi:
Model AI = engine bahasa yang menghasilkan teks berdasarkan input.
Contoh:
- GPT-4
- Claude Sonnet 4
- DeepSeek V4
- Gemini Pro
- Llama 3
- Gemma 4
- Nemotron 3, dst
AI Agent = sistem yang menggabungkan model dengan tools, memory, dan workflow.
Contoh::
- Hermes
- Open Claw
- AntiGravity
- Codex
- Claude Code
- Command Code, dst
Agent adalah layer di atas model. Agent memberi model kemampuan untuk:
- membaca file
- menjalankan command
- menyimpan memory
- mengakses skill
- memverifikasi hasil
Kenapa Model Penting untuk Agent?
Model bukan sekadar "otak" pasif.
Model memengaruhi hampir semua aspek agent behavior:
1. Reasoning dan Problem-Solving
Model yang lebih kuat bisa:
- memecah masalah kompleks menjadi langkah-langkah kecil
- memahami konteks panjang dengan lebih akurat
- membuat keputusan strategis yang lebih baik
- mengidentifikasi root cause, bukan hanya gejala
Misalnya untuk programming, saat debugging:
- Model lemah: "Error ini mungkin dari X, coba fix Y."
- Model kuat: "Error ini muncul karena A, yang triggered oleh B. Root cause ada di C. Fix harus dimulai dari sana, baru verifikasi D dan E dan seterusnya hingga masalah teratasi."
2. Instruction Following
Model yang baik lebih patuh pada instruksi kompleks.
Kalau persona agent bilang:
"Jangan pakai emoji, jangan terlalu verbose, prioritaskan eksekusi daripada penjelasan panjang."
Model lemah mungkin tetap verbose atau melupakan aturan di tengah percakapan panjang.
Model kuat bisa menjaga konsistensi lebih baik.
3. Tool Calling Accuracy
Agent memanggil tool berdasarkan reasoning model.
Model yang lemah bisa:
- memanggil tool yang salah
- memberikan parameter yang tidak lengkap
- tidak memverifikasi hasil tool
Model yang kuat:
- memilih tool yang tepat
- mengisi parameter dengan benar
- menginterpretasi hasil tool dengan akurat
4. Context Window dan Memory
Model punya batas context window, jumlah token yang bisa diproses dalam satu turn.
Model dengan context window kecil (8K-32K token):
- cepat lupa percakapan awal
- tidak bisa memproses file besar
- butuh banyak summarization
Model dengan context window besar (128K-200K token):
- bisa membaca banyak file sekaligus
- tetap ingat konteks dari awal sesi
- bisa bekerja dengan dokumentasi panjang
5. Speed dan Latency
Model besar lebih lambat.
Model kecil lebih cepat, tapi reasoning-nya lebih terbatas.
Untuk agent yang real-time (chat interaktif), kecepatan penting.
Untuk agent yang autonomous (cron job, analisis mendalam), kedalaman lebih penting dari kecepatan.
6. Cost
Model proprietary (GPT-4, Claude,) charged per token namun sekarang banyak provider yang menyediakan model secara langganan tanpa pembayaran per token akan tetapi tetap saja ada batasan tertentu seperti limit token, limit request dan mungkin limit per sesi, tiap provider memiliki batasan yang berbeda.
Model open-source (Llama, Gemma, GPT OSS, DeepSeek) bisa dijalankan lokal atau lewat provider murah, untuk dijalankan di lokal tentu saja butuh spesifikasi yang cukup tinggi tapi terdapat juga beberapa model open-source yang dibuat cukup rendah contohnya Gemma 4 E4B dan E2B yang dikhususkan untuk dapat di install di perangkat mobile.
Untuk agent yang sering dipanggil atau memproses file besar, biaya bisa naik cepat.
Karena itu, memilih model yang cukup untuk use case jauh lebih sustainable daripada selalu pakai model terkuat, jadi bisa menyesuaikan model untuk kebutuhan penggunaan agar lebih hemat.
Sejauh ini model yang bagus untuk agent AI dan tergantung fungsinya, saya lebih menyukai Claude Sonnet, Gpt 5.5, dan Deepseek v4 flash untuk brainstorming dan mencatat-catatan. Claude Opus untuk membantu membuat suatu system.