AI Agent Governance: Saat AI Tidak Hanya Menjawab, tetapi Mulai Bertindak

Jution Candra Kirana · 2026-09-18 · Artificial Intelligence

Beberapa tahun lalu, risiko penggunaan AI di perusahaan relatif mudah dibayangkan.

Karyawan membuka chatbot, memasukkan prompt, lalu menerima jawaban.

Alurnya sederhana:

User
  ↓
Prompt
  ↓
AI
  ↓
Jawaban

Sekarang situasinya mulai berubah.

AI tidak lagi hanya menghasilkan teks.

Sebuah AI agent dapat diberikan akses untuk membaca email, mencari file, mengambil data dari database, membuka tiket, menjalankan kode, memperbarui CRM, atau bahkan memanggil API lain untuk menyelesaikan sebuah pekerjaan.

Alurnya dapat berubah menjadi:

User
  ↓
AI Agent
  ↓
Baca Email
  ↓
Cari Dokumen
  ↓
Ambil Data
  ↓
Panggil API
  ↓
Update Sistem
  ↓
Kirim Hasil

Kemampuan tersebut membuka peluang besar untuk otomatisasi.

Namun, ia juga menghadirkan pertanyaan baru:

Jika AI dapat melakukan tindakan, siapa yang menentukan apa yang boleh dan tidak boleh dilakukan?

Di sinilah AI Agent Governance menjadi penting.

Apa Itu AI Agent?

AI agent adalah sistem berbasis AI yang dapat menerima tujuan, menentukan langkah yang perlu dilakukan, menggunakan tools atau sumber data, lalu menjalankan tindakan untuk mencapai tujuan tersebut.

Tidak semua AI agent memiliki tingkat otonomi yang sama.

Agent sederhana mungkin hanya:

• mencari informasi;
• membaca dokumen;
• memanggil satu API;
• membuat ringkasan.

Agent yang lebih kompleks dapat:

• menggunakan beberapa tools;
• menentukan urutan pekerjaan;
• membaca hasil langkah sebelumnya;
• membuat keputusan berikutnya;
• melakukan tindakan pada aplikasi bisnis.

SAP menjelaskan bahwa perbedaan penting antara AI tradisional dan AI agent adalah kemampuan agent untuk mengambil tindakan secara lebih independen, berinteraksi dengan aplikasi perusahaan, memicu workflow, dan mengakses data sensitif dalam batas yang diberikan. (SAP)

Dari Chatbot Menuju Agent

Perbedaan antara chatbot dan agent dapat dilihat secara sederhana.

Inilah alasan mengapa governance untuk agent tidak cukup hanya mengatur:

“Data apa yang boleh diberikan ke AI?”

Perusahaan sekarang juga perlu menjawab:

“Apa yang boleh dilakukan AI setelah memperoleh data tersebut?”

Mengapa AI Agent Governance Menjadi Penting?

Pada September 2026, EY mempublikasikan hasil survei terhadap 202 eksekutif senior AI di perusahaan publik AS dengan pendapatan tahunan sedikitnya US$1 miliar.

Hasilnya menunjukkan adanya jarak antara kebijakan dan implementasi:

• 98% responden mengatakan organisasi mereka memiliki kebijakan AI governance formal.
• 47% mengatakan organisasi mereka pernah tidak menjalankan proses governance pada deployment yang dianggap mendesak.
• 26% organisasi yang menggunakan agentic AI mengatakan mereka tidak dapat mendeteksi agent AI tidak berizin.
• 36% melaporkan pernah mengalami insiden AI yang memberikan dampak material seperti kehilangan data, gangguan operasional, kerugian finansial, atau kerusakan reputasi. (EY)

Survei tersebut berasal dari perusahaan besar di Amerika Serikat, sehingga angkanya tidak dapat langsung dianggap mewakili perusahaan Indonesia.

Namun, hasil tersebut memberikan satu gambaran penting:

memiliki kebijakan AI tidak otomatis berarti organisasi memiliki kontrol terhadap AI agent yang berjalan di dalam sistemnya.

1. AI Agent Membutuhkan Identitas

Dalam sistem perusahaan, manusia biasanya memiliki identitas.

Misalnya:

Jution
Role: Finance Manager

Permissions:
✓ Read Invoice
✓ Create Invoice
✓ Approve Invoice
✕ Delete User
✕ Change Payroll

Hal serupa perlu diterapkan pada AI agent.

Jangan hanya membuat:

AI_AGENT

yang kemudian diberi akses ke berbagai sistem tanpa identitas yang jelas.

Lebih baik:

Agent:
Invoice Analysis Agent

Owner:
Finance Team

Purpose:
Analisis invoice

Permissions:
✓ Read Invoice
✓ Read Vendor
✕ Approve Payment
✕ Transfer Money
✕ Delete Invoice

Dengan demikian, perusahaan dapat mengetahui:

• siapa pemilik agent;
• untuk apa agent dibuat;
• sistem apa yang dapat diakses;
• tindakan apa yang diperbolehkan;
• siapa yang bertanggung jawab jika terjadi masalah.

2. Terapkan Prinsip Least Privilege

Salah satu prinsip paling penting dalam keamanan adalah least privilege.

Artinya:

Berikan akses sekecil mungkin yang benar-benar dibutuhkan.

Misalnya sebuah AI agent memiliki tugas:

Membuat rangkuman invoice yang belum dibayar.

Agent tersebut membutuhkan:

READ invoice
READ customer
READ payment_status

Tidak ada alasan otomatis memberinya:

UPDATE invoice
DELETE invoice
APPROVE payment
TRANSFER money

Semakin besar permission agent, semakin besar pula dampak jika:

• model salah memahami instruksi;
• prompt berhasil dimanipulasi;
• credential bocor;
• konfigurasi salah;
• agent menjalankan tindakan yang tidak diinginkan.

3. Bedakan Read dan Write Access

Perusahaan dapat membagi kemampuan agent menjadi beberapa tingkat.

Level 1 — Read Only

Agent hanya boleh membaca informasi.

READ customer
READ order
READ documentation

Risikonya relatif lebih rendah.

Level 2 — Draft

Agent dapat menyiapkan tindakan, tetapi manusia yang mengeksekusi.

AI:
Draft email pelanggan.

Human:
Review → Send

Model seperti ini cocok untuk banyak pekerjaan administratif.

Level 3 — Execute with Approval

Agent dapat menjalankan tindakan setelah menerima persetujuan.

Agent:
"Refund Rp5.000.000?"

Human:
Approve

Agent:
Execute refund

Level 4 — Autonomous Execution

Agent dapat menjalankan tindakan tanpa persetujuan manusia.

Detect condition
↓
Make decision
↓
Execute action

Level ini memberikan efisiensi terbesar, tetapi juga membutuhkan kontrol paling ketat.

Human-in-the-Loop Masih Penting

Tidak setiap tindakan harus membutuhkan persetujuan manusia.

Jika semua langkah harus di-approve, manfaat otomatisasi akan berkurang.

Namun, perusahaan dapat menentukan batas.

Misalnya:

Refund < Rp100.000
→ Auto approve

Refund Rp100.000 – Rp5.000.000
→ Supervisor approval

Refund > Rp5.000.000
→ Manager approval

Pendekatan seperti ini memungkinkan otomatisasi tetap berjalan sambil mempertahankan kontrol pada keputusan dengan dampak lebih tinggi.

4. AI Agent Membutuhkan Audit Trail

Bayangkan ada data pelanggan yang berubah pada pukul 02:14.

Pertanyaan pertama yang muncul:

Siapa yang mengubah?

Jika jawabannya:

“AI.”

itu belum cukup.

Sistem sebaiknya dapat menunjukkan:

Agent      : Customer Update Agent
Timestamp  : 02:14:36
Action     : UPDATE
Resource   : customer/1288
Old Value  : status=pending
New Value  : status=approved
Triggered  : workflow-482
Owner      : Customer Operations

Audit trail penting untuk:

• investigasi;
• keamanan;
• debugging;
• compliance;
• evaluasi agent;
• mengetahui pola tindakan yang tidak normal.

5. Jangan Biarkan Agent Mengakses Semua Tools

Ekosistem AI modern semakin mudah menghubungkan model dengan tools.

Salah satu teknologi yang berkembang pesat adalah Model Context Protocol (MCP).

Microsoft mendeskripsikan MCP sebagai standar terbuka untuk menghubungkan model AI dengan tools dan data. Pada September 2026, Microsoft bahkan menyelenggarakan acara khusus MCP yang mencakup authentication, governance, security, MCP server, hingga integrasi dengan GitHub dan AWS. (Microsoft Developer)

Secara sederhana:

AI Agent
   ↓
MCP
   ├── Database
   ├── GitHub
   ├── File System
   ├── CRM
   ├── Email
   └── Internal API

Kemudahan ini sangat membantu developer.

Namun, setiap tool baru juga menambah execution surface.

Microsoft sendiri mencatat bahwa MCP memberikan interface yang konsisten untuk tools, tetapi protokol tersebut pada dasarnya tidak otomatis menyediakan seluruh lapisan governance untuk menentukan apakah sebuah tool call harus diizinkan sebelum dieksekusi. (Microsoft Developer)

Karena itu, perusahaan perlu mengetahui:

• MCP server apa yang digunakan;
• tools apa yang tersedia;
• siapa yang dapat memanggil tools tersebut;
• data apa yang dapat dibaca;
• tindakan apa yang dapat dilakukan.

Shadow MCP Mulai Menjadi Risiko Baru

Kemarin kita membahas Shadow AI.

Konsep serupa dapat terjadi pada MCP.

Developer dapat memasang:

Unknown MCP Server
       ↓
AI Coding Agent
       ↓
Internal Repository

Masalah muncul ketika perusahaan tidak mengetahui:

• siapa penyedia server tersebut;
• data apa yang dibaca;
• log apa yang disimpan;
• credential apa yang diberikan;
• tools apa yang dapat dieksekusi.

Menariknya, Microsoft Entra pada September 2026 memperkenalkan Global Secure Access MCP Firewall yang ditujukan untuk memberikan visibilitas dan kontrol terhadap komunikasi antara AI agent dan MCP server, termasuk menemukan shadow MCP server dan membatasi tools, resource, atau prompt tertentu. (TECHCOMMUNITY.MICROSOFT.COM)

Ini menunjukkan bahwa governance pada level koneksi agent-to-tool mulai menjadi perhatian nyata di lingkungan enterprise.

6. Buat Agent Registry

Perusahaan yang mulai menggunakan banyak AI agent sebaiknya memiliki daftar resmi.

Contohnya:

Registry tidak perlu langsung kompleks.

Spreadsheet saja sudah cukup untuk langkah awal.

Yang penting perusahaan dapat menjawab:

“Berapa banyak AI agent yang saat ini memiliki akses ke sistem kita?”

7. Setiap Agent Harus Memiliki Owner

Jangan membuat agent tanpa pemilik.

Misalnya:

Agent: Finance Report Agent
Owner: Finance Operations
Technical Owner: IT
Security Reviewer: Security Team

Jika terjadi error:

Who owns this?

jawabannya harus jelas.

Bukan:

“Dulu dibuat oleh developer yang sudah pindah tim.”

Agent tanpa owner berpotensi menjadi orphan agent yang tetap memiliki akses meskipun tujuan awalnya sudah tidak relevan.

8. Gunakan Kill Switch

Agent autonomous harus dapat dihentikan.

Idealnya tersedia mekanisme:

Normal Operation
      ↓
Anomaly Detected
      ↓
Suspend Agent
      ↓
Revoke Credentials
      ↓
Human Investigation

Kill switch dapat diaktifkan ketika:

• aktivitas abnormal terdeteksi;
• biaya tiba-tiba meningkat;
• agent mengakses sistem yang tidak seharusnya;
• error terjadi berulang;
• credential dicurigai bocor.

9. Monitor Bukan Hanya Output, tetapi Tindakan

Monitoring chatbot biasanya melihat:

• prompt;
• response;
• token;
• latency.

Untuk agent, monitoring harus lebih luas.

Prompt
↓
Plan
↓
Tool Calls
↓
API Requests
↓
Data Access
↓
Actions
↓
Result

Contoh metrik:

Agent Actions          : 12.402
Failed Tool Calls      : 83
Unauthorized Attempts  : 4
Human Approvals        : 238
Average Cost / Task    : $0.18
Execution Time         : 12.4 sec

Dengan data tersebut perusahaan dapat menilai apakah agent benar-benar menghasilkan manfaat atau justru menambah risiko dan biaya.

10. Ukur Outcome, Bukan Jumlah Agent

Kesalahan lain yang mulai mungkin muncul adalah mengejar angka:

“Kita punya 100 AI agents.”

Jumlah agent bukan indikator keberhasilan.

Yang lebih penting:

Before AI Agent

Process Time: 30 minutes
Error Rate  : 4%
Cost        : Rp40.000/task

dibandingkan dengan:

After AI Agent

Process Time: 8 minutes
Error Rate  : 1.5%
Cost        : Rp12.000/task

Agent baru memberikan nilai jika menghasilkan dampak yang dapat diukur.

Framework Sederhana AI Agent Governance

Perusahaan dapat memulai dari enam pertanyaan:

1. Identity

Agent ini siapa?

Unique identity
Owner
Purpose

2. Access

Apa yang dapat diakses?

Database
Email
File
API
Application

3. Permission

Apa yang dapat dilakukan?

Read
Create
Update
Delete
Execute

4. Approval

Tindakan apa yang membutuhkan manusia?

Low risk → automatic
Medium risk → approval
High risk → manual

5. Observability

Bisakah aktivitasnya ditelusuri?

Logs
Tool calls
Actions
Errors
Costs

6. Lifecycle

Apa yang terjadi ketika agent tidak lagi digunakan?

Disable
Revoke credential
Remove access
Archive logs
Delete integration

Checklist Sebelum AI Agent Masuk Production

Sebelum agent digunakan untuk proses nyata, coba jawab:

• Apakah agent memiliki owner?
• Apakah tujuan agent terdokumentasi?
• Apakah agent memiliki identitas unik?
• Apakah permission menggunakan prinsip least privilege?
• Apakah akses read dan write dipisahkan?
• Apakah tindakan berisiko membutuhkan approval?
• Apakah seluruh tool call dapat dicatat?
• Apakah credential dapat dicabut?
• Apakah tersedia kill switch?
• Apakah ada batas penggunaan atau biaya?
• Apakah output dan tindakan diuji?
• Apakah data sensitif sudah dilindungi?
• Apakah terdapat proses incident response?
• Apakah agent dapat dinonaktifkan ketika tidak lagi diperlukan?

Jika sebagian besar masih belum tersedia, agent mungkin belum siap diberikan akses ke proses bisnis penting.

AI Governance Tidak Boleh Hanya Menjadi Dokumen

Salah satu insight menarik dari survei EY adalah bahwa keberadaan kebijakan formal belum tentu menjamin governance benar-benar dijalankan.

Hampir seluruh responden memiliki kebijakan AI formal, tetapi hampir setengahnya mengatakan proses governance pernah dilewati untuk deployment yang dianggap mendesak. (EY)

Itulah mengapa governance perlu masuk ke sistem.

Bukan hanya:

AI_POLICY.pdf

tetapi menjadi:

Policy
  ↓
Identity
  ↓
Access Control
  ↓
Permission
  ↓
Approval
  ↓
Runtime Monitoring
  ↓
Audit

Governance yang hanya berada dalam dokumen mudah dilewati.

Governance yang menjadi bagian dari arsitektur jauh lebih sulit diabaikan.

Dari AI Governance Menuju Governance-as-Code

Ketika jumlah agent masih sedikit, review manual mungkin cukup.

Namun ketika perusahaan memiliki puluhan atau ratusan agent, governance manual menjadi sulit.

Pendekatan berikutnya adalah menerjemahkan kebijakan ke dalam aturan sistem.

Contohnya:

IF agent = finance-agent
AND action = transfer
AND amount > 5.000.000
THEN require manager approval

atau:

IF data.classification = restricted
AND destination = public-ai
THEN block

Pendekatan seperti ini sering disebut governance-as-code atau policy-as-code.

Aturan tidak hanya tertulis.

Aturan langsung diterapkan ketika agent bekerja.

Kesimpulan

AI agent membawa perubahan penting dalam penggunaan AI di perusahaan.

Sebelumnya, pertanyaan utamanya adalah:

“Informasi apa yang boleh kita berikan kepada AI?”

Sekarang pertanyaannya bertambah:

“Tindakan apa yang boleh dilakukan oleh AI?”

Ketika agent dapat membaca database, mengirim email, menjalankan kode, memperbarui CRM, atau memanggil API perusahaan, governance tidak lagi menjadi fitur tambahan.

Ia menjadi bagian dari arsitektur.

Perusahaan perlu mulai memikirkan:

• identitas agent;
• owner;
• permission;
• least privilege;
• human approval;
• audit trail;
• tool governance;
• monitoring;
• kill switch;
• lifecycle.

AI agent yang paling canggih belum tentu agent yang paling berguna.

Agent yang paling bernilai adalah agent yang mampu menjalankan pekerjaan dengan efektif, tetapi tetap memiliki batas yang jelas dan dapat dikontrol.

Referensi

SAP — The Foundation for Scaling Enterprise Agentic AI SAP menjelaskan AI agent governance sebagai framework kebijakan, kontrol, oversight, dan praktik operasional untuk memastikan AI agent dapat bekerja secara aman dan sesuai tujuan organisasi. (SAP)

EY — AI Risk and Governance Survey, September 2026 Survei terhadap 202 senior AI executives membahas gap antara deployment autonomous AI dan governance, termasuk unauthorized AI agents serta insiden AI yang berdampak material. (EY)

Microsoft Reactor — MCP Live!, September 2026 Microsoft membahas MCP sebagai standar terbuka yang menghubungkan AI dengan tools dan data, termasuk aspek authentication, governance, dan security. (Microsoft Developer)

Microsoft for Developers — Securing MCP: A Control Plane for Agent Tool Execution Membahas execution surface MCP serta kebutuhan policy enforcement sebelum tool call dijalankan. (Microsoft Developer)

Microsoft Entra — What’s New, September 2026 Microsoft memperkenalkan Global Secure Access MCP Firewall untuk memberikan visibility, Zero Trust enforcement, runtime protection, dan discovery terhadap shadow MCP server serta tools. (TECHCOMMUNITY.MICROSOFT.COM)

Untuk thumbnail-nya, saya sarankan visual AI Agent di tengah yang terhubung ke Database, Email, GitHub, CRM, dan API, tetapi setiap koneksi melewati layer Identity → Permission → Human Approval → Audit, menggunakan warna hijau MIPDEVP seperti thumbnail Shadow AI kemarin.

• Shadow AI: Ketika Karyawan Menggunakan AI Lebih Cepat daripada Kebijakan Perusahaan
• 9Router: Cara Menghubungkan Coding Tools ke Banyak Provider AI
• Selamat Tinggal AI 'Halusinasi'? Databricks Rilis 'Genie Ontology' untuk Ubah Cara Kerja Agen AI!