Gap Evaluasi AI: Penguasaan Otomatis Lebih Cepat dari Verifikasi

Di saat yang sama perusahaan memberikan agent AI lebih banyak kebebasan, kepercayaan mereka dalam tes otomatis semakin menurun. Berdasarkan survei VB Pulse Juni 2026, setengah dari perusahaan telah mengaktifkan agent AI atau fitur LLM yang telah melewati evaluasi internal, tetapi masih menyebabkan gagal yang terlihat oleh pelanggan.

Salah satu perusahaan di antaranya mengalami gagal lebih dari sekali. Survei ini melibatkan 157 responden perusahaan yang memiliki lebih dari 100 karyawan. Meskipun survei ini tidak berupa sampel probabilitas, namun hasilnya dapat digunakan sebagai arahan.

Apakah perusahaan menanggapi dengan mengurangi otomatisasi? Tidak, 66% responden telah mengizinkan pengaktifan produksi yang tidak melibatkan ulasan manusia atau sedang membangun sistem untuk melakukannya dalam waktu 12 bulan ke depan. Namun, hanya 5% yang sepenuhnya percaya dengan evaluasi otomatis yang dapat membuat keputusan tersebut.

Mismatch ini adalah gap evaluasi: batasan otonomi semakin meningkat, tetapi jaminan di bawahnya semakin menurun. Selain itu, hal ini juga merupakan bagian dari teori yang lebih luas yang akan dibahas di VB Transform 2026, yaitu perusahaan memasok agent terlebih dahulu, sementara lapisan kontrol seputar identitas, evaluasi, biaya, konteks, dan koordinasi baru-baru ini datang.

Berdasarkan survei ini, dapat disimpulkan bahwa perusahaan tidak sepenuhnya percaya dengan evaluasi otomatis. Mereka menyadari bahwa evaluasi otomatis tidak dapat memprediksi hasil yang benar-benar terjadi ketika pelanggan, karyawan, atau proses bisnis bertemu dengan agent di produksi.

Sebagian besar perusahaan mengatakan bahwa alasan mereka tidak percaya dengan evaluasi otomatis adalah karena perbedaan antara hasil evaluasi dan hasil yang sebenarnya. Ini menunjukkan bahwa perusahaan mengalami kesulitan dalam memahami bagaimana agent AI bekerja dan bagaimana mereka dapat diandalkan.