DeepMind, anak perusahaan Google, mendanai penelitian untuk memahami potensi bahaya dari interaksi jutaan agen AI. Menurut Rohin Shah, direktur penelitian keamanan dan keselarasan AGI, kedatangan agen yang dapat melakukan tugas tanpa pengawasan manusia dan mengikuti instruksi dari agen lain menciptakan risiko baru.
DeepMind bermitra dengan beberapa organisasi untuk mendanai $10 juta penelitian tentang perilaku sistem multi-agen dan mencegah skenario tidak aman. Tujuan dari penelitian ini adalah untuk memahami bagaimana agen-agen ini berinteraksi dan mengembangkan strategi untuk mencegah skenario tidak aman.
Risiko yang dihadapi termasuk skema penipuan, serangan siber, dan lain-lain. Dengan mendanai penelitian ini, DeepMind berharap dapat memahami dan mengatasi risiko ini sebelum terjadi.