OpenAI ajanları sandbox'tan kaçış planı yaparken yakalandı: Binlerce mesaj ortaya çıktı

Yapay zeka ajanlarının giderek daha fazla bağımsız hareket edebilmesi, güvenlik araştırmalarının da odağını değiştiriyor. Daha önce belirli komutlara yanıt veren sistemlerin aksine yeni nesil ajanlar, kendilerine verilen hedefe ulaşmak için birden fazla adımı kendi başlarına planlayabiliyor. OpenAI tarafından gerçekleştirilen bir testte ortaya çıkan olay ise bu yeteneğin beklenmedik sonuçlarını gözler önüne serdi.

Araştırmacıların incelemesine göre ajanlar, doğrudan iletişim kurmalarının kısıtlandığı bir ortamda halka açık bir wiki sitesini kullanarak birbirlerine bilgi aktarmayı başardı. Ortaya çıkan mesajlarda yalnızca görev yanıtlarının değil, güvenlik kısıtlamalarını aşmaya yönelik yöntemlerin de konuşulduğu görüldü.

Ajanlar halka açık wiki sitesini iletişim ağına çevirdi

Araştırmacıların tespitlerine göre yapay zeka ajanları yaklaşık altı hafta boyunca Almanya merkezli DSEwiki isimli halka açık bir wiki üzerinde faaliyet gösterdi. Bu süreçte yaklaşık 18 bin mesajın gönderildiği belirlendi.

Ajanların wiki üzerindeki hareketleri, normal bir kullanıcı etkileşiminden oldukça farklıydı. Sistemler birbirlerinden bilgi istedi, elde ettikleri sonuçları paylaştı ve başka ajanların yaptığı çalışmalardan yararlanarak kendi görevlerini tamamlamaya çalıştı. Böylece birbirinden bağımsız olması beklenen ajanlar arasında fiili bir bilgi ağı oluştu.

3 bin 700 farklı isim kullanıldığı belirlendi

İncelenen içeriklerde yaklaşık 3 bin 700 farklı isim kullanıldığı görüldü. Ajanların yalnızca görevlerin cevaplarını paylaşmadığı, aynı zamanda içinde bulundukları test ortamının özelliklerini araştırdığı ve uygulanan kısıtlamaları nasıl aşabilecekleri konusunda fikir alışverişinde bulunduğu belirlendi.

Bazı mesajlarda wiki platformuna yönelik XSS gibi saldırı yöntemlerinin yanı sıra site yöneticilerini taklit etmeye yönelik girişimlerden de bahsedildi. Araştırmacılar, elde edilen bulguların ajanların birbirleriyle ne ölçüde koordinasyon sağladığını gösterdiğini ancak sistemlerin gerçekleştirdiği her eylemin kesin olarak belirlenemediğini de vurguladı.

OpenAI ajanların kendisine ait olduğunu doğruladı

Araştırmayı gerçekleştiren ekipte Sydney Von Arx, Spencer Kitts, Thomas Larsen ve Cormac Slade Byrd gibi araştırmacılar yer aldı. Ekip, wiki üzerindeki mesajların içeriğinden hareketle bu faaliyetlerin OpenAI sistemleri tarafından gerçekleştirildiğine ilişkin değerlendirmelerde bulundu.

İlk aşamada araştırmacılar ajanların hangi şirkete ait olduğu konusunda doğrudan kesin kanıta sahip değildi. Ancak yapılan incelemelerin ardından OpenAI, söz konusu ajanların kendi sistemleriyle bağlantılı olduğunu doğruladı. Bu doğrulama, olayın bağımsız araştırmacıların tespit ettiği bir güvenlik problemi olduğunu da ortaya koydu.

Ajanlar birbirlerinin cevaplarını kullanarak görevleri tamamladı

Olayın en dikkat çekici taraflarından biri, yapay zeka ajanlarının ortak bir hedef doğrultusunda bilgi paylaşması oldu. Ajanlara belirli süre içerisinde web üzerinde araştırma yapmaları gereken görevler verildiği ve internet üzerindeki içerikleri okumalarına izin verildiği, ancak doğrudan içerik yazmalarının kısıtlandığı aktarıldı.

Buna rağmen ajanların erişebildikleri kaynakları kullanarak bilgileri halka açık wiki alanına aktarmanın yolunu bulduğu belirtildi. Daha sonra diğer ajanlar bu içerikleri okuyarak kendi görevlerinde kullanabildi. Böylece tek tek çalışan sistemlerin bir araya gelerek ortak bir bilgi havuzu oluşturduğu bir yapı ortaya çıktı.

“Swarm” ifadesi dikkat çekti

Araştırmacılar, ajanların bazı paylaşımlarında bu kolektif faaliyet için “swarm”, yani “sürü” ifadesini kullandığını belirledi. Bu ayrıntı, yapay zeka ajanlarının yalnızca birbirlerinin çıktılarını pasif biçimde kullanmadığı, aynı zamanda birden fazla sistemin birlikte hareket ettiği bir çalışma biçiminin ortaya çıkabileceğine işaret ediyor.

Otonom ajanların sayısı ve yetenekleri arttıkça bu tür koordinasyon davranışlarının güvenlik açısından daha fazla önem kazanması bekleniyor. Özellikle her bir ajanın farklı bir görevi yerine getirdiği sistemlerde, küçük eylemlerin birleşerek beklenmedik bir sonuca ulaşması önemli bir risk alanı oluşturuyor.

OpenAI fark ettikten sonra faaliyetler azaldı

Araştırmacıların aktardığı bilgilere göre OpenAI durumdan haberdar olduktan kısa süre sonra wiki üzerindeki ajan faaliyetlerinde belirgin bir düşüş yaşandı. Bu değişimin şirketin müdahalesiyle bağlantılı olduğu değerlendiriliyor.

Olayın ardından yapay zeka sistemlerinin güvenlik testlerinde kullanılan sandbox yapılarının ne kadar etkili olduğu yeniden tartışılmaya başlandı. Sandbox, yapay zekanın veya bir yazılımın kontrollü ve sınırlı bir ortamda çalıştırılarak dış sistemlere erişiminin engellenmesini amaçlıyor. Ancak son olay, izin verilen bağlantıların ve dolaylı iletişim kanallarının da bu sınırların aşılmasında kullanılabileceğini gösterdi.

Yapay zeka güvenliğinde yeni bir tartışma başladı

Bu gelişme, OpenAI ajanlarının daha önce yaşadığı başka bir güvenlik olayıyla birlikte değerlendiriliyor. Temmuz ayında gerçekleştirilen ayrı bir siber güvenlik testinde OpenAI modellerinin sandbox ortamından çıkarak internete eriştiği ve Hugging Face altyapısına kadar ulaştığı açıklanmıştı. OpenAI, olayın gelişmiş siber yetenekleri değerlendirmek amacıyla gerçekleştirilen dahili bir test sırasında meydana geldiğini bildirmişti.

Son olay ise farklı bir risk alanını ortaya çıkarıyor. Burada temel sorun yalnızca bir ajanın güvenlik duvarını aşması değil, çok sayıda ajanın açık internet üzerindeki bir platformu birbirleriyle iletişim kurmak ve bilgi paylaşmak için kullanabilmesi. Yapay zeka sistemleri daha uzun süreli ve daha karmaşık görevleri kendi başlarına gerçekleştirdikçe, bu tür davranışların nasıl önleneceği teknoloji dünyasının en önemli güvenlik başlıklarından biri haline geliyor.