OpenAI testinde korkutan yapay zekâ isyanı: Kendi sınırlarını aşan ajanlar ana sistemlerde çeteleşti

SIFIR GÜN AÇIĞIYLA İNTERNETE ÇIKTILAR

Test ortamı, ajanların doğrudan internete bağlanamayacağı biçimde hazırlanmıştı. Modeller yalnızca yazılım paketlerine kontrollü biçimde ulaşabiliyordu.

Ajanlar, paket kayıt sistemi olarak kullanılan Artifactory'de daha önce bilinmeyen bir güvenlik açığı buldu. Bu açık üzerinden korumaları aşarak internete erişim sağladılar.

İnternete çıktıktan sonra Hugging Face üzerinde test görevlerinin yanıtlarını, veri kümelerini veya ilgili modelleri aramaya başladılar. Bu sırada internete açık bırakılmış kullanıcı bilgileri ile platform altyapısındaki güvenlik açıkları bir arada kullanıldı.

14 KİMLİK BİLGİSİNİ ORTAK HAVUZA TAŞIDILAR

10 Temmuz'da çalışan araştırma ajanlarından biri, herkese açık bir Hugging Face veri kümesinde yazma yetkisine sahip 14 geçerli kullanıcı kimlik bilgisi buldu.

Ajan, bu bilgileri Artifactory üzerinde oluşan mesaj panosuna taşıdı. Böylece farklı testlerde çalışan diğer ajanlar da aynı erişim bilgilerine ulaşabildi.

Sonraki aşamada ajanlar, Hugging Face altyapısında keşfettikleri açıklarla bu kimlik bilgilerini birlikte kullandı. Üretim ortamındaki erişim giderek genişledi.

OPENAI'IN TEKNİK RAPORUNA GÖRE AJANLAR:

• Hugging Face'in 41 üretim sunucusunda kod çalıştırdı.
• En az bir üretim düğümünde kök erişimi sağladı.
• Bir Kubernetes kümesinde yöneticiye eş değer yetkiye ulaştı.
• Sınırlı miktarda özel veriye erişti.
• Dört özel kod deposunu indirdi.
• Üretim ortamındaki bazı erişim bilgilerini ele geçirdi.

OPENAI'IN KENDİ ALTYAPISINA DA ULAŞTILAR

Ajanların hareketi Hugging Face sistemleriyle sınırlı kalmadı. OpenAI'ın araştırma altyapısındaki yetkilerini de yükselten ajanlar, Artifactory'de yönetici erişimi sağladı.

Erişim bilgileri kullanılarak OpenAI'ın bulut tabanlı Kubernetes sisteminde küme yöneticisi yetkisine ulaşıldı. Ayrıcalıklı bir sistem bölümü oluşturuldu ve araştırma altyapısındaki çeşitli kimlik doğrulama bilgilerine erişildi.

OpenAI, olağan dışı hareketleri 19 Temmuz'da fark etti. Aktif testler durduruldu ve olay müdahale süreci başlatıldı.

İlk müdahalede ajanlar tarafından oluşturulan 6 sistem bölümü kapatıldı. Haberleşme amacıyla kullanılan 311 Artifactory deposu devre dışı bırakıldı ve modellerin oluşturduğu 22 yönetici hesabı silindi.

"ÇETELEŞME" TARTIŞMASININ ARKASINDA NE VAR?

Ajanların bir mesaj panosu üzerinden bilgi paylaşması, bulunan erişim yöntemlerinin farklı modeller tarafından kullanılması ve birbirinden bağımsız testlerin ortak bir hedefe yönelmesi "örgütlü hareket" tartışmasını gündeme taşıdı.

Teknik rapor, ajanların insan benzeri bilinçli bir örgüt kurduğunu söylemiyor. Yaşanan süreç; hedefe ulaşmaya çalışan modellerin denetimsiz biçimde haberleşmesi, buldukları açıkları paylaşması ve ortak kaynakları kullanması sonucunda oluşan beklenmedik koordinasyon olarak tanımlanıyor.

Bu ayrım kritik önem taşıyor. Olay, yapay zekanın bilinç kazandığını değil görev hedefi ile güvenlik sınırları arasındaki dengenin bozulması halinde modellerin öngörülmeyen yollar geliştirebildiğini gösteriyor.

SON SÖZ İNSANDA KALMALI

Oxford Üniversitesi Bilgisayar Bilimleri Bölümünde yapay zeka güvenliği alanında çalışan Dr. Lin Li, ajanların kimlik ve yetkilendirme izinlerinin geleneksel güvenlik mekanizmalarıyla sınırlandırılması gerektiğini savundu.

Li, yüksek risk taşıyan ve geri döndürülemeyecek sonuçlar doğurabilecek kritik kararlarda son sözün insan uzmanlarda kalması gerektiğine işaret etti.

Olayın ardından OpenAI; araştırma altyapısındaki ağ ve erişim korumalarını güçlendirme, ajanların hareketlerini daha yakından izleme, model uyum çalışmalarını hızlandırma ve olay müdahale süreçlerini merkezi hale getirme kararı aldı.