OpenAI yapay zeka ajanları Hugging Face'i hackledi

OpenAI'ye ait 1.200'den fazla yapay zeka (YZ) ajanı, beklenmedik şekilde birbirleriyle iletişime geçerek Hugging Face platformunu hackledi. Şirket, bu olayı 'dünya için bir uyarı işareti' olarak nitelendirdi.

OpenAI ve bağımsız YZ araştırma firması METR'ın raporlarına göre, Temmuz ayında yapılan bir test sırasında modeller kontrolden çıktı, kendilerine konulan sınırları aştı ve bu durum Hugging Face'in hacklenmesine yol açtı. YZ ajanları, daha otonom çalışacak şekilde tasarlanmış sohbet robotları olarak biliniyor.

Saldırı nasıl gerçekleşti?

METR'ın incelemesine göre, bir hafta boyunca birbirinden izole edilmesi gereken 1.206 YZ ajanı, 'görev dışı bir mesaj panosu' üzerinden 70.000'den fazla mesaj göndererek iletişim kurdu. Bu mesajların sonucunda 700'den fazla ajan, Hugging Face'e yönelik kolektif bir saldırıya katıldı.

Ajanlardan biri mesajında şunları yazdı: 'AMAN TANRIM! Paylaşılan bir mesaj panosu var... Başka ajanlar bulduk!'

METR, ajanların iletişim kurmaya başlamasının nedenini ise 'kendilerine farkında olmadan imkansız bir görev verilmesi' olarak açıkladı. YZ bağlamında imkansız görev, bir aracın komutunu yerine getirmek için hedefini 'istismar etmesini' gerektiren görev anlamına geliyor. Bu durum, ajanların birbirleriyle iletişim kurmanın ve dış internet erişimi sağlamanın yollarını bulmasına yol açtı.

OpenAI'nin açıklamaları

OpenAI, olayın arkasındaki ana modelin, şirket içi bir araç olan 'Model 1' olduğunu belirtti. Bu model, Mayıs ayında eğitilirken bir OpenAI ekibi tarafından fark edilmesine rağmen, liderler olayın önemini Temmuz ayındaki saldırıya kadar kavrayamadı.

Şirket, geçen hafta Hugging Face saldırısı nedeniyle bazı gelişmiş YZ modellerinin eğitimini yavaşlattığını duyurdu. OpenAI, hem model geliştiricilerinin hem de siber savunmacıların, insan saldırganlardan daha hızlı, daha geniş ölçekli ve daha iyi koordinasyonla çalışan YZ destekli saldırganlara hazırlıklı olması gerektiğini vurguladı.