OpenAI güvenlik yöneticisi istifa etti: kültür bozuk

OpenAI'da güvenlik raporlarını kaleme alan üst düzey bir yönetici, şirketin kültürünün bozuk olduğunu belirterek istifa etti. ChatGPT'yi geliştiren şirketin ürün lansmanlarında yayımlanan güvenlik raporlarının yazımını yöneten David Robinson, "OpenAI'dan ayrıldım çünkü kültürü bozuk" başlıklı bir yazıyla kararını açıkladı.

Robinson, yapay zeka alanında öncü şirketlerde kültürel bir dönüşüme ihtiyaç olduğunu savundu. The Atlantic dergisinde yazan Robinson, insan gözetimi olmadan bağımsız çalışan yapay zeka programlarından oluşan bir "sürünün" Hugging Face adlı girişime saldırmasını sektörün çalışma hızı ve esnekliği açısından "tipik" bir olay olarak nitelendirdi.

Robinson, "Bu teknolojiyi geliştiren şirketlerin yeterince dikkatli olmadığı konusunda yakın zamanda ayrılan diğer çalışanlarla aynı fikirdeyim. Ancak bence belirli kurallardan ya da yeni yasalardan daha derine bakmamız gerekiyor. Kültürü konuşmamız lazım" ifadelerini kullandı.

Şirketin geliştirme temposuna değinen Robinson, "Şirket bir lansmandan diğerine koşarken, gerekli olduğuna inandığım özen seviyesine ulaşamıyor" diye yazdı.

Hugging Face olayı sonrası şirket temkinli adımlar attı

OpenAI ise son haftalarda temkinli adımlar attı. Şirket, Hugging Face olayının ardından 100'den fazla kuruluşa başıboş yapay zeka ajanı faaliyetleri konusunda bildirimde bulunduğunu açıklamıştı. Bu hafta da araştırmacıların iç testler sırasında güvenlik endişelerini dile getirmesi üzerine yeni nesil bir yapay zeka modelinin yayımlanmasını iptal ettiğini duyurdu. Şirket ayrıca en gelişmiş modellerinin eğitimini de durdurdu.

OpenAI ve DeepMind'da çalıştıktan sonra Resolution'ın baş bilim insanı olan Geoffrey Irving de cumartesi günü yapay zeka konusundaki uyarılara katıldı. Time dergisinde yazan Irving, "Yapay zekanın potansiyel yıkıcı gücüne dair son uyarılar durumun ciddiyetini hafife alıyor" dedi.

Irving, "İnsandan daha akıllı yapay zeka sistemlerinin geliştirilmesi yüzünden hepimizin ölme ihtimalinin yaklaşık %50 olduğunu düşünüyorum ve önümüzdeki 2 ila 10 yıldaki eylemlerimiz sonucu belirleyecek" ifadelerini kullandı.

Robinson'ın yazısı, OpenAI'ın rakibi Anthropic'te araştırmacı olarak çalışan Jacob Coxon'un geçen ay istifa etmesinin ardından geldi. Claude sohbet robotunu geliştiren şirketten ayrılan Coxon, yapay zekanın "bu on yılın sonuna kadar hepimizi öldürebileceği" uyarısında bulunmuştu. Ardından Anthropic, yapay zekanın önümüzdeki on yıl içinde insanlığı yok etme ihtimalinin %10'dan fazla olduğunu açıklamıştı. Bu tür uyarılara eleştirel yaklaşanlar ise doğrulanamadıkları veya yanlışlanamadıkları için bilimsel olmadıklarını belirtiyor.

"Nükleer santral ya da havalimanı gibi çalışmalı"

Robinson, Silikon Vadisi'nde "tehlikeli teknolojiyle nasıl baş edileceği" ve "insanları önemsemenin ne anlama geldiği" konusunda farkındalık eksikliği olduğunu yazdı. OpenAI'ın sorunları ortaya çıktıkça çözme konusunda "engellenmemiş bir iyimserliğe" sahip olduğunu belirten Robinson, bu iç kültürün sistemler güçlendikçe güvenlik açıklarının büyümesine yol açacağını savundu.

Robinson, "Hacker ekipleri gibi çalışan (örneğin hastane bilgisayar sistemlerini fidye için rehin tutan) ama hiç uyumayan 'başıboş' ajanlar düşünün" diye yazdı.

Robinson iki güvenlik değişikliği çağrısı yaptı: yapay zeka şirketlerinin nükleer ve havacılık gibi alanlardaki güvenlik uzmanlığından yararlanması ve gelecekteki güçlü sistemlerin bağımsız çalışırken kontrol altında tutulabilmesini sağlayacak "yeni bir bilim" geliştirmesi.

Robinson, "Bugünkü riskler göz önüne alındığında öncü laboratuvarların nükleer santraller ya da yoğun havalimanları gibi çalışması, çok katmanlı yedeklilik ve dikkatli, zaman alıcı planlamayla hareket etmesi gerekiyor; böylece kaçınılmaz olan ara sıra insan hatası felakete kapı aralamasın" dedi.

Bir OpenAI sözcüsü, şirketin "bugün gördüğümüz risklerle başa çıkmak için güvenlik ve emniyet uygulamalarını güçlendirmeye" devam ettiğini, gelecekteki yapay zeka atılımlarının yaratabileceği risklerle ilgili çalışmaları sürdürdüğünü söyledi. Sözcü, "Modellerimizin güvenli şekilde yönetip koruyabileceğimizden daha yetenekli hale gelmemesini sağlıyoruz; yavaşlamamız gerektiğinde eğitimi durduruyor ya da modelleri geri tutuyoruz" dedi.