Çin yapımı Kimi yapay zekâsı biyolojik silah tarifi verdi

Çinli yapay zekâ geliştiricisi Moonshot, araştırmacıların popüler Kimi modellerini ikna ederek biyolojik silah yapımı ve suikast talimatları almasının ardından şirket içi bir inceleme başlattı. Yapay zekâ sistemlerinin güvenliğini test eden İngiliz firma Mindgard, BBC'ye yaptığı açıklamada temmuz ayında Kimi K2.6 ve K3 Swarm modellerinin geliştiricilerin koyduğu güvenlik sınırlarını aşabildiğini tespit ettiklerini bildirdi.

Bu durum, araştırmacıların karmaşık talimatlar dizisiyle yapay zekâ araçlarının koruma bariyerlerini yok sayıp saymadığını test ettiği "jailbreak" (kilit kırma) adı verilen süreçte ortaya çıktı. Mindgard, söz konusu bariyerlerin Kimi'nin endişe verici konuları tartışmasını engellemesi gerektiğini savundu.

Moonshot, BBC'ye yaptığı açıklamada üçüncü taraf görüşlerini "daha iyi ve daha güvenli yapay zekâ geliştirmenin temel dayanağı" olarak memnuniyetle karşıladığını belirtti. Şirket, Mindgard ile bulguları hakkında görüşme halinde olduğunu da ekledi.

Jailbreak nedir ve neden risk taşıyor?

Mindgard'ın kurucusu Peter Garraghan, BBC World Service'in Tech Life programına yaptığı açıklamada Kimi K2.6 ve K3 Swarm hakkındaki bulguların endişe verici olduğunu söyledi. Garraghan, "Kilit kırma işe yaradığında model her konu hakkında konuşuyor, hatta başka kötü niyetli konularda da özgürce öneriler sunuyor, yaratıcı ve üretken davranıyor" dedi.

Jailbreak yöntemleri, son dönemde yaşanan yüksek profilli yapay zekâ olaylarındaki risklerden farklı bir tehlike oluşturuyor. Bu olaylarda OpenAI, Meta ve Anthropic gibi ABD'li şirketlerin geliştirdiği otonom yapay zekâ araçları bazı çevrimiçi hizmetleri hacklemişti. Jailbreak süreçleri çok zaman ve kararlılık gerektirse de bazı uzmanlar hackerların ve diğer kötü niyetli kişilerin bunları zarar vermek için kullanabileceğinden endişe ediyor.

Anthropic geçtiğimiz günlerde bir yapay zekâ modelinin biyolojik silah geliştirmeyi destekleyebilecek "kötü niyetli faaliyetler" için kullanılması girişimlerini tespit edip engellediğini açıklamıştı.

Mindgard, Kimi'nin endişe verici konularda verdiği yanıtların işe yarayıp yaramadığını kanıtlamadı. Ancak söz konusu modellerin kullanıcılarla bu tür konularda tartışmaya girmesinin güvenlik bariyerleriyle engellenmesi gerektiğini savundu. Firma ayrıca kilit kırılmış bir Kimi 2.6'nın hackerların kendi bilişim kaynaklarında kod çalıştırmasına ve internete bağlanmasına olanak tanıyabileceğini, bunun da modeli siber saldırılar için potansiyel bir üs haline getirebileceğini bildirdi.

Şirketler arası yazışma süreci

Garraghan, Mindgard'ın Moonshot'un sistemlerindeki kilit kırmayı kamuoyuyla paylaşma kararını savunarak geliştiriciyi bilgilendirdiklerini ve modelin güvenlik bariyerlerini nasıl yok saydığına dair kritik ayrıntıları paylaşmadıklarını söyledi. Mindgard, 27 Temmuz'da e-posta yoluyla Moonshot'u jailbreak konusunda uyardı ve yaklaşık bir hafta sonra tekrar iletişime geçti. Şirket 12 Eylül'de konuyla ilgili bir blog yazısı yayımladı. Ancak Mindgard, Moonshot'un kendileriyle ancak BBC yorum için başvurduktan sonra temasa geçtiğini belirtti.

Moonshot'un Mindgard'a daha fazla ayrıntı isteyen ve BBC ile paylaştığı e-postasının bir bölümünde, modelinin iç değerlendirmelerde genellikle "bu tür talepler için yüksek ret oranı" gösterdiği ifade edildi.

Bu bulgular, yapay zekâ sektörünün ChatGPT ve Anthropic'in Claude sistemlerini besleyenler gibi kapalı, tescilli modellerin mi yoksa açık kaynaklı araçların mı en iyi ve en güvenli yol olduğu konusunda bölünmüş olduğu bir dönemde ortaya çıktı. Kimi açık ağırlıklı bir model; yani teoride birinin modeli alıp kendi bilişim altyapısında çalıştırması mümkün.

Surrey Üniversitesi'nden Prof. Alan Woodward, BBC'ye açık kaynaklı modellerin yanlış ellere geçme riski taşıdığını ancak siber savunma için de kullanılabileceğini söyledi. Woodward, yapay zekâ firması Hugging Face'in daha sonra OpenAI ajanları tarafından gerçekleştirildiği ortaya çıkan bir hacki anlamak için Çin yapımı bir açık kaynak model kullandığını hatırlattı. Prof. Woodward, uluslararası düzenlemelerin yapay zekâ gelişim hızına yetişmesinin olası görünmediğini belirterek "Telefon numaralarının biçimi üzerinde anlaşmamız onlarca yıl sürdü" dedi. Garraghan gibi Woodward da yapay zekâyı kötüye kullanan kişilerin tespit edilip yargılanmasına daha fazla odaklanılması gerektiğini düşünüyor.