Sainsbury's yapay zeka kameralarını hatalı uyarı sonrası askıya aldı

İngiltere'de faaliyet gösteren Sainsbury's süpermarket zinciri, Londra'nın güneydoğusundaki East Dulwich şubesinde kullandığı canlı yüz tanıma teknolojisini, masum bir müşterinin hırsız olarak yanlış işaretlenmesi üzerine geçici olarak durdurdu. 46 yaşındaki komedi organizatörü Matt Arnold, 6 Ağustos'ta alışveriş yaptığı sırada mağaza yönetimi tarafından self-servis kasada durduruldu ve mağazadan çıkarıldı.

Arnold, deneyimi 'geleceğin dehşet verici bir önizlemesi' olarak nitelendirerek, perakende gözetim teknolojisinin müşterileri aşağılayabileceği ve çalışanların insan mantığı kullanmadan otomatik uyarılara uymak zorunda kaldığı bir sistem yaratabileceği konusunda uyardı. Olay, Arnold'un alkol satın alımını onaylaması için bir çalışanı beklerken meydana geldi. Alışverişini Nectar sadakat kartıyla birlikte taramıştı ve bir görevliye el salladığını söyledi. Ancak bunun yerine iki yönetici yanına geldi ve 'hafta başında yaşanan bir olay' nedeniyle kendisine hizmet verilemeyeceğini söyledi.

Arnold, BBC London'a yaptığı açıklamada, çalışanların yapay zeka tarafından tanımlandığını ve kameraların kendisini işaretlediğini söylediğini aktardı. 'Bir hırsız bu kadar çok alışverişle dolaşmaz, bunları taratmaz, Nectar kartını kullanmaz' diyerek şaşkınlığını dile getirdi. Asıl üzücü olanın, insanların makinenin söylediklerini düşünmeden uyguladığı bir geleceğin mümkün olabileceğini görmek olduğunu belirtti.

Benzer olaylar yeniden yaşandı

Arnold, mağazadan çıkarıldıktan sonra girişteki kamera izleme ekranında yüzünün etrafında kırmızı bir daire bulunan bir uyarı gördüğünü söyledi. Sainsbury's genel merkezi ertesi gün Arnold'dan özür diledi ve hatanın yazılımdan değil 'insan hatasından' kaynaklandığını savundu. Şirket, ayrı bir uyarının ardından personelin yanlış kişiyi hedef aldığını iddia etti.

Bu, Facewatch teknoloji firması tarafından sağlanan Sainsbury's yüz tanıma sisteminin masum bir müşterinin sorgulanmasına yol açtığı ilk olay değil. Eylül ayında Warren Rajah adlı bir müşteri, Elephant and Castle şubesinde aynı Facewatch yazılımı tarafından yanlış işaretlenerek mağazadan çıkarılmıştı. Güvenlik firması daha sonra Rajah'ın sisteminde bile olmadığını doğruladı ve olay yine 'insan hatası' olarak nitelendirildi. Facewatch'ın benzer uygulamalarının diğer perakendecilerde de sorunlara yol açtığı biliniyor.

Mağaza çalışanları için endişeler

Arnold, yaşadıklarının, çalışanların kalabalık mağaza ortamında sistemi yönetmekte zorlandığını gösterdiğini söyledi. 'Başıma gelen feci olsa da personel için üzülüyorum. Hatalar olacak; AI kurallarını doğru uygulayacak şekilde eğitilmemişler' dedi. Ayrıca Sainsbury's'in iddia ettiği gibi teknolojinin %99,98 doğru olduğunu varsaysak bile, haftada milyonlarca müşterinin alışveriş yaptığı mağazalarda %0,2'lik hata oranının 'çok sayıda insan' anlamına geldiğine dikkat çekti.

Sainsbury's sözcüsü, teknolojinin Dulwich'teki mağazada soruşturma sürerken durdurulduğunu doğruladı ancak sistemin yaygınlaştırılmasını savunarak perakende çalışanlarına yönelik artan şiddete dikkat çekti. Sözcü, Arnold'dan özür dilendiğini ve olayın yüz tanıma teknolojisinden değil insan hatasından kaynaklandığını belirtti. Facewatch sözcüsü de teknolojinin 'suçlu olmadığını' ve doğru bir uyarının gönderildiğini, ancak mağazada insan hatası yapıldığını savundu. Şirket, mağazanın askıya alınmasının, personel ek eğitimden geçerken daha fazla uyarıyı önlemek için 'ihtiyati tedbir' olduğunu ekledi.

Sainsbury's, sistemin ilk denemelerinde hırsızlık ve antisosyal davranış vakalarında %46 azalma olduğunu ve suçluların %90'ından fazlasının mağazaya geri dönmediğini öne sürdü. Sivil özgürlükler grubu Big Brother Watch direktörü Silkie Carlo ise teknolojinin 'müşterilere suçlu muamelesi yaptığını' belirterek Sainsbury's'i teknolojiyi kaldırmaya çağırdı. Arnold, Sainsbury's'in kendisine verdiği 150 sterlinlik jestiyon çekini yerel bir gıda bankasına bağışladı ve teknolojinin diğer mağazalarda neden aktif olmaya devam ettiğini sorguladı.