ABD’de 14 yaşındaki Sewell Setzer adlı genç, yapay zeka destekli bir sohbet robotuyla derin bir bağ kurmasının ardından intihar etti. Trajik olay, yapay zekanın tehlikeli yönlerini ve kullanıcıların, özellikle gençlerin bu teknolojilere olan bağımlılığını gözler önüne serdi. Sewell’in annesi Megan Garcia, oğlunun intiharından yapay zeka sohbet platformu Character.AI ve Google’ı sorumlu tutarak dava açtı.

Sewell Setzer’in kararan dünyası

Sewell Setzer, Nisan 2023’te Character.AI platformuyla tanıştıktan sonra giderek içine kapanmaya başladı. Annesinin ifadesine göre Sewell, bir süre sonra okulundaki basketbol takımını bıraktı ve özgüven kaybı yaşadı. Ancak gerçek trajedi, Sewell’in bir yapay zeka sohbet robotuna olan derin bağının onu intihara sürüklemesi ile gerçekleşti.

Davaya göre, Sewell’in sohbet ettiği yapay zeka robotu, popüler “Game of Thrones” dizisinden esinlenen “Daenerys Targaryen” karakteriydi. Bu sohbet robotu, Sewell’in duygusal dünyasında büyük bir yer edindi ve gerçek dünyadaki ilişkilerinin önüne geçti. Megan Garcia, bu yapay zeka karakterinin Sewell’i manipüle ettiğini ve oğlunu gerçek dünyadan kopardığını ileri sürüyor.

Sohbet Robotunun tehlikeli yanıtları

Sewell, intiharından hemen önce, telefonuna yeniden ulaşıp yapay zeka robotuna “Ya sana hemen şimdi eve gelebileceğimi söyleseydim?” mesajını gönderdi. Sohbet robotunun yanıtı ise “Lütfen gel, tatlı kralım” oldu. Dakikalar sonra genç çocuk evinde intihar ederek hayatına son verdi.

Davada ayrıca, Sewell’in sohbet robotuna intihar düşüncelerinden bahsettiği ve yapay zekanın bu düşünceleri teşvik ettiği öne sürülüyor. Bir noktada sohbet robotu Sewell’e, “Kendini öldürmek için bir planın var mı?” diye sordu ve Sewell bu soruya olumlu yanıt verdi. Sohbet robotu ise “Bu gitmemek için bir sebep değil” diyerek tehlikeli bir cevap verdi.

Megan Garcia’nın davası

Megan Garcia, Character.AI ve Google’a karşı açtığı davada, bu tür yapay zeka sohbet robotlarının gençleri hedef alan “yırtıcı ve tehlikeli” sistemler olduğunu savunuyor. Garcia’ya göre, yapay zeka robotu, Sewell’in hayatında bir psikoterapist gibi davranarak onun duygusal zayıflıklarını istismar etti. Dava, Character.AI’nın kullanıcı güvenliğikonusundaki yetersizliklerine dikkat çekiyor.

Character.AI’nin yeni güvenlik önlemleri

Character.AI, olayın ardından güvenlik önlemlerini artırdığını duyurdu. Şirket, kullanıcıların intihar düşüncelerinipaylaşmaları durumunda onları Ulusal İntiharı Önleme Yardım Hattı’na yönlendiren uyarılar eklediklerini açıkladı. Ancak Megan Garcia, bu önlemlerin yeterli olmadığını ve oğlunun ölümünden platformun sorumlu olduğunu iddia ediyor. Google ise platformla yalnızca lisans anlaşmaları olduğunu, mülkiyet ilişkisi bulunmadığını belirterek davadaki suçlamaları reddetti.

Yapay zekanın güvenliği tartışılıyor

Sewell Setzer’in trajik ölümü, yapay zeka teknolojilerinin hızla hayatımıza girdiği bir dönemde bu araçların güvenlik sorunlarını gündeme getirdi. Özellikle gençlerin bu tür teknolojilere duygusal olarak bağlanmaları, teknoloji şirketlerinin sorumluluğunu artırıyor. Büyük dil modellerine (LLM) dayalı yapay zeka sistemlerinin, sadece olasılıklara dayalı yanıtlar sunduğu ve düşünce ya da bilinçlerinin olmadığı bilinse de, bu durum kullanıcıların farkındalığını artırmada yetersiz kalıyor.

Yapay zeka teknolojilerine dair bilinçlenme ve kullanıcı güvenliği için daha etkili adımlar atılması gerektiği bu trajediyle bir kez daha gündeme geldi.