ChatGPT, Dall-E2 ve AlphaCode gibi üretken yapay zeka (genAI) platformları büyük bir hızla ilerlerken, araçların halüsinasyon görmesini ve hatalı ya da saldırgan tepkiler yaymasını önlemek neredeyse imkansız.
Bugüne kadar, genAI’nin temelini oluşturan büyük dil modellerinden (LLM’ler) doğru bilgilerin çıkmasını sağlayacak çok az yöntem vardı. Yapay zeka araçları geliştikçe ve doğal dili taklit etme konusunda daha iyi hale geldikçe, yakında sahte sonuçları gerçek olanlardan ayırt etmek imkansız hale gelecek ve bu da şirketleri, ister kazara ister kötü aktörlerin kasıtlı çabaları olsun, en kötü sonuçlara karşı “korkuluklar” kurmaya sevk edecek. Patronus genAI konusunda daha ileri seviyeye ulaşacak.
Patronus genAI hatalarına odaklanıyor
GenAI araçları aslında bir sonraki kelime tahmin motorları şeklinde çalışıyor. ChatGPT, Microsoft’un Copilot’u ve Google’ın Bard’ı gibi yeni kelime oluşturucular kontrolden çıkabilir ve yanlış veya yanıltıcı bilgiler yaymaya başlayabilir. Eylül ayında, iki eski Meta AI araştırmacısı tarafından kurulan bir girişim, modellerin tutarsızlıklar, yanlışlıklar, halüsinasyonlar ve önyargılar açısından izlenmesi için çekişmeli testler kullanarak şirketlerin LLM’leri güvenli bir şekilde kullanmalarına yardımcı olan otomatik bir değerlendirme ve güvenlik platformunu yayınladı.
Patronus AI, araçlarının yanlış bilgileri ve bir LLM’nin istemeden özel veya hassas verileri ifşa ettiğini tespit edebildiğini söyledi. Patronus’un kurucusu ve CEO’su Anand Kannappan: “Bütün bu büyük şirketler LLM’lere dalıyor ama bunu körü körüne yapıyor. Modeller için üçüncü taraf değerlendirici olmaya çalışıyor. İnsanlar yapay zekaya güvenmiyor çünkü halüsinasyon olup olmadığından emin değil. Bu ürün bir doğrulama kontrolü” dedi.
Patronus’un SimpleSafetyTests teşhis aracı paketi, yapay zeka sistemlerini kritik güvenlik riskleri açısından araştırmak için tasarlanmış 100 test istemini kullanıyor. Şirket, yazılımını, örneğin SEC dosyalarını anlayıp anlayamadıklarını görmek için OpenAI’nin ChatGPT’si ve diğer yapay zeka sohbet robotları da dahil olmak üzere en popüler genAI platformlarından bazılarını test etmek için kullandı. Patronus, sohbet robotlarının yüzde 70 oranında başarısız olduğunu ve yalnızca ilgili bilgiyi tam olarak nerede arayacakları söylendiğinde başarılı olduklarını söyledi. Araştırma firması Gartner’ın başkan yardımcısı ve seçkin analistlerinden Avivah Litan, yapay zeka halüsinasyon oranlarının yüzde 3 ila yüzde 30 arasında “her yerde” olduğunu söyledi. Ancak Gartner, 2025 yılına kadar genAI’nın güvence altına alınması için daha fazla siber güvenlik kaynağına ihtiyaç duyacağını ve bunun da harcamalarda yüzde 15’lik bir artışa neden olacağını öngördü.
