Yapay zeka modelleri aynı anda binlerce kelimeyi analiz edebiliyor. Ancak bir Google araştırmacısı bunu milyonlara çıkarmanın bir yolunu buldu.
Şu anda ChatGPT en fazla birkaç bin kelimeyi alabiliyor. Daha büyük yapay zeka modelleri daha fazlasını işleyebilir, ancak yalnızca yaklaşık 75.000’e kadar. Ya bu modellere milyonlarca kelimeyi, kod tabanlarını veya büyük videoları aktarabilseydiniz?
Yapay zeka kelime analizi konusunda yeni ilerleme
Bir Google araştırmacısı, Databricks CTO’su Matei Zaharia ve UC Berkeley profesörü Pieter Abbeel ile birlikte tam da bunu yapmanın bir yolunu buldu. Yakın zamanda yayınlanan bir araştırma makalesinde ortaya çıkan ilerleme, bu güçlü yeni teknoloji araçlarıyla etkileşim şeklimizi kökten değiştirmeyi vaat ediyor.
Sektörde bu şeyler “belirteçler” ve “bağlam pencereleri” temel alınarak ölçülüyor. Jeton, bir kelimeyi veya kelimenin bir kısmını, bir sayıyı veya benzer bir şeyi temsil edebilen bir birim olarak isimlendiriliyor. Bağlam penceresi, bir soruyu, metni veya diğer girişleri bir sohbet robotuna veya yapay zeka modeline yerleştirdiğiniz alan. Böylece içeriği analiz edebilir ve akıllıca bir şeyler sunabilir.
Yapay zeka girişimi Anthropic ve onun sohbet robotu Claude, 100.000 jetona kadar bir bağlam penceresine sahip ve bu da kabaca 75.000 kelimeye kadar işliyor. Bu aslında sistemin hemen alabileceği ve onunla akıllıca şeyler yapabileceği bir kitap. OpenAI’nin GPT-3.5 modelinin bağlam uzunluğu 16.000 token. GPT-4’ün değeri İSE 32.000. Son araştırma makalesine göre, Databricks’in sahibi olduğu MosiacML tarafından oluşturulan bir model 65.000 tokeni işleyebiliyor.
UC Berkeley doktora öğrencisi ve Google DeepMind’da yarı zamanlı araştırmacı olan Hao Liu, “Neredeyse Sonsuz Bağlam için Blok Yönlü Transformatörlerle Dikkat Çekin” başlıklı makalenin ortak yazarı. Bu, 2017 yılında yapay zekada devrim yaratan ve ChatGPT’nin yanı sıra GPT-4, Llama 2 ve Google’ın yakında çıkacak olan Gemini gibi son yıllarda ortaya çıkan tüm yeni modellerin temelini oluşturan orijinal Transformer mimarisinin bir tekrarı. Temel fikir, modern yapay zeka modellerinin verileri, GPU’ların çeşitli dahili çıktıları depolamasını ve ardından bunları bir sonraki GPU’ya aktarmadan önce yeniden hesaplamasını gerektirecek şekilde parçalaması.
Bu çok fazla bellek gerektiriyor ve yeterli değil. Bir yapay zeka modelinin işleyebileceği girdi miktarını sınırlıyor. GPU ne kadar hızlı olursa olsun, bellek darboğazı bulunuyor. Liu: “Bu araştırmanın amacı bu darboğazı ortadan kaldırmaktı” diyor. Zaharia ve Abbeel ile yarattığı yeni yaklaşım, sürecin parçalarını bir sonraki GPU’ya aktaran ve aynı anda diğer GPU komşularından benzer bloklar alan bir tür GPU halkası oluşturuyor. Araştırmacılar GPU’lara atıfta bulunarak “Bu, bireysel cihazların dayattığı bellek kısıtlamalarını etkili bir şekilde ortadan kaldırıyor” diye yazdı.