Yapay Zeka Araştırmalarında Dil Eşitliği Koalisyonu (CLEAR) tarafından yürütülen yeni bir araştırma, dünya genelinde kullanılan yapay zeka modellerinin belirli dilleri işlemek için İngilizceye kıyasla çok daha fazla token harcadığını ortaya koydu. Rest of World tarafından paylaşılan verilere göre, bu teknik dengesizlik, özellikle İngilizce dışındaki dilleri konuşan kullanıcılar için yapay zeka hizmetlerini daha pahalı hale getiriyor. Tokenizer adı verilen sistemlerin, dijital verisi az olan dilleri optimize edememesi, kullanıcıların aynı işlem için 17 kata kadar daha fazla ücret ödemesine neden oluyor. Bu durum, yapay zeka dünyasında “tokenizer vergisi” olarak adlandırılan gizli bir dijital eşitsizliği derinleştiriyor.
- Yapay zeka modelleri, dijital verisi az olan dilleri işlemek için İngilizceden 17 kata kadar daha fazla token tüketiyor.
- Token bazlı fiyatlandırma modelleri, az temsil edilen dil gruplarının aynı hizmet için daha yüksek ücret ödemesine yol açıyor.
- Latin alfabesini kullanmayan veya dijital dünyada düşük temsil oranına sahip diller bu maliyet artışından en çok etkilenen gruplar arasında yer alıyor.
- Uzun token kullanımı, yanıt sürelerinin yavaşlamasına ve yapay zeka modellerinin bağlam pencerelerinin daha çabuk dolmasına sebep oluyor.
Tokenizasyon Süreci Maliyetleri Doğrudan Etkiliyor
Büyük dil modellerinin (LLM) temel çalışma prensibi olan tokenizasyon, metinlerin anlamlı parçalara bölünmesini sağlar. Ancak bu sistemler, eğitildikleri veri setlerinin ağırlığına göre tasarlanmıştır. İngilizce gibi yoğun dijital veriye sahip dillerde tokenizasyon oldukça verimli çalışırken, diğer dillerde süreç çok daha karmaşık hale gelir. Araştırmacılar, en yaygın 20 dilde bile bu verimlilik farkının 1,5 ile 5 kat arasında değiştiğini belirtiyor.
Kullanıcılar için bu teknik detay, faturalara yansıyan bir maliyet olarak geri dönüyor. Çoğu yapay zeka sağlayıcısı, işlem başına token sayısı üzerinden ücretlendirme yaptığı için, daha fazla token tüketen diller doğal olarak daha maliyetli bir kullanıcı deneyimi sunuyor. Sadece maddi kayıplarla sınırlı kalmayan bu sorun, aynı zamanda yapay zekanın yanıt verme hızını düşürüyor ve modelin hafıza kapasitesini (bağlam penceresini) hızla tüketerek performans kayıplarına yol açıyor.
Dijital Eşitsizlik Milyonlarca İnsanı Etkiliyor
Bu “tokenizer vergisi” sadece az konuşulan dillerle sınırlı bir sorun teşkil etmiyor. Aksine, yüz milyonlarca insanı kapsayan Bengalice, Urduca ve Pencapça gibi diller, bu adaletsiz fiyatlandırma sisteminin mağduru oluyor. Çalışma, dünya genelinde milyonlarca kişinin yapay zekanın sunduğu aynı zeka kapasitesine ulaşmak için İngilizce konuşan kullanıcılara kıyasla çok daha fazla bedel ödediğini vurguluyor.
Özellikle Birmanca, Tibetçe, Kmerce ve Laoca gibi kendine özgü alfabe sistemlerine sahip diller, yapay zeka modellerinin eğitim verilerinde yeterince yer almadığı için sistem tarafından daha parçalı ve verimsiz bir şekilde işleniyor. Buna karşılık, Latin alfabesini kullanan diller, konuşur sayıları az olsa dahi teknolojik altyapı avantajından faydalanabiliyor. Bu durum, yapay zekanın küresel ölçekte adil bir şekilde benimsenmesinin önündeki en büyük engellerden biri olarak görülüyor.
Sizce yapay zeka modellerinin daha kapsayıcı ve adil bir fiyatlandırma sistemine geçmesi için geliştiriciler hangi adımları atmalıdır? Kendi dilinizde yapay zeka araçlarını kullanırken benzer bir performans veya maliyet farkı gözlemlediyseniz, deneyimlerinizi yorum bölümünde bizimle paylaşabilirsiniz.
