ChatGPT gibi yapay zeka araçları kişisel ve profesyonel dünyamızı değiştirdi. Bununla birlikte Amerikalı yetişkinlerin yaklaşık %52’si düzenli olarak büyük dil modeli (LLM) kullanıyor. Şimdi, yeni bir çalışma istemlerimizin çevresel maliyetlerini ayrıntılarıyla anlatıyor ve hangi sohbet robotunu kullandığınızı ve nasıl kullandığınızı iki kere düşünmenizi sağlayabilir.
Yapay zekanın karbon maliyeti
Almanya’daki Hochschule München Uygulamalı Bilimler Üniversitesi’nden (HM) araştırmacılar, temel bilgi tabanlarından daha karmaşık bilgi tabanlarına kadar uzanan 14 farklı LLM’ye baktılar ve hepsine aynı 1.000 “kıyaslama” sorusunu verdiler. LLM’nin ürettiği “token” sayısı daha sonra sera gazı emisyonlarına çevrilebilir.
HM’de araştırmacı olan ilk yazar Maximilian Dauner: “Sorgulama eğitimi almış LLM’lerin çevresel etkisi, açık muhakeme süreçleri enerji tüketimini ve karbon emisyonlarını önemli ölçüde artırdığı için, muhakeme yaklaşımları tarafından güçlü bir şekilde belirlenir. Muhakeme destekli modellerin, özlü yanıt modellerine göre 50 kata kadar daha fazla CO2 emisyonu ürettiğini bulduk” diyor.
LLM’lerin nasıl çalıştığını ve çevre açısından nasıl bu kadar maliyetli hale geldiğini anlamak için, belirteçlere ve parametrelere bakmak önemli. Bir istem yazdığımızda istemimizin parçalarını temsil eden belirteçler üretiriz. LLM daha sonra çalışmaya başladıkça bunlardan daha fazlasını üretir. Daha yoğun gelişmiş akıl yürütme yeteneklerine sahip LLM’ler daha da fazla belirteç oluşturur. Belirteçler esasen hesaplamadır (arama, bağlantı kurma, değerlendirme) ve hesaplama güç gerektirir. Bu güç CO2 emisyonlarına neden olur.
Bir LLM eğitildiğinde, bir sinir ağının içindeki sayılar olan parametreleri ayarlayarak “öğrenir”. Bu parametreler, modelin bir jetondan diğerine nasıl tahmin ettiğini kontrol eder. Bu nedenle, daha az parametreye sahip bir model daha basit ve daha az “ağırlığa” sahip olarak kabul edilir ve daha az jeton üretir ancak o kadar doğru olmayabilir. Diğer taraftan, yüksek miktarda parametreye sahip bir model de yüksek miktarda ağırlığa sahip olacaktır.
Dauner, “Şu anda LLM teknolojilerinde doğal olarak net bir doğruluk-sürdürülebilirlik dengesi görüyoruz” dedi. “Emisyonları 500 gram CO2 eşdeğerinin altında tutan modellerin hiçbiri 1.000 soruyu doğru yanıtlamada %80’den daha yüksek bir doğruluk elde edemedi” diyor.
