Cloudflare artık varsayılan olarak AI tarayıcılarını engelleyecek. İnternet mimarisi sağlayıcısı ayrıca bazı yayıncıların, sitelerini taramak için Cloudflare yapay zeka tarayıcılarına ödeme yapmalarına izin verecek.
Cloudflare yapay zeka için düzenleme yapıyor
Cloudflare tarafından yapılan bir duyuruya göre, artık bilinen Cloudflare AI web tarayıcılarını “izin veya tazminat olmadan içeriğe erişmelerini” önlemek için varsayılan olarak engelleyecek. Değişiklikle birlikte Cloudflare, yeni alan adı sahiplerine AI kazıyıcılarına izin vermek isteyip istemediklerini sormaya başlayacak ve hatta bazı yayıncıların “Tarama Başına Ödeme” ücreti uygulamasına izin verecek.
Pay Per Crawl programı, yayıncıların AI kazıyıcılarının içeriklerine erişmesi için bir fiyat belirlemesine olanak tanıyacak. AI şirketleri daha sonra fiyatlandırmayı görüntüleyebilir ve “Pay Per Crawl” ücretine kaydolmayı veya reddetmeyi seçebilir. Bu, şimdilik yalnızca “önde gelen yayıncılardan ve içerik oluşturucularından oluşan bir grup” için geçerli ancak Cloudflare, bunun “yapay zeka şirketlerinin kaliteli içeriği doğru şekilde kullanabilmesini” sağlayacağını söylüyor.
Cloudflare bir süredir alan adı sahiplerinin AI tarayıcılarıyla mücadele etmesine yardımcı oluyor. Şirket, web sitelerinin AI tarayıcılarını engellemesine 2023’te izin vermeye başladı, ancak bu yalnızca bir sitenin robots.txt dosyasına uyanlar için geçerliydi. Bu, botların içeriğini tarayıp tarayamayacağını belirten uygulanamaz bir anlaşmasını içeriyor.
Cloudflare, web sitelerinin “tüm” AI botlarını engellemesine geçen yıl izin vermeye başladı; bir sitenin robots.txt dosyasına saygı duyup duymadıklarına bakılmaksızın ve şimdi bu ayar yeni Cloudflare yapay zeka müşterileri için varsayılan olarak etkin. Cloudflare ayrıca Mart ayında, web tarayıcı botlarını izinsiz site taramaktan caydırmak için bir “AI Labirenti”ne gönderen bir özellik kullanıma sundu.
