Google, Vertex AI ürününün ticari müşterileri adına tarama yapan yeni bir botu tarayıcı belgelerine sessizce ekledi. Yeni tarayıcının yalnızca site sahipleri tarafından kontrol edilen siteleri tarayabileceği görülüyor, ancak belgeler bu konuda tamamen net değil.
Vertex AI Ajanları
Google-CloudVertexBot adlı yeni tarayıcı, Vertex AI müşterileri için web sitesi içeriğini alır. Google Cloud belgeleri, çeşitli veri depoları türleri olduğunu belirtir ve bunlardan biri kamuya açık web sitesi verileridir. Tarama konusunda iki tür web sitesi taraması olduğunu ve her birinin belirli sınırlamaları olduğunu açıklar:
1. Temel web sitesi indeksleme
2. Gelişmiş web sitesi indeksleme
Belgeler kafa karıştırıcıdır. Temel web sitesi indeksleme için site sahibi doğrulamasından bahsedilmezken, Gelişmiş web sitesi indeksleme için alan doğrulaması gerektiği ve indeksleme kotaları olduğu belirtilir. Ancak, yeni tarayıcı için belgeler, tarayıcının “site sahiplerinin talebi üzerine” tarama yaptığını belirtir, bu nedenle kamuya açık siteleri taramayabilir.
Yeni Google Tarayıcısı
Yeni tarayıcı Google-CloudVertexBot olarak adlandırılır. Bu tarayıcı, site sahiplerinin yeni tarayıcı trafiğini tanımlamalarına yardımcı olmak için tanıtılmıştır. Belgeler, yeni tarayıcının kamuya açık siteleri indekslemediğini ima eder, ancak değişiklik günlüğü, site sahiplerinin yeni tarayıcı trafiğini tanımlayabilmesi için eklendiğini belirtir. Bu nedenle, yeni tarayıcıyı robots.txt ile engellemek mantıklı olabilir.
Pazarlama ile ilgili işler yapanlar için bu makale önemlidir çünkü yeni tarayıcı, web sitelerinin nasıl tarandığını ve indekslendiğini etkileyebilir. Bu bilgi, web sitelerinin arama motoru optimizasyonu (SEO) stratejilerini güncellemelerine ve yeni tarayıcı trafiğini izlemelerine yardımcı olabilir.
Kaynak: https://www.searchenginejournal.com/google-vertex-ai-crawler/524956/
