AI Tarayıcı Erişim Kontrolü

robots.txt bir niyeti ifade eder. Bu test gerçek bir sayfayı her tarayıcı gibi çeker ve dönen yanıtı okur; böylece robots.txt’nin yakalayamadığı iki durumu yakalar: bir user agent’ı yine de reddeden bir sunucu ve yalnızca JavaScript çalıştıktan sonra var olan içerik.