Робот проверяет, что файл robots.txt существует, он не пуст и его содержание валидно.
№34 - Доступность и корректность robots.txt
Если вам нужен Sensorium для внутренних нужд компании или QA-автоматизации в корпоративных сетях, напишите нам