Перевірка файлу
Якщо з допомогою robots.txt закрити сайт від індексації у вас вийшло, але ви не знаєте, спрацювали чи правильно всі ваші директиви, можна перевірити коректність роботи.
Для початку потрібно знову перевірити розміщення документа. Пам’ятайте, що він повинен бути виключно в кореневій папці. Якщо він потрапив в подкорневную папку, то працювати не буде. Далі відкриваємо браузер і вводимо туди наступний адреса: «http://вашсайт. com/robots.txt» (без лапок). Якщо у веб-браузері з’явилася помилка, отже, файл знаходиться не там, де повинен.
Директиви перевірити можна в спеціальних інструментах, які використовують практично всі веб-майстри. Мова йде про продукти Google і Yandex. Наприклад, Google Search Console є панель інструментів, де потрібно відкрити «Сканування», а після запустити «Інструмент перевірки файлу robots.txt». У вікно необхідно скопіювати всі дані з документу і запустити сканування. Точно таку ж перевірку можна зробити в «Яндекс.Вебмастер».
