Приклади
Отже, з допомогою robots.txt закрити сайт від індексації можна простими командами, головне – розуміти, що потрібно конкретно. Наприклад, якщо ви хочете, щоб робот Google не наближався до вашого ресурсу, необхідно дати йому відповідну команду. Вона буде виглядати: «User-agent: Googlebot Disallow: /» (без лапок).
Тепер потрібно розібрати, що ж в цій команді і як вона працює. Отже, «User-agent» застосовується для того, щоб було використано пряме звернення до якогось із ботів. Далі ми вказуємо до якого саме, в нашому випадку це Google. Команда «Disallow» повинна починатися з нового рядка і заборонити роботу заходити на сайт. Символ слеша в даному випадку говорить про те, що для виконання команди вибрані всі сторінки ресурсу.
В robots.txt заборона індексації для всіх пошукових систем можна виконати простою командою: «User-agent: * Disallow: /» (без лапок). Символ зірочки в даному випадку позначає всі пошукові роботи. Зазвичай така команда потрібна для того, щоб припинити індексацію сайту і почати кардинальні роботи над ним, які в іншому випадку могли б вплинути на оптимізацію.
Якщо ресурс великий і має багато сторінок, часто там є службова інформація, яку або небажано розголошувати, або вона може негативно вплинути на просування. У цьому випадку потрібно розуміти, як закрити сторінку від індексації robots.txt.
Можна сховати папку або файл. У першому випадку потрібно знову-таки почати з обігу до певного боту або всім, тому використовуємо команду «User-agent», а нижче вказуємо команду «Disallow» для певної папки. Це буде виглядати наступним чином: «Disallow: /папка/» (без лапок). Таким чином ви заховаєте всю папку. Якщо в ній є якийсь важливий файл, який ви хотіли б показати нижче потрібно написати команду: «Allow: /папка/файл.рһр» (без лапок).
