Особливість ботів
«Павуки» в пошукових систем різні, тому якщо ви працюєте відразу на кілька пошукачів, отже, доведеться враховувати цей момент. Імена у них різні, а значить, якщо ви хочете звернутися до конкретного роботу, вам доведеться вказати його ім’я: «User Agent: Yandex» (без лапок).
Якщо ж ви хочете задати директиви для всіх пошуковиків, значить необхідно використовувати команду: «User Agent: *» (без лапок). Щоб правильно з допомогою robots.txt закрити сайт від індексації, необхідно дізнатися специфіку найпопулярніших пошуковиків.
Справа в тому, що у найпопулярніших пошукових систем Yandex і Google є кілька ботів. Кожен з них займається своїми завданнями. Наприклад, Yandex Bot та Googlebot – основні «павуки», які сканують сайт. Знаючи всіх ботів, буде простіше точно налаштувати роботу індексації вашого ресурсу.
