Този файл съдържа набор от инструкции, според които работят ботовете за търсене. Файлът се намира в основната папка. Това споразумение е необходимо, така че ботовете да започнат да индексират страницата, като прочетат правилата, зададени от файла.
Оказва се, че роботите дават инструкции кои директории с ресурси могат да бъдат индексирани.
Какви функции изпълнява robots
При намиране на нова страница, роботът на търсачката следва Библиотека с телефонни номера всички посочени на нея връзки, в резултат на което те попадат в базата данни. След определено време заснетите страници се добавят към списъците с резултати от търсенето. Трябва да се отбележи, че това важи за абсолютно всички забелязани страници, дори и тези, които не са насочени към посетителите на ресурса, но са необходими за осигуряване на правилното му функциониране.
За да попречат на ботовете да индексират ненужни URL адреси, програмистите трябва да създадат и правилно да конфигурират файл за тях и да го поставят в „правилната“ (главна) директория на сайта, например.
Ако вземем предвид факта
че наличието на файл не влияе по никакъв начин на класирането, той просто липсва в много сайтове. Този подход не може да се нарече правилен, тъй като роботите предоставят цял набор от предимства:
Възможност за забрана на пълно или частично индексиране на сайт, ограничаване на кръга от ботове, които имат право да извършват това действие. Пълната забрана е добро решение в ситуация, в която сайтът е на етап реставрация, модернизация или създаване.
Защита от спам ботове. Използва се за сканиране на страници за наличие на имейл адреси. В бъдеще тези адреси се използват за изпращане на рекламни писма.
Скриване на определени раздели от ресурса, които са насочени не към търсачките, а към конкретни потребители с разширени разрешения. Тези раздели може да съдържат лична информация и друга информация от подобен характер.
Кога да конфигурирате robots.txt
Съответните операции се извършват директно на етапа на разработване на ресурса. Докато проектът не бъде завършен, е по-добре програмистите да го „скрият“ от вездесъщите роботи за търсене. Защо се прави това? Отговорът е прост – така че празни страници, секции, които все още не са завършени, да не попаднат в списъците с резултати от търсенето. Те не представляват никаква стойност за клиента и следователно могат да развалят цялостното впечатление за компанията.
Някои програмисти обаче, дори след стартиране на сайта, забравят, че той трябва да бъде активиран за индексиране:
Потребителски агент
Забрана: /
Резултатът от такова безотговорно отношение е тъжен. Трафикът не се увеличава, освен това ресурсът не може да се появи на високи позиции в списъците с резултати от търсенето, тъй като търсачките bağlantı qurma agentliyi ilə ayda 45,000 avro case study просто не го виждат. За човек без опит е трудно да разбере, че проблемът в тази ситуация е малък файл – не се коригира или преконфигурира, поради което проблемът се проточва с месеци. В същото време сайтът изглежда привлекателен, изпълнен с интересна, актуална информация, но няма трафик или заявки и не носи печалба.
Нашата компания взема предвид тази точка. Ако се обърнем към компания за рекламиране на проект, първо внимателно проверяваме дали в основата е създаден индексен текстов файл и дали настройките му са правилни.
Как да конфигурирате правилно robots.txt
За да се поддържа поведението на търсещите ботове под контрол, се използва командата User-agent. Нека да разгледаме най-често срещаните примери за използването му, уникални „заявки“ към ботове, изпълняващи функции за търсене:
Потребителски агент:
– командата зад реда се отнася за всички търсачки.
Потребителски агент: YandexBot
– версия, насочена към роботи на Yandex.
Потребителски агент: Googlebot
-аналог за Google;
Потребителски агент:
Забрана: /
– забранява индексирането от всички роботи за търсене.
Забрани
– това е обща команда, която означава, че индексирането е деактивирано за всички ботове.
Потребителски агент:
Забрана: /admin/
– командата не позволява на ботовете да работят с папка, до която bulk lead имат достъп само администратори, директорията /admin/.
Allow от своя страна е команда за разрешение за индексиране.
Потребителски агент
Disallow: /ягода/
– команда, която забранява на конкретен бот (в случая става дума за Google) да индексира папката /strawberry/. Но този позволява индексиране – Allow: /strawberry/images/.
Потребителски агент: YandexBot
Разрешаване: /
– команда, благодарение на която ботът за търсене на Yandex може да индексира всички страници на ресурса.
Crawl-delay – определяне на периода от време, който роботът трябва да издържи при зареждане на страници. Това е необходимо за предотвратяване на прекомерно натоварване на сървъра. Нуждата от тази команда обаче става все по-малка, тъй като много търсачки вече поддържат интервал от 1-2 секунди по подразбиране.
Потребителски агент:
Забавяне при обхождане: 10
Карта на сайта – индикация на картата на ресурса. Необходимо е да се посочи (както и да се създаде). Пише се строго в края на robots.txt. Адресът и пътят, водещ до картата, се коригират в съответствие с конкретния ресурс.
