Този файл съдържа набор от инструкции, според които работят ботовете за търсене. Файлът се намира в основната папка. Това споразумение е необходимо, така че ботовете да започнат да индексират страницата, като прочетат правилата, зададени от файла. Оказва се, че роботите дават инструкции кои директории с ресурси могат да бъдат индексирани. […]
