Роботс txt
Робот txt – это текстовый файл, который располагается на сайте. Он не виден для пользователей и посетителей сайта, так как предназначен исключительно для поисковых систем. Вебмастер сайта или даже его владелец с соответствующими знаниями и умениями может в этом файле поместить параметры индексирования данного сайта. Они могут быть указаны сразу для всех поисковых систем или же для каждой системы в отдельности.
Вебмастерам сайтов можно скачать правильный робот txt для анализа или же создать его самостоятельно. Если вебмастер не уверен в уровне своего профессионализма, то, безусловно, лучше скачать правильный робот текст, который будет адекватно работать на сайт. В ином случае его можно с легкостью создать, что под силу большинству вебмастеров. С помощью любого текстового редактора создается документ с именем robots.txt. Далее необходимо заполнить файл необходимой информацией в соответствии с правилами, после чего его можно загружать в корневой каталог сайта. Для того, чтобы проверить корректность работы файла, можно проверить его с помощью анализатора робот txt.
Основные директивы этого текстового файла следующие. Первое – это имя робота, которому дается указание: User-Agent. Следующая директива запрещает индексирование, если это требуется: Disallow. Sitemap – это указание расположения карты представленного сайта.
От такого маленького и простого файла напрямую зависит львиная доля от правильной индексации проекта и ее быстроты. Если файл был неправильно, некорректно составлен, то поисковые системы могут просто могут исключить некоторые его страницы. Также ненужные, дублированные страницы могут попасть в результаты поиска этих поисковых систем. Кроме того, может произойти нежелательное дублирование информации с сайта, в результате чего она может оказаться на других сайтах и ресурсах.
19.09.2013, 1643 просмотра.
