Индекс поисковой системы – база данных, в которой содержится собранная роботами-индексаторами информация о документах. Под индексацией сайта подразумевают процесс занесения в базу данных информации, касающейся нового сайта. Эта информация главным образом касается расположения ключевых слов на страницах ресурса и исходящих ссылок. Иногда индексироваться могут и графические изображения. После обработки полученной информации поисковики при помощи специальных алгоритмов ранжирования выводят сайт на определенную позицию в выдаче. Из-за постоянного обновления базы данных количество проиндексированных страниц постоянно изменяется.
Сегодня применяются два способа индексации ресурсов – автоматический и ручной. Ручной способ индексации предполагает добавление сайта при помощи формы для индексации, после чего информация о местонахождении сайта становится доступной для робота. Автоматический режим не подразумевает вмешательства пользователя. Для ускорения автоматической индексации используют внешние ссылки с сайтов, которые уже прошли индексацию.
Индексацией сайта управляют при помощи файла robot.txt, с помощью которого можно разрешить или запретить роботу доступ к той или иной странице ресурса.
01.10.2012, 4192 просмотра.