Поисковые системы используют для индексации сайтов специальные программы, которые называются роботами. Другое название этих программ – пауки. Такой паук путешествует по сайтам и собирает с них всю имеющуюся на них информацию в отдельную базу данных. Затем собранная информация анализируется (в частности, на уникальность), и по степени ее значимости появляется в результатах выдачи поисковых систем. Помимо контента программа-робот анализирует и ссылки, размещенные на странице. С их помощью он переходит по другим страницам как внутри сайта, так и за его пределами. И везде собирает всю нужную, по заложенному в него алгоритму информацию. Вот почему столь важно правильно перелинковывать между собой все материалы, имеющиеся на сайте.

Если же взаимных ссылок на материалы на сайте не будет присутствовать, то много контента может попросту пройти мимо внимания поисковых систем. А если на сайте будет присутствовать множество внешних ссылок, то с большой долей вероятности робот уйдет по одной из них на сторонний ресурс и вновь посетит ваш ресурс весьма нескоро.

Очень важно правильно управлять роботом-пауком. При правильном подходе его можно буквально заставить пройти по всем нужным страницам ресурса и проиндексировать их.

Какие же для этого придуманы средства? Это специальный файл, который носит гордое название robots.txt, метаданные и специальные теги. Но и здесь есть один нюанс: в последнее время поисковики в очень малой степени стали учитывать метаданные, так что их можно и не заполнять. Хотя… Информации от самих поисковых систем по данному вопросу поступает очень мало, и можно принимать на веру только результаты различных экспериментов веб-мастеров и SEO-оптимизаторов, но и тут результаты очень разнятся: у кого-то метаданные помогли в индексации, у кого-то – нет. Не последнюю роль в индексации контента имеет и правильное выделение текста и структурирование его по заголовкам, выделению, нумерованным и маркированным спискам. Под метаданными понимается совокупность действия вебмастера по составлению правильного заголовка к страницам (title), краткого и емкого описания (description), выделение из текста ключевых слов (keywords).

Когда робот попадает на ресурс, он первым делом ищет файл robots.txt, который располагается в корне сайта. Все свои дальнейшие действия паук будет предпринимать в соответствии с директивами, которые изложены в этом файле.

Структура у файла robots.txt довольно простая:

User-agent: имя робота;

Disallow: страницы, которые запрещены к индексации;

Аllow: страницы, обязательные к индексации поисковиком.

Имя робота: Яндекс, Гугл и т.д. Вместо конкретного имени можно использовать знак *, тогда данный блок инструкций будет предназначен для всех поисковиков.

Какие же страницы обычно запрещают индексировать? Это, в первую очередь, различный дублированный контент, который присутствует практически на каждом сайте. Затем – служебные страницы и страницы админ-зоны. В общем, много чего не следует индексировать. Разрешать же к индексации следует страницы, которые содержат уникальный контент, и при этом оформлены должным образом: на них выделены заголовки, важные (ключевые) слова и словосочетания, HTML-код валиден и т.д.

Метатеги тоже управляют индексацией, но не всего ресурса, а только конкретных его страниц. Вот их список:

• noindex – полностью запрещается индексирование текущей страницы;

• nofollow – запрещается переход по ссылкам, имеющимся на текущей странице;

• index – разрешается полностью индексировать страницу;

• follow – разрешается переход по ссылкам, имеющимся на странице;

• all – равнозначно с тегами index, follow;

• none – равнозначно noindex, nofollow.

Это основные способы, которые используются для управления поисковыми роботами-пауками.