Почти каждый начинающий web мастер сталкивался в написании файла robots.txt. На данную тематику написано большое количество руководств, однако проблема актуальна не смотря и на это. Ведь, проведя анализ robots.txt, поисковый робот имеет все возможности пройти мимо сайта или его разделов так и не произведя перевод запроса на него. И сегодня мы поговорим о том, каким образом можно проверить данный файл.
Для начала необходимо помнить, что указания поисковым роботам можно осуществить двумя способами: в robots.txt и при помощи тега <meta name="robots" … />. Главное отличие этих способов в том, что документ robots.txt несёт указания для всего сайта, а тег <meta name="robots" … /> только для определённой страницы.
Для примера рассмотрим блог, который работает на каком-либо движке (к примеру, WordPress). Необходимо, чтобы поисковые системы индексировали наши страницы, однако не заходили в служебные разделы, что бесполезно, но трафик всё равно уходит.
В корневом каталоге создаётся документ robots.txt. Все правила составления роботс.тхт в данной статье описываться не будут, так как вы сможете легко обнаружить все необходимые сведения с примерами здесь.
После данного действия необходимо ограничить информацию на страницах, которые содержат списки постов (чаще всего это главная страница и страницы разделов). Таким образом, нам нужно, чтобы роботы индексировали эти страницы, а после переходили по ссылкам на эти страницы, но не просматривали их содержимое, потому что оно изменяется в процессе написания постов.
Осуществляются данные действия при помощи тега <meta name="robots" … />.
Интернет-страница, нуждающаяся в индексировании, и к которой нужно пройти по ссылкам, должна иметь в своём составе тег <meta name="robots" content="index,follow" />.
А обозначение для страницы, которую запрещено индексировать, выглядит следующим образом: name="robots" content="noindex,follow" />.
Убедиться в том, что случайно не был закрыт доступ к необходимым страницам, можно при помощи Google webmasters tools. Для применения этой службы необходимо, для начала, зарегистрироваться, а после этого подтвердить, что представляемый вами сайт или блог принадлежит вам.
После данной процедуры заходим в Панель инструментов -> Инструменты -> Анализ файла Robots.txt. И в появившемся окне «Проверка URL по данному файлу robots.txt» пишем адреса страниц, нуждающихся в проверке (каждый адрес вписываем с новой строки). Выбираем «Проверить» и получаем искомые результаты.
Внимание. При проверке страницы необходимо убедиться, что у вас разрешено индексирование не только единичных постов, но также и статических страниц.
Кроме того, что необходимо следить за структурой и индексацией своего сайта, важно также следить за его наполнением. Обратим внимание на биржу контента турботекст.
Эта биржа контента появилась в интернете совсем недавно, но уже сумела завоевать огромную любовь у большинства исполнителей, заказчиков, став добросовестным посредником. Объём продаж на Турботекст.ру увеличивается с каждым днем, что в свою очередь дает возможность заработка копирайтерам.
Турботекст относится к полуоткрытым биржам, из-за чего не всякий копирайтер сможет пробиться туда. Для этого необходимо одолеть 2 теста, которые подтвердят грамотность исполнителя. Данный фактор помогает бирже под своим крылом собирать грамотных авторов, что очень важно для заказчиков, которых волнует качественный контент для своих сайтов.
Опубликовано: 05.01.2013
