Поисковые роботы

Размещено 8 декабря 2008 | Просмотров: 1,027
в рубрике Вопросы оптимизации | 5 комментариев

Ужасно!ПлохоТак себеХорошоСупер! (2 голосов, средний: 4.50 из 5)
Загрузка ... Загрузка ...

Многие из тех, кто занимается поддержкой, развитием сайта время от времени просматривают логи статистики посещений. Если Вы относитесь к таковым, наверняка видели всевозможные имена поисковых роботов, посещающих Ваш сайт. В данном обзоре я попробовал описать всех основных индексирующих роботов. Без этих знаний невозможно вести полноценное продвижение сайта, особенно для многостраничных контентных проектов.

Поисковые роботы Яндекса

  • Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот Яндекса.
  • Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок.
  • Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов.
  • Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
  • Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
  • Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
  • YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
  • YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам.
  • YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
  • Bond, James Bond (version 0.07) — робот официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Предположительно, робот занимается проверкой сайтов на нарушения – клоакинг и т.д..

Кроме роботов у Яндекса есть несколько агентов-«простукивалок», определяющих доступность сайта или документа, по ссылке в соответствующем сервисе.

  • Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
  • Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
  • Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
  • Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

Поисковые роботы Google

Поисковые роботы Google имеет название «Googlebot».

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) – робот Google, понимающий протокол HTTP 1.1.
  • Mediapartners-Google – поисковой роботы AdSens
  • Googlebot-Image (Google) Googlebot-Image/1.0 – Индексатор картинок
  • Google Search Appliance (Google) gsa-crawler – поисковой робот аппаратного поисковика Search Appliance

Поисковые роботы Rambler

Поисковая система Рамблер имеет только робота, Ip-адрес которого может лежать в пределах интервала 81.19.64.0 – 81.19.66.255

  • StackRambler/2.0 (MSIE incompatible)
  • StackRambler/2.0

Поисковые роботы Yahoo

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) – стандартный поисковой робот.

Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) – новый поисковой робот Yahoo 3-го поколения, работает также как и предыдущий.

Поисковые роботы MSN

msnbot/1.1 (+http://search.msn.com/msnbot.htm) – основной индексирующий робот MSN.

msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) – робот поиска по изображениям.

msnbot-media/1.1 (+http://search.msn.com/msnbot.htm) – робот поиска по изображениям.

msnbot-news (+http://search.msn.com/msnbot.htm) – новостной робот.

Поисковые роботы Aport

AportCatalogRobot/2.0 – Индексирующий робот Апорт каталога

Поисковые роботы Alexa

  • ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com) – индексирующий робот Alexa, ему же мы обязаны попаданием в web.archive.org

Поисковые роботы Gigablast

Gigabot/3.0 (http://www.gigablast.com/spider.html) – основной индексирующий робот Gigablast. Тем кто не знает, Gigablast – некоммерческий поисковик, созданный Мэттом Уэллсом.

Другие роботы

  • SAPE.BOT is watching you! – робот биржи ссылок Sape.ru
  • Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html) – индексирующий робот cuil.com – экспериментального поисковика, созданного бывшими сотрудниками Google.
Постовые:Здесь можно заказать прокат лимузина в Екатеринбурге.
Многие ищут хостинг php.
Автосалон в одессе ждет своих покупателей.

Похожие посты

Этот блог находят по фразам:

Комментарии

Оставляй комментарии и попади в ТОП5 комментаторов!

5 комментариев на “Поисковые роботы”

  1. defico от 24 мая 2009 13:26

    Спасибо, очень полезная инфа. Всегда полезно знать кто и зачем приходил!

  2. робот от 29 сентября 2009 2:03

    Подробный списочек. Но почему «без этих знаний невозможно полноценное продвижение проекта», не совсем понятно.

  3. Diversant от 21 января 2010 17:47

    Забавно что этот (Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html) – индексирующий робот cuil.com – экспериментального поисковика, созданного бывшими сотрудниками Google.) заходит как гость.
    А остальные боты заходят именно как боты.

  4. name от 4 марта 2010 14:21

    Diversant от 21 января 2010 17:47
    «Забавно что этот … заходит как гость.»
    - что здесь странного? Понимаю это как вариант обхода ряда ‘трюков’, сделанных именно для роботов поисковиков.

  5. WebNicolay от 27 марта 2010 19:28

    Ко мне этот робот (http://www.cuil.com/twiceler/robot.html) заходит как к себе домой.

Написать комментарий





Вы не робот?