Поисковые роботы

Многие из тех, кто занимается поддержкой, развитием сайта время от времени просматривают логи статистики посещений. Если Вы относитесь к таковым, наверняка видели всевозможные имена поисковых роботов, посещающих Ваш сайт. В данном обзоре я попробовал описать всех основных индексирующих роботов. Без этих знаний невозможно вести полноценное продвижение сайта, особенно для многостраничных контентных проектов.