Комментарии к записи: Поисковые роботы

Автор: WebNicolay

WebNicolay — Sat, 27 Mar 2010 16:28:49 +0000

Ко мне этот робот (http://www.cuil.com/twiceler/robot.html) заходит как к себе домой.

Автор: name

name — Thu, 04 Mar 2010 11:21:58 +0000

Diversant от 21 января 2010 17:47
«Забавно что этот … заходит как гость.»
- что здесь странного? Понимаю это как вариант обхода ряда ‘трюков’, сделанных именно для роботов поисковиков.

Автор: Diversant

Diversant — Thu, 21 Jan 2010 14:47:45 +0000

Забавно что этот (Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html) – индексирующий робот cuil.com – экспериментального поисковика, созданного бывшими сотрудниками Google.) заходит как гость.
А остальные боты заходят именно как боты.

Автор: робот

робот — Mon, 28 Sep 2009 23:03:23 +0000

Подробный списочек. Но почему «без этих знаний невозможно полноценное продвижение проекта», не совсем понятно.

Автор: defico

defico — Sun, 24 May 2009 10:26:57 +0000

Спасибо, очень полезная инфа. Всегда полезно знать кто и зачем приходил!