На основе алгоритма, описанного в статье "Статистика переходов на отдельную страницу сайта" создадим более интересный алгоритм. Будем охотиться за поисковыми роботами (Crawler или Spider), определяя, когда они приходят на страницу.

Для чего нужен алгоритм определения поисковых роботов?

По набору статистических данных, полученных с помощью алгоритма, можно создать картину популярности страницы (сайта) в глазах того или иного поисковика.

Получить информацию о том, как быстро нужный поисковик проиндексирует страницу, в которую были внесены какие-то новшества, или проведены работы по оптимизации HTML-кода.

Чтобы файл статистики не рос бесконечно, нужно ввести проверку на размер файла.

Код алгоритма на php будет написан в виде функции, которую можно легко вызвать с любой страницы сайта.

Читайте полную версию статьи "Охота за поисковыми пауками"