8 800 350 99 87 пн – пт 10:00 – 19:00 (Мск)

Поисковый робот

Специальная программа определенного поисковика, которая индексирует сайты интернета (заносит их в базу сайтов поисковой системы). Поискового робота также называют краулер, бот, паук, webcrawler, bot, automaticindexer, ant, webrobots, webspider, webscutter. Принцип работы заключается в постоянном сканировании веб-пространства: посещает по ссылкам уже известные ему (проиндексированные) сайты и находит новые ресурсы. Если обнаруживается неизвестный сайт, робот добавляет его в индекс поисковой системы. У каждого поисковика – свой робот, причем не один, а целая совокупность.
[quality]

Узнать видимость сайта за 2 минуты