Поисковые роботы-боты занимаются индексацией сайта. Фактически поисковый робот – это программа, которая периодически посещает страницы сайтов в Интернете и вносит все (или только новые) страницы сайта в базу данных поискового сервера. У всех крупных поисковиков есть свои боты, а у многих из них даже по нескольку ботов, благодаря чему мы всегда можем найти свежую информацию.