Поисковый робот является самым важным элементом любой поисковой системы, он осуществляет сбор новых сведений о сайте и о произошедших на нем изменениях. Поисковый робот – это программа, функционирующая схоже с браузером, так как тоже считывается информацию со страниц сайта. У него много и других названий – поисковый паук, бот, краулер, ant, bot, web crawler, web robots, automatic indexer, web scutter.