网络爬虫也称为“Wanderers”(漫步者)或者“Robots”(机器人)，它首先是一组运行在计算机中的程序，在搜索引擎系统中负责抓取时新的且公共可访问的Web网页、图片和文档等资源。这种抓取的过程为通过下载一个网页，分析其中的链接。继而漫游到其他链接指向的网页，循环往复。

         网络爬虫开始抓取的起点，通常为各大门户网站和官方网站的首页等。