Webcrawler

Dabei handelt es sich um ein Computerprogramm, dass das World Wide Web automatisch durchsucht und analysiert. Suchmaschinen (bspw. Google) setzen diese dazu ein, um Webseiten zu indexieren.