Eine englische Wortkombination aus den Begriffen Web und to crawl (dt. kriechen). Als Webcrawler werden Programme bezeichnet, die das Auffinden und Indexieren von Websites mittels Bots (dt. Roboter) ermöglichen.

Funktion

Suchmaschinen benötigen und benutzen Webcrawler zur Indexierung von Domains, zur URL-Listung und zur Auswertung von Website-Content, aber auch zum Löschen nicht mehr existierender Websites. Webcrawler bewegen sich dabei automatisch und selbstständig innerhalb des Internets von URL zu URL.

Dabei sind Webcrawler an einen Index gebunden, durch welchen der Crawler die Websites im Anschluss nach zuvor definierten Regeln in den Index aufnimmt, sodass diese bei bestimmten Sucheingaben auf den Ergebnisseiten der Suchmaschine gelistet werden (siehe auch Ranking).