Ein Crawler, auch bekannt als Web-Crawler, Spider oder Web-Roboter, ist ein Computerprogramm, das automatisch das Internet durchsucht und Webseiten und deren Inhalte sammelt. Crawler werden von Suchmaschinen eingesetzt, um das World Wide Web systematisch zu durchsuchen, Inhalte zu analysieren und Indizes zu erstellen, die es Suchmaschinen ermöglichen, relevante Suchergebnisse für Benutzer bereitzustellen.
Der Crawler startet in der Regel bei einer bestimmten URL und folgt von dort aus den Links auf anderen Seiten, um den Inhalt der Website zu sammeln. Die gesammelten Daten werden dann in einer Suchmaschinen-Datenbank gespeichert, die für Benutzer zugänglich ist.
