Crawler
Der Begriff meint eine Software, die von Suchmaschinen im Internet zum Einsatz kommt, um alle Webseiten zu finden, zu katalogisieren und über die Suchfunktion der Suchmaschine zugänglich zu machen.
Der Begriff meint eine Software, die von Suchmaschinen im Internet zum Einsatz kommt, um alle Webseiten zu finden, zu katalogisieren und über die Suchfunktion der Suchmaschine zugänglich zu machen. Dabei „scannen“ die Programme die Hyperlinks der Webseiten im Netz. Sie speichern alle von ihnen gefundenen Seiten und verarbeiten sie je nach Aufgabe anschließend für die Suchmaschine weiter. Dabei zu beachten ist, dass die Crawler nur einen eingegrenzten Bereich der Webseiten erreichen können, da sie den Weg zu ihnen nur über Links finden. Inhalte, die nicht verlinkt sind, werden von ihnen nicht gespeichert. Auch soziale Netzwerke wie z.B. Facebook oder viele andere (kostenpflichtige) Datenbanken sperren Crawler aus.