Mehr und mehr Unternehmen kommen auf den Gedanken Prozesse zu automatisieren. Crawling und Scraping sind Schlagworte, die in diesem Zusammenhang fallen. Und das zurecht! Die Potenziale von Crawlern für Wertsteigerungen und Effizienzgewinne in Unternehmen sind enorm. Wer unsere Arbeit und Artikel kennt, weiß, dass wir auf Prozessautomatisierungen stehen, und Crawler sind dabei ein gut funktionierender Ansatz für verschiedene Use Cases. Doch was sind Crawler überhaupt, wie kann man diese sinnvoll einsetzen und wann sind diese Bots überhaupt das richtige Mittel? Außerdem räumen wir zum Schluss noch mit einem Mythos auf.
Beim Stichwort Bot sind wir auch direkt schon im Thema. Bevor wir konkrete Use Cases beschreiben, sind hier ein paar quick basics:
Was ist ein Crawler?
Crawler sind Bots, welche Inhalte analysieren und Informationen in Datenbanken und Indexen anlegen. Da diese Bots sich bei einem Hauptteil ihrer Arbeit wie in einem Spinnennetz bewegen, bezeichnet man diese auch als Spider Bots. Das namensgebende Spidering bezieht sich dabei nur auf das Durchsuchen nach Informationen. Andere Bezeichnungen sind Webcrawler oder eben Search Bots. Die Algorithmen im Code geben den Crawlern klare Aufgaben und Befehle. Diese Funktionen wiederholen die Bots dann automatisch und kontinuierlich.
Die Definition steht. Wie bereits angedeutet gibt es mehr als nur die Crawler der Suchmaschinen. Also:
Welche relevanten Crawler-Arten gibt es?
- Bei Personal-Website-Crawlern handelt es sich um einfache Varianten, welche von einzelnen Unternehmen genutzt werden. Diese Crawler erfüllen spezifische Aufgaben, wie die Überwachung des Aufkommens bestimmter Suchbegriffe oder die Erreichbarkeit von bestimmten URLs.
- Cloud-Website-Crawler speichern die Daten nicht auf lokalen Servern, sondern in einer Cloud. Der Name ist hier Programm. Durch die Unabhängigkeit von lokalen Computern kann man sich von jedem Gerät in die Analysetools und Datenbanken einloggen. Meistens werden diese Varianten kommerziell als Service von Software-Firmen vertrieben.
- Desktop-Website-Crawler sind kleine Webcrawler, die auf dem eigenen PC oder Laptop laufen. Diese Variante ist günstig, allerdings nur begrenzt einsetzbar. Diese Crawler können meist nur kleine Mengen an Daten und Websites auswerten.
- Kommerzielle Website-Crawler hingegen sind komplexe Software-Lösungen. Diese werden von Firmen als käufliche Tools angeboten. Zugeschnitten auf bestimmte Use Cases können sie einem Unternehmen Zeit und Kosten sparen.
So… Die Grundlagen stehen. Nachfolgend gehen wir auf die Vorteile und Anwendungsbeispiele im Detail ein.
Die Vorteile im Überblick
Webcrawler übernehmen zeit- und kostenintensive Analyse-Aufgaben. Dabei können diese schneller, günstiger und weitreichender Content durchscannen, analysieren und indexieren als Menschen. Das spart wertvolle Ressourcen.
Ein weiterer Vorteil ist die Handhabung. Die Implementierung von Crawlern ist einfach und schnell. Trotzdem garantieren die Bots umfassende und kontinuierliche Datensammlung und -analyse. Die Maschinen schlafen nie!
Auch die Vielzahl an Einsatzmöglichkeiten sind von Vorteil:
- Unternehmen können mithilfe von Crawlern online auffindbare Kunden- und Unternehmensdaten analysieren und Rückschlüsse für das eigene Marketing und die Unternehmensstrategie ziehen.
- Auch Veröffentlichungen der Konkurrenz können so sinnvoll ausgewertet werden.
- Außerdem können neue Mitarbeitende leichter gefunden oder vorab gesichtet werden, indem Crawler Bewerbungsportale durchkämmen.
- Durch Data-Mining und gezielte Werbung können auch spezifische Kundengruppen adressiert werden.
Wie sehen konkrete Projekte mit einem Crawler aus?
Ein Investmentfonds möchte stets die besten Investmentmöglichkeiten vor der Konkurrenz entdecken. Der bisherige Weg ist das manuelle Durchsuchen von gängigen Webseiten, Datenbanken und Karrierenetzwerke. Diese repetitive und klar definierte Arbeit lässt sich mit einer Armee von Crawlern automatisieren. Das Beste daran: Die Crawler laufen immer weiter. Sie finden neue Investment Opportunities, während die Konkurrenz noch schläft. Die Workforce kann sich nun ausschließlich auf die Auswertung der gecrawlten Daten und weiterführende Aufgaben konzentrieren.
Automatische Auftragsrecherche
Ein anderes Beispiel. Ein Unternehmen aus der Baubranche sucht nach Aufträgen. Die Recherche und Beurteilung von Bauausschreibungen ist zeitaufwendig. Die Lösung ist ein Crawler, der im Internet täglich relevante Quellen absucht und sämtliche Ausschreibungen abspeichert. Über Filter und selbstlernende Algorithmen wählt das Programm die besten Ausschreibungen aus und zeigt sie dem Vertriebsspezialisten in einer modernen Ansicht an. Ein klarer Vorteil, der den Wettbewerb weit hinter sich lässt.
Datenübertragung ohne Schnittstellen
Crawler können auch die User Experience erheblich verbessern. Schauen wir uns dazu das nächste Beispiel an. Ein Unternehmen möchte in einem eigenen Tool Immobiliendaten (Preis, Wohnfläche etc.) aus verschiedenen Vergleichsportalen speichern. Es gibt jedoch keine Schnittstellen. Die Nutzer müssten alle Daten selbst übertragen. Abhilfe schafft an dieser Stelle ein integrierter Crawler, der den Nutzer:innen die Arbeit abnimmt und die Immobiliendaten automatisch auslesen und übertragen kann.
Der Mythos: Crawler vs. Scraper
Unternehmen werden zunehmend auf die hilfreichen Bots aufmerksam. “Lass uns das mal eben scrapen.”, oder “Lasst uns dafür einen Crawler bauen.” sind häufige Formulierungen in Meetings. Schließlich muss man zwischen Scrapern und Crawlern unterscheiden, oder? Als Software-Agentur bekommen wir häufig solche Anfragen. Dabei sind die Unterschiede von Crawlern und Scraper aus rein technischer Sicht fließend. In der Tech-Community existiert der Unterschied so gar nicht. Die Unterscheidung entstammt eher der Kommunikation aus Business-Meetings. Im Berufsalltag werden verschiedene Funktionalitäten den Begriffen Scraping und Crawling zugeschrieben. So wird häufig Scrapern vor allem die Aufgabe des Extrahierens von Inhalten zugeschrieben. Während Crawlern hingegen primär das Durchsuchen, Analysieren und Indexen von Web-Inhalten zugeschrieben wird.
Fazit
Crawler eignen sich hervorragend als Elemente der Prozessautomatisierung und können verschiedene Use Cases abdecken. Insbesondere bieten sich diese Bots bei repetitiven Prozessen an. Beispielsweise Themen, bei denen ihre Mitarbeiter regelmäßig die gleichen Webseiten und Datenbanken aufrufen, um neue Informationen abzurufen und abzulegen. Auch innerhalb eigener Anwendung kann so die Effizienz gesteigert werden und die User Experience stark von den Bots profitieren.
