Web Bots – Einstieg in Webdriver, Selenium und Python

Was ist ein Web Bot?

WebBots sind Programme oder ein Skript, welches automatisch Aufgaben bearbeitet die sich oft wiederholen, wie zum Beispiel Preise von einem Onlineshop auslesen und in einer Datenbank speichern. Damit kann man Preisänderungen verfolgen oder darstellen und gegebenenfalls die Waren zum richtigen Zeitpunkt einkaufen.

Was braucht man um einen Web-Bot zu machen?

Um einen simplen Web-Bot zu schreiben braucht man folgende Dinge:

- Einen Browser (Firefox oder Chrome etc.)
- Einen Webdriver für den Browser (ich verwende Gecko-Webdriver für Firefox)
- Python3 (ich verwende WinPython)
- Selenium-Modul für Python (über die Konsole installieren...siehe unten)
- Python-Code welcher den gewünschten Ablauf umsetzt (siehe unten)
Web Bot Diagramm für Selenium
Zusammenhang der einzelnen Bausteine

Was ist ein Webdriver?

Ein Webdriver ist ein Steuerungsprogramm für den Browser. Damit kann man die Aktivitäten die man am Browser macht, automatisieren. Zum Beispiel „rufe die URL http://www.google.com auf“ oder „Zeige mir den Quelltext der aktuellen Seite“. Weiters kann man Javascript-Code live einspeisen oder den DOM-Elemente suchen wie zum Beispiel Links mit einem bestimmten Linktext.

Für die gängisten Browser existieren die notwendigen Driver. Diese müssen nicht installiert werden sondern sind ein eigenständiges Programm und funktionieren unter Windows auch ohne Administrationsrechte.

Download für die gängigsten Browser

Webdriver für Firefox
Webdriver für Chrome

Was ist Selenium?

Selenium ist das bekannteste Framework und binded so ziemlich alle Spachen ein. Eigentlich ist es für Softwaretests gemacht aber lässt sich auch problemlos zur Web-Automatisierung verwenden.

Installiert wird das Framework unter pyhon mit folgendem Befehl in der Komandozeile:

pip install selenium

Ich nehme an jeder weiss wie man den Package Manager bedient, wenn man ein bisschen Erfahrung in der Programmierung mit Python hat.

Wie fange ich mit dem Web Bot an?

Nachdem das Selenium Modul installiert wurde kann nun mit der eigentlichen Abeit begonnen werden.

Dazu legt man sich am besten ein neues python-File an und gibt folgende Zeilen Code ein:

from selenium import webdriver

# Neue Instanz erzeugen mit Firefox
driver = webdriver.Firefox()
# zu Google navigieren
driver.get("http://www.google.com")
# den aktuellen Titel der Website auslesen
print(driver.title)
# driver wieder schließen
driver.quit()

Wenn alles funktioniert hat, wird der Browser gestartet, zu Google navigiert und der Title ausgelesen. Desweiteren gibt es noch unendliche Möglichkeiten, dazu empfehle ich aber die Dokumentation bei Selenium selbst zu lesen.

Zum Beispiel kann man die Suchposition der eigenen Domain bei Google auslesen  und in einer Datenbank speichern.

Big Data Algorithmen – Chancen und Risiken

Big Data – Was bringt das?

Es geht darum die Chancen und Risiken von Big Data Algorithmen aufzuzeigen und die Vor- und Nachteile solcher Systeme abzuwägen.

Da die weltweite Menge an Daten stetig wächst, gewinnen diese autonomen Systeme immer mehr an Bedeutung. Es ist also wichtig, sich so früh wie möglich damit auseinander zu setzen, da die Daten im Netz meist dauerhaft gespeichert werden und Nutzer überall Spuren in Form von zum Beispiel Cookies hinterlassen und somit Rückschlüsse gezogen werden können.

Einige Unternehmen nutzen diese gesammelten Daten um damit Profit zu machen ohne das die Nutzer es wissen oder zugestimmt haben. Es werden Verhaltensprofile erstellt, die auf dem Nutzungsverhalten, eingegebenen Suchanfragen, Standortverläufen und vielen anderen Daten basieren.

Ausblick in die Zukunft

Es ist geplant, Vorhersagen auf Basis dieser Daten zu treffen und sogar algorithmische Entscheidungen zu fällen. Dies bringt allerdings gewisse Risiken und Gefahren mit sich, welche erst durch rechtliche Faktoren, Kosten/Nutzen-Analysen, Datenschutzgesetzen und vielen anderen Faktoren abgewogen werden müssen.

Ist unsere Freiheit in Gefahr?

So lange jedoch eine Wahlmöglichkeit besteht, kann jeder für sich entscheiden ob eine Verwendung von solchen Systemen gut oder schlecht ist. Jedoch planen bereits manche Regierungen wie zum Beispiel China solche Systeme verpflichtend einzusetzen und gefährden damit einzelne Personen, zumindest nach dem deutschen Datenschutzrecht.

Darüber hinaus ist es schwierig Datenschutzbestimmungen für das Internet festzulegen, da das Internet global verteilt funktioniert und Gesetze nur für die jeweiligen Länder gelten.

Cloud und Algorithmen
Soziale Medien und die Cloud