Funktionsweise TwitterStream

Im Folgenden wird die Funktionsweise des Python-Skripts erklärt. Das Lesen dieser Seite ist nur nötig, falls man das Skript erweitern möchte. Zum produktiven Verwenden des Streams sollte auf das Docker-Image zurückgegriffen werden.

Vorbereitung

Es wird benötigt:

• Python 3 (funktioniert vermutlich auch mit Python 2)
• pip install -r requirements.txt
• Twitter-OAuth-Credentials

Aufruf des Skripts

Zum Starten des Skripts müssen 5-6 Parameter angegeben werden:

python twitter_stream.py 'CONFIG_FILE_PATH'

Der übergebene Parameter gibt an wo das yml File mit der Configarion liegt.

Konfiguration über das yml-File

Die Konfiguration der einzelnen Parameter (Siehe How-To --> Konfigurations-Parameter) findet in einem config.yml-File statt. Dort werden die Environment Variablen ausgelesen oder ggf. durch den Default repräsentiert.

Was macht das Skript?

Mittels tweepy startet das Skript einen Twitter-Stream, der von der Twitter Streaming API bereitgestellt wird.

Für jeden Tweet, der erhalten wird, wird die Funktion TweetListener.on_data ausgeführt. Diese Funktion schreibt jeden erhaltenen Tweet in eine Sammel-Liste. Sobald diese Liste eine bestimmte Größe erreicht hat, werden die Tweets der Sammel-Liste an das Persistenz-REST-Interface übergeben. Anschließend wird die Sammel-Liste geleert und das Sammeln beginnt von vorne.