Skip to content
This repository was archived by the owner on Dec 8, 2025. It is now read-only.

Webcrawler 1.02

Latest

Choose a tag to compare

@FladChris FladChris released this 19 May 15:19
· 1 commit to main since this release

Highlights

  • Komplettes Refactoring: Trennung von Parsing-, Speicher- und Hilfsfunktionen für bessere Wartbarkeit
  • Session-Reuse: Einsatz von requests.Session() zur Performance-Optimierung
  • Pathlib: Nutzung von pathlib.Path für Dateipfade und Verzeichnisse
  • Helper-Funktionen: fetch_soup, parse_images und parse_contacts extrahieren klar abgegrenzte Logik-Blöcke
  • Saubere Fehlerbehandlung: resp.raise_for_status() sorgt für sofortiges Stoppen bei HTTP-Fehlern

Neue Features

  • Modularer Aufbau: Kernfunktionen können nun unabhängig getestet und wiederverwendet werden
  • ISO-Datumsformat: Dateinamen verwenden YYYY-MM-DD, um Sortierung und Übersichtlichkeit zu verbessern
  • Konfigurierbare Abhängigkeiten: Feste Versionen in requirements.txt garantieren reproduzierbare Builds

Bugfixes & Verbesserungen

  • Entfernen veralteter bzw. nicht benötigter Bibliotheken (z. B. eigenes datetime-Paket)
  • Entfernen redundanter else: pass-Blöcke und Vereinfachung von Schleifenbedingungen
  • Einheitliche Benennung von Variablen und Konstanten für mehr Konsistenz