feat: add transcriptions of all podcast epsiodes since 2022-07

transcriptions/README.md

@@ -0,0 +1,39 @@
+# Transkriptionen
+
+Dieses Verzeichnis enthält die automatisierten Transkriptionen aller Podcast-Episoden von "Chaos im Radio" seit Juli 2022.
+
+## Wichtige Hinweise
+
+⚠️ **Diese Transkriptionen wurden automatisiert erstellt und sind nicht korrekturgelesen!**
+
+- Die Transkriptionen wurden mittels automatischer Spracherkennung generiert (siehe `transcribe-folder.sh`)
+- Es können Fehler bei der Erkennung von Namen, Fachbegrffen oder undeutlich gesprochenen Wörtern auftreten
+- Die Transkriptionen dienen als Hilfsmittel und repräsentieren das gesprochene Wort im Podcast
+- Zeitstempel können geringfügig ungenau sein
+
+## Verfügbare Skripte
+
+### `transcribe-folder.sh`
+Skript zur automatischen Transkription neuer Audio-Dateien mit whisper.cpp
+
+### `fix-mistakes.sh`
+Ein Bash-Skript zur automatischen Korrektur häufiger Spracherkennungsfehler:
+- Korrigiert falsch erkannte Namen der Moderator:innen (z.B. "Syrux" → "Cyroxx")
+- Behebt typische Erkennungsfehler bei häufig verwendeten Wörtern
+
+## Dateiformat
+
+Die Transkriptionen liegen im WebVTT-Format (`.vtt`) vor, welches sowohl Zeitstempel als auch den transkribierten Text enthält. Dieses Format ist mit den meisten Video- und Audio-Playern kompatibel und ermöglicht die Anzeige von Untertiteln.
+
+## Mitwirkende
+
+Die Stimmen in den Transkriptionen gehören zu den regelmäßigen Moderator:innen:
+- Cyroxx
+- Hannes
+- Gini
+- Knurps
+- Ajuvo
+
+---
+
+*Diese README wurde erstellt, um Transparenz über die Entstehung und Qualität der automatisierten Transkriptionen zu schaffen.*

transcriptions/fix-mistakes.sh

@@ -0,0 +1,121 @@
+#!/bin/bash
+# Script to fix common speech recognition mistakes in transcription files (.vtt, .srt, .txt)
+# Usage: ./fix-mistakes.sh [directory]
+# If no directory is provided, it will process the current directory
+
+# Define the directory to process
+TARGET_DIR="${1:-.}"
+
+# Check if the directory exists
+if [ ! -d "$TARGET_DIR" ]; then
+    echo "Error: Directory '$TARGET_DIR' does not exist."
+    exit 1
+fi
+
+echo "Processing transcription files in: $TARGET_DIR"
+
+# Define common misrecognized words and their corrections
+# Format: "wrong_word:correct_word"
+declare -A word_corrections=(
+    # Names/Nicknames
+    ["Syrox"]="Cyroxx"
+    ["syrox"]="Cyroxx"
+    ["Syrux"]="Cyroxx"
+    ["syrux"]="Cyroxx"
+    ["cyrox"]="Cyroxx"
+    ["Cyrox"]="Cyroxx"
+    ["TCyroxx"]="Cyroxx"
+    ["Cybrox"]="Cyroxx"
+    ["Genie"]="Gini"
+    ["Joanie"]="Gini"
+    ["Jeanie"]="Gini"
+    ["Jeany"]="Gini"
+    ["Jeannie"]="Gini"
+    ["Jenny"]="Gini"
+    ["Dini"]="Gini"
+    ["Knurfs"]="Knurps"
+    ["Knops"]="Knurps"
+    ["Knobbs"]="Knurps"
+    ["Knorps"]="Knurps"
+    ["Klof"]="Knurps"
+    ["Knurbs"]="Knurps"
+    ["Urnups"]="Knurps"
+    ["Juwo"]="Ajuvo"
+    ["Ayubo"]="Ajuvo"
+    ["Ajuwo"]="Ajuvo"
+
+    # Add more common misrecognitions here as needed
+    ["Creative Comments"]="Creative Commons"
+)
+
+# Function to process a single file
+process_file() {
+    local file="$1"
+    local temp_file=$(mktemp)
+    local changes_made=false
+
+    echo "Processing: $file"
+
+    # Copy original content to temp file
+    cp "$file" "$temp_file"
+
+    # Apply each correction
+    for wrong_word in "${!word_corrections[@]}"; do
+        correct_word="${word_corrections[$wrong_word]}"
+
+        # Use sed to replace whole words only (with word boundaries)
+        # This prevents partial word replacements
+        if sed -i "s/\b$wrong_word\b/$correct_word/g" "$temp_file"; then
+            # Check if any changes were actually made
+            if ! cmp -s "$file" "$temp_file"; then
+                changes_made=true
+                echo "  - Replaced '$wrong_word' with '$correct_word'"
+            fi
+        fi
+    done
+
+    # If changes were made, update the original file
+    if [ "$changes_made" = true ]; then
+        mv "$temp_file" "$file"
+        echo "  ✓ File updated"
+    else
+        rm "$temp_file"
+        echo "  - No changes needed"
+    fi
+}
+
+# Counter for processed files
+file_count=0
+
+# Process all supported transcription files
+find "$TARGET_DIR" -type f \( -name "*.vtt" -o -name "*.srt" -o -name "*.txt" \) | while read -r file; do
+    # Skip this script itself
+    if [[ "$(basename "$file")" == "fix-mistakes.sh" ]]; then
+        continue
+    fi
+
+    process_file "$file"
+    ((file_count++))
+done
+
+# remove all newlines from txt files and create a newline after each sentence
+find "$TARGET_DIR" -type f -name "*.txt" | while read -r txt_file; do
+    echo "Re-arranging newlines in: $txt_file"
+    tr '\n' ' ' < "$txt_file" > "${txt_file}.tmp"
+    sed -i 's/\. /\.\n/g; s/! /\!\n/g; s/? /\?\n/g' "${txt_file}.tmp"
+    mv "${txt_file}.tmp" "$txt_file"
+done
+
+# find txt files where a line is repeated consecutively more than twice. Report these files and the duplicated line.
+find "$TARGET_DIR" -type f -name "*.txt" | while read -r txt_file; do
+    dup_line=$(awk 'NR>2 && $0==prev && $0==prev2 {print $0; exit} {prev2=prev; prev=$0}' "$txt_file")
+    if [ -n "$dup_line" ]; then
+        echo "Warning: File '$txt_file' has a line repeated more than twice consecutively: \"$dup_line\""
+    else
+        basename_file=$(basename "$txt_file" .txt)
+        git add $basename_file.txt $basename_file.vtt
+    fi
+done
+
+echo "Completed processing transcription files."
+echo "Total files processed: $file_count"

transcriptions/transcribe-folder.sh

@@ -25,6 +25,7 @@ mkdir -p "$OUTPUT_DIR"
 WHISPER_BIN=~/workspace/whisper.cpp/build/bin/whisper-cli
 WHISPER_MODEL=~/workspace/whisper.cpp/models/ggml-small.bin
 #WHISPER_MODEL=~/workspace/whisper.cpp/models/ggml-large-v3-turbo-german-q5_1.bin
+WHISPER_VAD_MODEL=~/workspace/whisper.cpp/models/ggml-silero-v5.1.2.bin
 LANGUAGE=DE
 
 # Global variables for batch operations
@@ -84,9 +85,14 @@ transcribe_file() {
     echo "Transcribing: $(basename "$input_file")"
     local transcribe_start=$(date +%s)
 
-    # Run transcription
+    local whisper_vad_option=""
     pushd "$working_dir" > /dev/null
-    ${WHISPER_BIN} -m ${WHISPER_MODEL} -f audio.wav -np -pp -otxt -ovtt -oj -ocsv -osrt -l ${LANGUAGE} > /dev/null
+    if [ -n "$WHISPER_VAD_MODEL" ]; then
+        if [ -f "$WHISPER_VAD_MODEL" ]; then
+            whisper_vad_option="--vad -vm $WHISPER_VAD_MODEL"
+        fi
+    fi
+    ${WHISPER_BIN} -m ${WHISPER_MODEL} -f audio.wav -np -pp -otxt -ovtt -oj -ocsv -osrt ${whisper_vad_option} -l ${LANGUAGE}
     popd > /dev/null
 
     local transcribe_end=$(date +%s)