Dieses Repository ist ein technischer Showcase für die systematische Analyse und Optimierung von KI-Prozessen. Es demonstriert, wie man unstrukturierten Text , z.B. Kundenfeedback über LLM-APIs zuverlässig klassifiziert und für nachgelagerte automatisierte SaaS-Prozesse nutzbar macht.
In diesem Projekt vergleiche ich systematisch Zero-Shot und Few-Shot Prompting. Ziel ist es, herauszufinden, wie man ein striktes Output-Format für API-Pipelines erzwingt, Grenzfälle wie Sarkasmus abfängt und gleichzeitig den Token-Verbrauch im Blick behält.
- Sprache: Python 3
- LLM-API: NVIDIA AI Endpoints (Modell:
qwen/qwen3.5-397b-a17b) - Datenverarbeitung: Pandas
- Umgebung: Jupyter Notebook
Um die Prompting-Methoden objektiv zu vergleichen, habe ich das LLM gegen einen Testdatensatz evaluiert und dabei parallel die Accuracy und den Token-Verbrauch gemessen:
- Zero-Shot: Mit durchschnittlich ~20 Tokens pro Request ist diese Methode extrem kosteneffizient. Bei komplexem, unstrukturiertem Kundenfeedback (Sarkasmus, gemischte Gefühle) bricht jedoch oft das Output-Format, was zu einer Accuracy von nur 33,3 % führt. Für automatisierte Pipelines ist dies zu unzuverlässig.
- Few-Shot: Durch das Mitgeben von Input/Output-Beispielen im Prompt erhöht sich die Format-Treue und logische Genauigkeit drastisch auf 83,3 %.
- Der Trade-Off: Die höhere Zuverlässigkeit durch Few-Shot skaliert die Token-Kosten und die Latenzzeit um fast den Faktor 4 (~79 Tokens/Call). Für geschäftskritische Workflows ist dieser Aufpreis gerechtfertigt, erfordert bei hoher Skalierung aber zwingend ein kontinuierliches Monitoring.
Wer das Notebook lokal ausführen möchte, kann dies in wenigen Schritten tun:
- Repository klonen:
git clone https://github.com/aligruenhaupt/ai-prompt-engineering-showcase.git - In das Verzeichnis wechseln und Pakete installieren:
pip install jupyter requests pandas python-dotenv - Eine
.envDatei im Hauptverzeichnis anlegen und den NVIDIA API-Key hinterlegen:NVIDIA_API_KEY=dein_api_key_hier - Jupyter Notebook starten:
jupyter notebook