Merge pull request #6 from mathiscapart/mathiscapart/maj-corpus

Mise à jour du corpus, retrait de /chat et identité épinglée dans /voice

Author: mathiscapart

.env.example

@@ -1,11 +1,11 @@
 QDRANT_VERSION=v1.15.5
-QDRANT_HOST=localhost
+QDRANT_HOST=127.0.0.1
 QDRANT_PORT=6333
 QDRANT_COLLECTION=portfolio
 OLLAMA_EMBEDDING_MODEL=qwen3-embedding:0.6b
 PYTHON_VERSION=3.12
 ROCM_PYTORCH_VERSION=x
-OLLAMA_HOST=localhost
+OLLAMA_HOST=127.0.0.1
 OLLAMA_PORT=11434
 OLLAMA_CHAT_MODEL=qwen3:8b
 OLLAMA_TIMEOUT=60

CLAUDE.md

@@ -102,7 +102,15 @@ se lancent par `deploy/start-natif.ps1` (logs dans `deploy/logs/`).
 - **`num_ctx` 8192 obligatoire** (`OPTIONS_LLM`) : par defaut Ollama prend 32768,
   `qwen3:8b` monte a 9,16 Go, deborde a cote du STT et tombe a 10,5 t/s.
 - **`think=False` sur `/voice`** : le raisonnement de qwen3 coutait 9,2 s de
-  silence avant le premier token. `/chat` le garde (non recalibre).
+  silence avant le premier token.
+- **Passage d'identite epingle** : `/voice` ajoute toujours la section
+  `parcours.md > Mon parcours en bref` aux extraits (`ajouter_identite`). Sans
+  elle, une question vague ne ramenait que GitHub et Piloti, et qwen3 inventait
+  « developpeur full-stack » 5 fois sur 5. Renommer cette section impose de
+  mettre a jour `IDENTITE_TITRE` (verrouille par `test_pertinence.py`).
+- **Pas d'endpoint texte en production** : `/chat` a ete retire de l'API (le
+  front ne passe que par `/voice`). Pour interroger le RAG a l'ecrit :
+  `python -m backend.tests.question_texte "question" --sources`.
 - Mesure publique (`wss://<domaine>/api/voice`) : premier token 1,3 s, premier
   son 2,3 a 2,6 s apres la fin de la question.
 - Une seule session vocale a la fois ; question plafonnee a 30 s, socket muet

README.md

@@ -12,7 +12,7 @@ Windows, exposé par Traefik et un tunnel Cloudflare, sans API d'inférence exte
 
 | Dossier | Contenu |
 |---|---|
-| `backend/api/` | API FastAPI : `/health`, `/chat` (SSE), `/voice` (WebSocket) |
+| `backend/api/` | API FastAPI : `/health`, `/voice` (WebSocket) |
 | `backend/stt/` | reconnaissance vocale Kyutai en streaming |
 | `backend/tts/` | service de synthèse vocale (voix clonée dans `voix/`, non versionné) |
 | `backend/rag/` | découpage, ingestion et recherche ; `corpus/` = le parcours |

backend/api/main.py

@@ -1,9 +1,7 @@
-"""API FastAPI du portfolio : health check et chat RAG en streaming (SSE).
+"""API FastAPI du portfolio : health check et boucle vocale (`/voice`).
 
-`/chat` est en `def`, jamais `async def` : `search()` embarque un appel HTTP
-bloquant vers Ollama (embedding forcé sur CPU). En `def`, FastAPI l'exécute
-dans son threadpool ; en `async def`, chaque recherche gèlerait tous les flux
-SSE en cours.
+Pas d'endpoint texte en production : pour interroger le RAG à l'écrit, voir
+`backend/tests/question_texte.py`, hors du code servi.
 
 Les erreurs renvoyées au client sont génériques : le détail part dans les logs,
 pas dans la réponse d'un visiteur anonyme.
@@ -17,9 +15,7 @@
 
 from fastapi import FastAPI, HTTPException, WebSocket, WebSocketDisconnect
 from fastapi.middleware.cors import CORSMiddleware
-from fastapi.responses import StreamingResponse
 from ollama import Client
-from pydantic import BaseModel, Field, field_validator
 from qdrant_client.http.exceptions import ResponseHandlingException, UnexpectedResponse
 from starlette.concurrency import run_in_threadpool
 from starlette.websockets import WebSocketState
@@ -32,8 +28,8 @@
 import httpx
 
 # torch et le STT (moshi) ne sont importes qu'au demarrage et dans /voice :
-# l'API reste importable sans la pile GPU, ce qui permet de tester /chat et
-# /health en CI sur un runner standard.
+# l'API reste importable sans la pile GPU, ce qui permet de tester /health
+# en CI sur un runner standard.
 try:  # importe comme paquet
     from backend.rag.main import EmbeddingModel, QdrantVectorStore, Settings
     from backend.api.prompts import CONSIGNE_ORALE, SYSTEME, construire_prompt_utilisateur
@@ -92,26 +88,30 @@ async def _lifespan(app: FastAPI):
 app.add_middleware(
     CORSMiddleware,
     allow_origins=ORIGINES_AUTORISEES,
-    allow_methods=["GET", "POST"],
+    allow_methods=["GET"],
     allow_headers=["Content-Type"],
 )
 
+# 8 et non 5 : mesure sur le corpus, le chunk portant la reponse a
+# "ou a-t-elle fait ses etudes" arrive 6e. A k=5 il tombait hors contexte et
+# l'assistant refusait -- correctement, mais a tort.
+K_EXTRAITS = 8
 
-class ChatRequest(BaseModel):
-    # Embedding sur CPU : sans borne haute, un corps de plusieurs Mo sature la
-    # file Ollama et le threadpool.
-    message: str = Field(min_length=1, max_length=2000)
-    # 8 et non 5 : mesure sur le corpus, le chunk portant la reponse a
-    # "ou a-t-elle fait ses etudes" arrive 6e. A k=5 il tombait hors
-    # contexte et l'assistant refusait -- correctement, mais a tort.
-    k: int = Field(default=8, ge=1, le=20)
+# Passage d'identité toujours transmis au LLM. Mesuré en prod : sur une question
+# vague (« dis-moi un peu plus sur ton parcours »), la recherche ne ramenait que
+# GitHub et Piloti, et le LLM inventait « développeur full-stack » 5 fois sur 5.
+IDENTITE_SOURCE = "parcours.md"
+IDENTITE_TITRE = "Mon parcours en bref"
 
-    @field_validator("message")
-    @classmethod
-    def _non_vide(cls, valeur: str) -> str:
-        if not valeur.strip():
-            raise ValueError("le message ne peut pas être vide")
-        return valeur
+
+def ajouter_identite(chunks: list[dict], identite: dict | None) -> list[dict]:
+    """Place le passage d'identité en tête des extraits s'il n'y est pas déjà.
+    Sans passage (corpus de démonstration, section renommée), rien ne change."""
+    if identite is None:
+        return chunks
+    if any(c["source"] == identite["source"] and c.get("titre") == identite.get("titre") for c in chunks):
+        return chunks
+    return [{**identite, "score": None}, *chunks]
 
 
 def _ollama(settings) -> Client:
@@ -137,76 +137,6 @@ def health():
     return {"status": "ok"}
 
 
-@app.post("/chat")
-def chat(body: ChatRequest):
-    settings = Settings()
-    qdrant_store = QdrantVectorStore(host=settings.qdrant_host, port=settings.qdrant_port)
-    embedding_model = EmbeddingModel(
-        model_name=settings.embedding_model, host=settings.ollama_host, port=settings.ollama_port
-    )
-
-    # Dans le try : sinon un Qdrant arrêté donne un 500 opaque. Et vérifié avant
-    # d'ouvrir le flux, car après les en-têtes le statut ne peut plus changer.
-    try:
-        presente = qdrant_store.client.collection_exists(settings.qdrant_collection)
-    except Exception as exc:
-        logger.error("qdrant injoignable (collection_exists) : %s", exc)
-        raise HTTPException(status_code=503, detail="Base vectorielle injoignable.") from exc
-    if not presente:
-        logger.error("collection '%s' absente", settings.qdrant_collection)
-        raise HTTPException(status_code=503, detail="Corpus non indexé.")
-
-    # Aucun seuil de score : mesuré, les populations se chevauchent (question
-    # légitime à 0,296, hors sujet à 0,329). Aucune valeur ne sépare, donc
-    # aucune n'est posée. Le refus tient par SYSTEME et le délimiteur.
-    try:
-        chunks = qdrant_store.search(
-            collection_name=settings.qdrant_collection,
-            query=body.message,
-            embedding_model=embedding_model,
-            k=body.k,
-        )
-    except (UnexpectedResponse, ResponseHandlingException) as exc:
-        logger.error("qdrant en erreur pendant la recherche : %s", exc)
-        raise HTTPException(status_code=502, detail="Base vectorielle en erreur.") from exc
-    except Exception as exc:
-        logger.error("ollama en erreur pendant l'embedding : %s", exc)
-        raise HTTPException(status_code=502, detail="Service d'embedding injoignable.") from exc
-
-    messages = [
-        {"role": "system", "content": SYSTEME},
-        {"role": "user", "content": construire_prompt_utilisateur(body.message, chunks)},
-    ]
-    ollama_client = _ollama(settings)
-
-    def flux():
-        # Un octet avant l'appel Ollama : deux visiteurs simultanés sont
-        # sérialisés (un seul slot GPU), et un silence de plus de ~100 s fait
-        # couper le tunnel Cloudflare en 524.
-        yield ": ping\n\n"
-        try:
-            for part in ollama_client.chat(
-                model=settings.chat_model, messages=messages, stream=True, options=OPTIONS_LLM
-            ):
-                token = part.message.content
-                if token:
-                    yield f"data: {json.dumps({'token': token}, ensure_ascii=False)}\n\n"
-        except Exception as exc:
-            logger.error("ollama en erreur pendant la generation : %s", exc)
-            yield f"event: error\ndata: {json.dumps({'error': 'generation interrompue'}, ensure_ascii=False)}\n\n"
-            return
-        sources = [
-            {"source": c["source"], "titre": c.get("titre"), "score": c["score"]} for c in chunks
-        ]
-        yield f"event: sources\ndata: {json.dumps({'sources': sources}, ensure_ascii=False)}\n\n"
-
-    return StreamingResponse(
-        flux(),
-        media_type="text/event-stream",
-        headers={"Cache-Control": "no-cache", "X-Accel-Buffering": "no", "Connection": "keep-alive"},
-    )
-
-
 # --- /voice : boucle vocale WebSocket -----------------------------------
 
 _FIN_ITERATION = object()
@@ -325,7 +255,10 @@ async def _gerer_session_vocale(websocket: WebSocket):
         await websocket.send_json({"type": "error", "message": "Aucune parole detectee."})
         return
 
-    # --- RAG : memes garde-fous que /chat ---
+    # --- RAG ---
+    # Aucun seuil de score : mesuré, les populations se chevauchent (question
+    # légitime à 0,296, hors sujet à 0,329). Aucune valeur ne sépare, donc
+    # aucune n'est posée. Le refus tient par SYSTEME et le délimiteur.
     qdrant_store = QdrantVectorStore(host=settings.qdrant_host, port=settings.qdrant_port)
     embedding_model = EmbeddingModel(
         model_name=settings.embedding_model, host=settings.ollama_host, port=settings.ollama_port
@@ -343,8 +276,12 @@ async def _gerer_session_vocale(websocket: WebSocket):
 
     try:
         chunks = await run_in_threadpool(
-            qdrant_store.search, settings.qdrant_collection, question, embedding_model, 8
+            qdrant_store.search, settings.qdrant_collection, question, embedding_model, K_EXTRAITS
+        )
+        identite = await run_in_threadpool(
+            qdrant_store.get_chunk, settings.qdrant_collection, IDENTITE_SOURCE, IDENTITE_TITRE
         )
+        chunks = ajouter_identite(chunks, identite)
     except (UnexpectedResponse, ResponseHandlingException) as exc:
         logger.error("qdrant en erreur pendant la recherche : %s", exc)
         await websocket.send_json({"type": "error", "message": "Base vectorielle en erreur."})

backend/api/requirements.txt

@@ -5,3 +5,6 @@
 # Le reste des dependances vient de backend/rag/requirements.txt.
 fastapi==0.141.1
 uvicorn==0.46.0
+# Sans bibliotheque WebSocket, uvicorn refuse l'upgrade de /voice
+# ("No supported WebSocket library detected") : la boucle vocale est morte.
+websockets==17.1

backend/rag/corpus/competences.md

@@ -5,34 +5,63 @@ source: competences.md
 
 # Compétences
 
-## Cybersécurité
+## Intelligence artificielle
 
-SIEM, EDR et XDR, tests d'intrusion, audit web selon l'OWASP, cryptographie et
-PKI, gouvernance avec EBIOS RM et ISO 27001, réponse à incident et forensique.
+Modèles de langage (LLM), RAG, embeddings et bases vectorielles, agents IA et
+chatbots, déploiement de solutions d'IA en entreprise avec Ollama et n8n,
+PyTorch, synthèse et reconnaissance vocales, modèles vision-langage, traitement
+de données.
 
-## Cloud et infrastructure
+## Cybersécurité
 
-Microsoft 365, Azure, Entra ID, Active Directory hybride, VMware vSphere 8,
-Proxmox, XCP-ng et Traefik.
+SIEM, EDR et XDR, tests d'intrusion, audit web selon l'OWASP, cryptographie et
+PKI, gouvernance avec EBIOS RM et ISO 27001, réponse à incident et forensique,
+sécurité réseau.
 
-## IA et automatisation
+## Cloud, systèmes et virtualisation
 
-Modèles de langage, RAG, n8n, PyTorch, synthèse et reconnaissance vocales,
-modèles vision-langage, bases vectorielles et agents IA.
+Microsoft 365, Azure, Entra ID, Intune, SharePoint, Active Directory hybride et
+stratégies de groupe. Administration de serveurs Linux et Windows.
+Virtualisation avec VMware vSphere 8, Proxmox et XCP-ng. Traefik. GLPI pour la
+gestion du parc et des demandes.
 
-## DevOps et observabilité
+## DevOps, orchestration et observabilité
 
-Docker, Kubernetes, Ansible, CI/CD avec GitLab et GitHub, Prometheus, Grafana
-et la suite ELK.
+Docker, Kubernetes et k3s, Helm, Ansible, CI/CD et intégration continue avec
+GitLab, GitHub et Azure DevOps Server. Supervision et monitoring avec
+Prometheus, Grafana et la suite ELK. Automatisation des systèmes et des
+installations de systèmes d'exploitation.
 
 ## Réseau
 
 Équipements Cisco, Aruba et Palo Alto.
 
-## Scripting et bases de données
+## Scripting pour l'automatisation
+
+Python, Bash et PowerShell, au service du DevOps, de l'infrastructure et de
+l'automatisation.
+
+## Développement, sur mon temps personnel
+
+Le développement n'est pas mon métier : je le pratique sur des projets
+personnels. J'y utilise Go, PHP, C, C++, React, Next.js, TypeScript, Laravel,
+Symfony et des API REST, ainsi que WordPress et PrestaShop.
+
+## Bases de données
+
+SQL, MySQL, PostgreSQL, SQLite, administration de bases de données avec
+phpMyAdmin.
+
+## Automatisation des processus
+
+Microsoft Power Automate et n8n pour automatiser les processus internes.
+
+## Pilotage et accompagnement
 
-Python, Bash, PowerShell et SQL.
+Gestion de projet, reporting, budget IT, management d'équipe en méthode agile,
+encadrement d'un alternant, formation des salariés, support et assistance aux
+utilisateurs, documentation.
 
-## Pilotage
+## Évaluations LinkedIn réussies
 
-Reporting, budget IT et management d'équipe en méthode agile.
+Python et développement front-end.

backend/rag/corpus/formation.md

@@ -7,10 +7,17 @@ source: formation.md
 
 ## Diplômes
 
-### École IT, Valenciennes, depuis 2022
+### SUPINFO, en distanciel, cinquième année
 
-Cursus Architecte en système d'information, en cours : je suis en cinquième
-année, en alternance chez Doublet.
+Je suis en cinquième année d'informatique à SUPINFO, en distanciel, tout en
+restant en alternance chez Doublet. J'y ai rejoint ma cinquième année parce que
+l'École IT, où j'avais fait mes quatre premières années, a fait faillite.
+
+### École IT, Valenciennes, de 2022 à 2026
+
+Cursus Architecte en système d'information, suivi de la première à la quatrième
+année, en alternance chez Doublet. L'école a fait faillite, d'où ma poursuite
+d'études à SUPINFO.
 
 ### Baccalauréat général, Lycée Notre-Dame de Valenciennes, 2022