docs(eval): Eval-Pipeline v4.3 dokumentieren

[TillQuandel]

Zusammenfassung

Neue Maintainer-Dokumentation docs/evaluation.md für die generative Faithfulness-Eval (EVAL_VERSION 4.3) — Zielgruppe: Till + künftige Sessions, die Eval-Messwerte interpretieren oder die Eval-Pipeline ändern.

• Datenfluss PDF → Metrik (Mermaid-Diagramm): PyMuPDF-Extraktion, _normalize inkl. CID-Rückmapping (fix(eval): CID-Font-Artefakte (U+0231/U+022C) im Quelltext zurückmappen — Grounder bestraft OCR-degradierte PDFs nicht mehr (#278) #298), Chunking, Embedding-Retrieval + F1/F2-Retrieval-Rescue (Eval-Verifier: possible_retrieval_miss blaeht Halluzinationsrate auf — 5/6 FP-Anker handverifiziert (Hrastinski, v0.3.143) #232), LLM-Judge, Evidence-Fuzzy-Verifikation, Audit-Override.
• Exakte Metrik-Definitionen: hallucination_rate, coverage_rate (= confirmed_rate, nicht dasselbe wie das abgeschaffte coverage_factual, coverage_factual: abgeschaffte v1.3-Metrik — Kalibrierungs-View zeigt LLM-Coverage seit v4 leer (stiller NULL-Leser) #233), -1.0-Sentinel, rate_valid (nur JSONL, keine DB-Spalte).
• Versionierung/Cache: EVAL_VERSION-Historie 4.1→4.2(Eval-Verifier: possible_retrieval_miss blaeht Halluzinationsrate auf — 5/6 FP-Anker handverifiziert (Hrastinski, v0.3.143) #232)→4.3(fix(eval): CID-Font-Artefakte (U+0231/U+022C) im Quelltext zurückmappen — Grounder bestraft OCR-degradierte PDFs nicht mehr (#278) #298), EVAL_CACHE_NAMESPACE, Re-Eval-Hash-Guard, Skew ist Design.
• Persistenz: note_evals/pipeline_runs-Spalten, quality_history.jsonl-Felder, reeval_baseline.py-Pfad inkl. der Falle, dass Re-Eval-Zeilen den Eval-Code-Stand (v0.3.144) statt der Erzeugungsversion tragen.
• Bekannte Grenzen: Selektions-Bias, [MITTEL] Generische CID-Font-/Korruptions-Erkennung auf Eval-Seite (Verallgemeinerung von #278) #306/[MITTEL] Evidence-Verifikation gegen Textfenster statt Gesamt-Volltext — Rekombinations-Masking via token_set_ratio #307/[MITTEL] Planner-Konzept-zu-Chunk-Zuordnung: Root-Cause des extractor-empty (#280-Wurzel) #308, plus ein neuer (ungetrackter) Fund — der -1.0-Sentinel läuft im Legacy-Slope-Chart-Pfad (eval_dashboard.py::_build_quality_chart_data, nur python eval_dashboard.py, nicht der Live-Server auf Port 8051) ungefiltert als „-100 %" in die Medianbildung ein.
• Interpretations-Leitfaden: n-Pflicht, PDF-Corpus-Overlap-Guard, Paarvergleichs-Ansicht (feat(dashboard): Versions×PDF-Paarvergleich mit Schnittmengen-Delta #305), was aus den Zahlen nicht gelesen werden darf.

Jede Code-Behauptung trägt einen datei.py:zeile-Anker gegen den zitierten Commit. Verweis von ARCHITECTURE.md auf die neue Doku ergänzt (kein bestehender docs/-Ort für Produkt-/Architektur-Doku vorhanden — docs/superpowers/+docs/plans/ sind separat gitignored interne Arbeitsdokumente).

Test plan

• Reine Dokumentation, kein Code geändert — keine Testsuite betroffen.
• Mermaid-Diagramm gegen den Mermaid-Validator geprüft (valide).
• Alle zitierten datei.py:zeile-Anker gegen den Commit-Stand im PR nachgelesen (siehe Anker-Stichprobe im Doku-Kopf).
• Till: Kurzcheck ob Ablageort (docs/evaluation.md + Verweis aus ARCHITECTURE.md) so passt.