Skip to content

[MITTEL] Evidence-Verifikation gegen Textfenster statt Gesamt-Volltext — Rekombinations-Masking via token_set_ratio #307

Description

@TillQuandel

Prio: MITTEL

Befund: Die Evidence-Verifikation (token_set_ratio, Schwelle 0.90) läuft gegen den Gesamt-Volltext des PDFs. Sobald alle Tokens eines Evidence-Zitats irgendwo im PDF vorkommen, ergibt token_set_ratio 1.0 — auch für Rekombinationen, die so nie in der Quelle stehen. Empirisch belegt in der adversarialen Kontrolle zu #298: „Akzeptanz und Nutzung der Technologie" → verbatim nicht im PDF (verbatim present: False), aber alle Tokens vorhanden → Score 1.0, VERIFIED.

Wirkung: Pre-existing systemische Masking-Fläche für kurze In-Domain-Rekombinationen — gilt für jedes PDF (nicht durch #298 eingeführt; #298 brachte das Jockisch-PDF nur auf Parität mit allen anderen). Kurze erfundene, aber vokabular-treue „Zitate" können als belegt durchgehen.

Fix-Richtung: Evidence-Verifikation gegen ein kontiguierliches Fenster bzw. den Retrieval-Chunk statt gegen den Gesamt-Volltext; alternativ token_sort_ratio/Substring-Anteil als Zusatzkriterium. Achtung Eval-Methodik: Änderung verschärft die Messung → EVAL_VERSION-Bump + adversariale Kontrolle nötig; Effekt auf Bestands-Raten vorher abschätzen.

Quelle: Adversariale Opus-Kontrolle zu PR #298 (Prüfauftrag 3, Empfehlung 3), empirischer token_set_ratio-Test auf dem reparierten Korpus, 2026-07-15.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions