Skip to content

[MITTEL] Generische CID-Font-/Korruptions-Erkennung auf Eval-Seite (Verallgemeinerung von #278) #306

Description

@TillQuandel

Prio: MITTEL

Befund: PR #298 fixt exakt die zwei Codepoints des Jockisch-Fonts (U+0231→Leerzeichen, 5173×; U+022C→Trennstrich, 240×; per PyMuPDF am Original nachgemessen). Jedes andere PDF mit anderem CID-Glyph-Mapping erzeugt dasselbe Muster — quellentreue Notes werden fälschlich als Halluzination markiert — und bleibt ungefixt, bis jemand manuell neue Replace-Zeilen einbaut. Die adversariale Kontrolle zu #298 bestätigte am Jockisch-PDF weitere (seltene, ≤8×) Rest-Artefakte (ĺ, Έ, ȟ) als Vorboten der Klasse.

Wirkung: Wiederholung des #278-Fehlerbilds bei künftigen PDFs mit defekten eingebetteten Fonts; die Eval bestraft weiterhin gute Notes aus solchen Quellen — nur eben bei anderen Codepoints.

Fix-Richtung: Statt festem 2-Codepoint-Mapping eine Erkennung auf Eval-Seite: Nicht-ASCII-Häufigkeitsprofil des extrahierten Quelltexts (dominante Einzel-Codepoints in Leerzeichen-/Trennstrich-Position sind ein starkes CID-Signal) → mindestens prominente Warnung im Eval-Ergebnis, optional generisches Rückmapping mit Positions-Heuristik. Abgrenzung: #27 (Textqualitäts-Gate + OCR-Fallback) adressiert die Pipeline-/Chunker-Seite; dieses Issue die Eval-Messseite (die direkt PyMuPDF nutzt).

Quelle: Adversariale Opus-Kontrolle zu PR #298 (Empfehlung 1), 2026-07-15.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions