Skip to content

Spezial-Lexika zur Erschließung historischer Dokumente

11 October, 2011


Annette Gotscharek vom Centrum für Informations- und Sprachverarbeitung (CIS) der Ludwig-Maximilians-Universität berichtete über Spezial-Lexika und ihre Auswirkungen auf die OCR-Erkennung.

Problematisch dabei sind unter anderem historische Schreibvarianten und Differenzen zwischen historischem und zeitgenössischem Wortschatz und Wortformen. Dabei ist zu unterscheiden zwischen den  spezifischen Anforderungen eines Lexikons für die OCR-Erkennung und eines Lexikons für die Suche im Volltext.

Anschließend wurden die im CIS entwickelten Korpora und Lexika präsentiert.

Das Diachrone Groundtruth-Korpus, aus verschieden Prosatexten aus den Jahren 1500 bis 1950 zusammengestellt, zeigte eine deutliche Lücke im 16. und 17. Jahrhundert, welche in einer Kooperation mit Dokumenten aus der Bayerischen Staatsbibliothek geschlossen werden konnte. Dadurch konnten regelmäßig auftretende Ersetzungsmuster bestimmt werden, (bspw. heute ‘t’, historisch oft ‘th’; heute ‘ei’, historisch oft ‘ey’) wodurch auf Basis heutiger Wörterbücher ein Hypothetisches Lexikon erstellt wurde, das also aus modernen Wörtern automatisch mögliche historische Varianten generieren kann. Dieses Vorgehen ist aber nicht perfekt,  vor allem für die Zeit vor 1750 ist ein manuell verifiziertes Lexikon nötig, um gute Ergebnisse zu erzielen.  Die Arbeit daran schreitet gut voran, durch die im CIS gesammelten Erkenntnisse konnten Projektpartner historische Lexika auch für slowenisch und bulgarisch erstellen.

Zum Abschluss ging Frau Gotscharek auf ein Lexikon für Named Entities, also Eigennamen (von Orten, Personen, Organisationen, …) ein. Diese sind einerseits für die OCR eine große Herausforderung, andererseits für die Recherche oft besonders relevant

___________________________________

Annette Gotscharek of the Centre for Information and Language  Processing of the Ludwig-Maximilians-University talked about special dictionaries and their impact on OCR. Spelling variations and no longer used words are a big problem for OCR, making a lexicon adapted to historical texts a necessity for the creation of correct full text.

 

RM (BSB); Mark-Oliver Fischer (BSB)

No comments yet

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: