Abstract
Parallel sentences are a relatively scarce but extremely useful resource for many applications including cross-lingual retrieval and statistical machine translation. This research explores our methodology for mining such data from previously obtained comparable corpora. The task is highly practical since non-parallel multilingual data exist in far greater quantities than parallel corpora, but parallel sentences are a much more useful resource. Here we propose a web crawling method for building subject-aligned comparable corpora from Wikipedia articles. We also introduce a method for extracting truly parallel sentences that are filtered out from noisy or just comparable sentence pairs. We describe our implementation of a specialized tool for this task as well as training and adaption of a machine translation system that supplies our filter with additional information about the similarity of comparable sentence pairs.
Highlights
The corpus PaGeS is a bilingual parallel corpus, that comprises a collection of contemporary Spanish and German texts
Este artículo describe las sucesivas fases en la elaboración del corpus
Zinsmeister, H., «Corpora», in: Carstensen, K.-U. et al (Hg.), Computerlinguistik und Sprachtechnologie: Eine Einführung
Summary
Ein Korpus ist nicht nur eine Sammlung von elektronischen Texten, sondern die Texte müssen nach bestimmten Kriterien gesammelt werden, die gewährleisten sollen, dass das Korpus für das geplante Forschungsziel geeignet ist. Das PaGeS-Korpus ist als zweisprachiges Korpus in Deutsch und Spanisch konzipiert worden, obwohl die Möglichkeit einer weiteren mehrsprachigen Erweiterung des Korpus nicht ausgeschlossen ist. Die einzige Möglichkeit, die Qualität zu gewährleisten, besteht darin, schriftliche Texte von angesehenen Verlagen zu verwenden, bei denen sowohl Originaltexte als auch Übersetzungen einer anspruchsvollen Qualitätskontrolle unterzogen werden. Das Korpus besteht aus nach 1960 erschienenen Büchern, mit besonderem Schwerpunkt auf Werken aus den letzten zwei Jahrzehnten. Fiktionale Texte bilden die große Mehrheit der Sprachdaten (80 %), da sie eher in andere Sprachen übersetzt werden und damit den größten Teil der verfügbaren Ressourcen darstellen. Enthält das Korpus neben Büchern von deutschen und spanischen Schriftstellern auch andere von amerikanischen, österreichischen oder Schweizer Autoren. Den restlichen Anteil von 14 Prozent bilden Werke, die aus einer dritten Sprache ins Deutsche und Spanische übersetzt wurden (Abb. 3: GX und SX).
Sign-in/Register to view highlights & summary Sign-in/Register to access full text options 
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a callDisclaimer: All third-party content on this website/platform is and will remain the property of their respective owners and is provided on "as is" basis without any warranties, express or implied. Use of third-party content does not indicate any affiliation, sponsorship with or endorsement by them. Any references to third-party content is to identify the corresponding services and shall be considered fair use under The CopyrightLaw.
