
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:h="http://www.w3.org/1999/xhtml" xmlns:t="http://www.tei-c.org/ns/1.0">
  <teiHeader xml:lang="de">
    <fileDesc>
      <titleStmt>
        <title type="main">Part-of-Speech-Tagging</title>
        <author>
          <persName>
            <forename>Claudia</forename>
            <surname>Resch</surname>
          </persName>
        </author>
        <respStmt>
          <resp>Projektleitung</resp>
          <persName>
            <forename>Helmut W.</forename>
            <surname>Klug</surname>
          </persName>
        </respStmt>
        <respStmt>
          <resp>Datenmodellierung</resp>
          <persName>
            <forename>Selina</forename>
            <surname>Galka</surname>
          </persName>
        </respStmt>
        <respStmt>
          <resp>Datenmodellierung</resp>
          <persName>
            <forename>Elisabeth</forename>
            <surname>Steiner</surname>
          </persName>
        </respStmt>
        <funder>Bundesministerium für Wissenschaft, Forschung und Wirtschaft
                    </funder>
      </titleStmt>
      <publicationStmt>
        <publisher>
          <orgName corresp="https://informationsmodellierung.uni-graz.at" ref="http://d-nb.info/gnd/1137284463">Zentrum für
                        Informationsmodellierung - Austrian Centre for Digital Humanities,
                        Karl-Franzens-Universität Graz</orgName>
          <country>Austria</country>
        </publisher>
        <authority>
          <orgName corresp="https://informationsmodellierung.uni-graz.at" ref="http://d-nb.info/gnd/1137284463">Zentrum für
                        Informationsmodellierung - Austrian Centre for Digital Humanities,
                        Karl-Franzens-Universität Graz</orgName>
          <country>Austria</country>
        </authority>
        <distributor>
          <orgName ref="https://gams.uni-graz.at">GAMS - Geisteswissenschaftliches
                        Asset Management System</orgName>
        </distributor>
        <availability>
          <licence target="https://creativecommons.org/licenses/by-nc/4.0">Creative Commons
                            BY 4.0</licence>
        </availability>
        <date when="2021">2021</date>
        <pubPlace>Graz</pubPlace>
        <idno type="PID">o:konde.156</idno>
      </publicationStmt>
      <seriesStmt>
        <title ref="http://gams.uni-graz.at/konde">KONDE Weißbuch</title>
        <respStmt>
          <resp>Projektleitung</resp>
          <persName>
            <forename>Helmut W.</forename>
            <surname>Klug</surname>
          </persName>
        </respStmt>
      </seriesStmt>
      <sourceDesc>
        <bibl>
          <title>Weißbuchartikel: Part-of-Speech-Tagging</title>
          <author>Claudia Resch</author>
          <publisher>Herausgegeben von Helmut W. Klug unter Mitarbeit von Selina Galka und Elisabeth Steiner</publisher>
          <date>2021</date>
          <country>Austria</country>
        </bibl>
      </sourceDesc>
    </fileDesc>
    <encodingDesc>
      <projectDesc>
        <ab>
          <ref target="info:fedora/context:konde" type="context">KONDE Weißbuch</ref>
        </ab>
        <p>Im KONDE-Projekt, das aus Hochschulraumstrukturmitteln finanziert wird,
                        beschäftigten sich sieben universitäre Partner und drei weitere
                        Einrichtungen aus unterschiedlichen Blickwinkeln mit theoretischen und
                        praktischen Aspekten der Digitalen Edition. Ein Outcome des Projektes
                        stellt das Weißbuch dar, welches über 200 Artikel zum Thema Digitale
                        Edition umfasst. Die behandelten Themenkomplexe reichen dabei über
                        Digitale Editionswissenschaft im Allgemeinen, Annotation und
                        Modellierung, Interfaces, Archivierung und Metadaten bis hin zu
                        rechtlichen Aspekten.</p>
      </projectDesc>
    </encodingDesc>
    <profileDesc>
      <langUsage>
        <language ident="de">Deutsch</language>
      </langUsage>
    </profileDesc>
  </teiHeader>
  <text xml:lang="de">
    <body>
      <div>
        <head>Part-of-Speech-Tagging</head>
        <div>
          <head>Resch, Claudia; claudia.resch@oeaw.ac.at </head>
          <p>Eine der häufigsten fachspezifischen <ref target="/o:konde.17" type="internal">Annotationen</ref> von Texten besteht in der Zuweisung linguistischer Information nach morphosyntaktischen Merkmalen. Das sogenannte <hi rend="italic">Part-of-Speech-Tagging</hi> (PoS-Tagging) ist das Klassifizieren eines Textes nach Wortarten und stellt neben der Tokenisierung und <ref target="/o:konde.115" type="internal">Lemmatisierung</ref> einen wesentlichen Bestandteil der linguistischen Basisannotation dar: Dabei werden die in einem Text vorkommenden Wörter und Satzzeichen mit einem vordefinierten Inventar von verfügbaren Wortarten (<ref target="/o:konde.177" type="internal">TagSet</ref>) einer grammatikalischen Klasse zugewiesen, wodurch eine Suche nach abstrakten sprachlichen Phänomenen möglich wird. Auf diese Weise kann die Abfrage generalisiert werden, etwa indem nach bestimmten Wortarten oder Sequenzen von Wortarten gesucht wird. Die Abfrage kann damit jedoch auch weiter spezifiziert werden, zum Beispiel, wenn gezielt nach allen Belegen der Wortform ‘sein’ in der Funktion des Possessivpronomens gesucht wird, hingegen die Vorkommen von ‘sein’ als Auxiliarverb ausgeschlossen werden sollen.</p>

          <p>Die Zuordnung der Wortformen zu einer Wortart kann manuell, halb-automatisch oder – bei sehr großen Textsammlungen – automatisch durch sogenannte <hi rend="italic">Part-of-Speech</hi>-<ref target="/o:konde.176" type="internal">Tagger</ref> (kurz: PoS-Tagger) erfolgen. Deren Zuweisungen und Disambiguierungen basieren entweder auf Regeln (symbolische Tagger) oder auf statischen Verfahren bzw. maschinellen Lernverfahren (stochastische Tagger). Sogenannte hybride oder transformationsbasierte Tagger kombinieren beide Verfahren, indem sie bei der Disambiguierung mehrdeutiger Einheiten zunächst von der wahrscheinlichsten Wortart ausgehen, um diese dann durch kontextspezifische Regeln zu korrigieren <bibl>(Perkuhn/Keibel/Kupietz 2012, S. 59)</bibl>. Automatische Tagger können an verschiedene Sprachen und Sprachstufen angepasst werden – eine Liste von frei verfügbaren PoS-Taggern bietet die Universität Stanford an.
               </p>
          <p>Als Referenzsysteme und Grundlage für das Trainieren des PoS-Taggings werden Texte von bester Qualität (Goldstandard) herangezogen, deren automatische Annotation manuell überprüft und nachkorrigiert wurde. Generell ist die Automatisierung des PoS-Taggings für große, moderne Standardsprachen bereits sehr weit fortgeschritten – allerdings „bleibt hier für historische oder variante Spracherzeugnisse oder bestimmte literarische Genres noch viel zu tun“  <bibl>(Rapp 2017, S. 259)</bibl>.
               </p>
          <p>Die Qualität von manuell durchgeführten Annotationen beruht letztlich auf <ref target="/o:konde.100" type="internal">interpretativen</ref> Entscheidungen, deren Zuverlässigkeit durch die Anwendung des <hi rend="italic">Inter-Annotator-Agreements</hi> oder des <hi rend="italic">Intra-Annotatator-Agreements</hi> gesichert werden soll. Im Sinne der Nachnutzbarkeit von Annotationen ist es wichtig, deren Qualität einzuschätzen, mögliche Fehlerquellen zu diskutieren und die Verwendung der Labels sowie getroffene Entscheidungen in den Tagging-Guidelines nachvollziehbar zu dokumentieren.</p>
          <div type="literature">
            <listBibl>
              <biblStruct corresp="http://zotero.org/groups/1332658/items/27252BGE" type="conferencePaper" xml:id="Bański">
                <analytic>
                  <title level="a">Lightweight Grammatical Annotation in the TEI: New Perspectives</title>
                  <author>
                    <forename>Piotr</forename>
                    <surname>Bański</surname>
                  </author>
                  <author>
                    <forename>Susanne</forename>
                    <surname>Haaf</surname>
                  </author>
                  <author>
                    <forename>Martin</forename>
                    <surname>Mueller</surname>
                  </author>
                </analytic>
                <monogr>
                  <title type="conferenceName">LREC 2018 – 11th International Conference on Language Resources and Evaluation</title>
                  <imprint>
                    <pubPlace>Japan</pubPlace>
                    <biblScope unit="page">1795–1802</biblScope>
                    <date></date>
                  </imprint>
                </monogr>
              </biblStruct>
              <biblStruct corresp="http://zotero.org/groups/1332658/items/XGMW995P" type="book" xml:id="Lemnitzer2010">
                <monogr>
                  <title level="m">Korpuslinguistik. Eine Einführung</title>
                  <author>
                    <forename>Lothar</forename>
                    <surname>Lemnitzer</surname>
                  </author>
                  <author>
                    <forename>Heike</forename>
                    <surname>Zinsmeister</surname>
                  </author>
                  <edition>2. Auflage</edition>
                  <imprint>
                    <pubPlace>Tübingen</pubPlace>
                    <publisher>Narr Francke Attempto</publisher>
                    <date>2010</date>
                  </imprint>
                </monogr>
              </biblStruct>
              <biblStruct corresp="http://zotero.org/groups/1332658/items/9J9BPI2S" type="book" xml:id="Perkuhn2012">
                <monogr>
                  <title level="m">Korpuslinguistik</title>
                  <author>
                    <forename>Rainer</forename>
                    <surname>Perkuhn</surname>
                  </author>
                  <author>
                    <forename>Holger</forename>
                    <surname>Keibel</surname>
                  </author>
                  <author>
                    <forename>Marc</forename>
                    <surname>Kupietz</surname>
                  </author>
                  <imprint>
                    <pubPlace>Paderborn</pubPlace>
                    <publisher>Fink</publisher>
                    <date>2012</date>
                  </imprint>
                </monogr>
              </biblStruct>
              <biblStruct corresp="http://zotero.org/groups/1332658/items/D2IFR27E" type="bookSection" xml:id="Rapp2017">
                <analytic>
                  <title level="a">Manuelle und automatische Annotation</title>
                  <author>
                    <forename>Andrea</forename>
                    <surname>Rapp</surname>
                  </author>
                </analytic>
                <monogr>
                  <title level="m">Digital Humanities. Eine Einführung</title>
                  <editor>
                    <forename>Fotis</forename>
                    <surname>Jannidis</surname>
                  </editor>
                  <editor>
                    <forename>Hubertus</forename>
                    <surname>Kohle</surname>
                  </editor>
                  <editor>
                    <forename>Malte</forename>
                    <surname>Rehbein</surname>
                  </editor>
                  <imprint>
                    <pubPlace>Stuttgart</pubPlace>
                    <biblScope unit="page">253–267</biblScope>
                    <publisher>Metzler</publisher>
                    <date>2017</date>
                  </imprint>
                </monogr>
              </biblStruct>
              <biblStruct corresp="http://zotero.org/groups/1332658/items/45873V3Z" type="document" xml:id="Schiller1999b">
                <monogr>
                  <title level="m">Guidelines für das Tagging deutscher Textcorpora mit STTS</title>
                  <author>
                    <forename>Anne</forename>
                    <surname>Schiller</surname>
                  </author>
                  <author>
                    <forename>Simone</forename>
                    <surname>Teufel</surname>
                  </author>
                  <author>
                    <forename>Christine</forename>
                    <surname>Stöckert</surname>
                  </author>
                  <author>
                    <forename>Christine</forename>
                    <surname>Thielen</surname>
                  </author>
                  <imprint>
                    <date>1999</date>
                    <note type="url">http://www.sfs.uni-tuebingen.de/resources/stts-1999.pdf</note>
                  </imprint>
                </monogr>
              </biblStruct>
            </listBibl>
          </div>
          <div type="subsection" xml:id="software">
            <list>
              <item>
                <ref target="https://www.clarin.eu/content/services" type="external">CLARIN-mediated NLP-services</ref>
              </item>
              <item>
                <ref target="https://weblicht.sfs.uni-tuebingen.de/weblicht/" type="external">weblicht</ref>
              </item>
              <item>
                <ref target="http://opennlp.apache.org/" type="external">Apache OPENNLP</ref>
              </item>
              <item>
                <ref target="http://ucrel.lancs.ac.uk/claws/" type="external">CLAWS POS-Tagger for English</ref>
              </item>
              <item>
                <ref target="https://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/" type="external">TreeTagger</ref>
              </item>
              <item>
                <ref target="https://www.cis.uni-muenchen.de/~schmid/tools/RNNTagger/" type="external">RNNTagger</ref>
              </item>
              <item>
                <ref target="https://github.com/tsproisl/SoMeWeTa" type="external">SoMeWeTa</ref>
              </item>
              <item>
                <ref target="https://spacy.io/" type="external">spacy </ref>
              </item>
              <item>
                <ref target="https://nlp.stanford.edu/software/tagger.shtml" type="external">Stanford Log-linear Part-Of-Speech-Tagger</ref>
              </item>
              <item>
                <ref target="https://universaldependencies.org/" type="external">Universal Dependencies</ref>
              </item>
            </list>
          </div>
          <div type="subsection" xml:id="links">
            <list>
              <item>
                <ref target="/o:konde.115" type="internal">Lemmatisierung</ref>
              </item>
              <item>
                <ref target="/o:konde.145" type="internal">NLP</ref>
              </item>
              <item>
                <ref target="/o:konde.170" type="internal">SpaCy</ref>
              </item>
              <item>
                <ref target="/o:konde.176" type="internal">Tagger</ref>
              </item>
              <item>
                <ref target="/o:konde.177" type="internal">Tagsets</ref>
              </item>
              <item>
                <ref target="/o:konde.17" type="internal">Textannotation</ref>
              </item>
              <item>
                <ref target="/o:konde.212" type="internal">Weblicht</ref>
              </item>
              <item>
                <ref target="/o:konde.80" type="internal">Elemente digitaler Editionen</ref>
              </item>
            </list>
          </div>
          <div type="subsection" xml:id="projects">
            <list>
              <item>
                <ref target="http://www.deutschestextarchiv.de/" type="external">Deutsches Textarchiv</ref>
              </item>
              <item>
                <ref target="https://acdh.oeaw.ac.at/abacus/" type="external">Austrian Baroque Corpus (ABaC:us)</ref>
              </item>
              <item>
                <ref target="https://traveldigital.acdh.oeaw.ac.at/" type="external">travel!digital</ref>
              </item>
              <item>
                <ref target="https://nlp.stanford.edu/links/statnlp.html#Taggers" type="external">Liste von Part-of-Speech-Taggern</ref>
              </item>
            </list>
          </div>
          <div type="subsection" xml:id="topics">
            <list>
              <item>Einführung</item>
              <item>Natural Language Processing</item>
            </list>
          </div>
        </div>
      </div>
    </body>
  </text>
</TEI>
