
\chapter{Grundlagen}
\label{cha:Grundlagen}\label{ch:grundlagen}

Die automatische Verarbeitung von natürlichsprachlichen Texten hat in den letzten Jahren an Bedeutung gewonnen: Aus der immer größer werdenden Flut von Texten erwächst die Notwendigkeit, bessere Methoden zu entwickeln, um Texte automatisch zu erfassen, zu filtern, zu suchen, zu indizieren und zusammenzufassen. Dabei hat sich gezeigt, dass neben geeigneten Verfahren und ausreichender Speicher- und Verarbeitungskapazität auch maschinell verarbeitbares \emph{Wissen} von entscheidender Bedeutung für die Verarbeitung natürlicher Sprache ist \qq{gabrilovich2006fg}{ide1998wsd}. Solches Wissen reicht von formalen Ontologien, wie sie in Expertensystemen und zur Wissensrepräsentation für Künstliche Intelligenz eingesetzt werden, zu "`weichem"', "`flachem"' Sprachwissen, \zB darüber, was ein Name ist, wo ein Satz endet oder welche Wörter in welcher Sprache für welches Konzept stehen.

Der Nutzen, den so genanntes \nom{Weltwissen} für Softwaresysteme hat, wird in der \lingo{Knowledge as Power Hypothesis} von \person{B. G. Buchanan} zusammengefasst \q{buchanan1982f}: 

\begin{quote}
\nospell{\it The power of an intelligent program to perform its task well depends primarily on the quantity and quality of knowledge it has about that task.}
\end{quote} 

Und \person{D.B. Lenat} sagt über die Notwendigkeit zu generalisieren, also den Nutzen seiner Begriffshierarchie \q{lenat1991tk}: 

\begin{quote}
\nospell{\it To behave intelligently in unexpected situations, an agent must be capable of falling back on increasingly general knowledge.}
\end{quote} 

Weiter sagt \name{Lenat}, dass Programme ohne Wissen sehr anfällig (\lingo{brittle}) seien, und nur Aufgaben bewältigen können, die vom Programmierer vollständig vorhergesehen wurden \q{lenat1990ctp}.

Ziel der vorliegenden Diplomarbeit ist es nun, eine Sammlung solchen Wissens, nämlich einen \nom{Thesaurus}, automatisch aus dem Datenbestand der Wikipedia zu erzeugen. Die Wikipedia bietet sich für diesen Zweck an, da sie einen großen, aktuellen und wohlstrukturierten Korpus darstellt, der zudem frei und in einer Vielzahl von Sprachen verfügbar ist.

Die Idee ist, ein Softwaresystem (im Folgenden: \nom{WikiWord}) zu entwerfen, das in der Lage ist, Wissen über Bezeichnungen für und die Beziehungen zwischen Konzepten aus der Wikipedia zu extrahieren. Dieses Wissen ist in der Struktur und den Inhalten der Wikipedia mehr oder weniger explizit enthalten: Beziehungen werden durch spezielle syntaktische Konstrukte (\nom{Markup}) sowie Konventionen über den Aufbau und die Formatierung von Inhalten repräsentiert. Ziel dieser Diplomarbeit ist es, Methoden zur Auswertung dieser Strukturen zu entwerfen und zu evaluieren, insbesondere solche Methoden, die ohne eine Betrachtung von natürlicher Sprache, also der eigentlichen textuellen Inhalte, auskommen. Ein Entwurf für ein Softwaresystem, das solche Methoden umsetzt, ist in \rr{par:entwurf} beschrieben, detaillierte Informationen über die konkrete Implementation von WikiWord finden sich unter \rr{par:implementation}. Die Evaluation wird in \rr{par:evaluation} erläutert.

Bevor der Entwurf und die Implementation von WikiWord dargelegt werden können, werden in den verbleibenden Abschnitten dieses Kapitels Grundbegriffe geklärt (\rr{sec:begriffe}), ein Überblick über wichtige Eigenschaften der Wikipedia geboten (\rr{sec:wikipedia}) sowie verschiedene Arten und Aspekte von Thesauri betrachtet (\rr{sec:thesauri}). Das folgende Kapitel gibt dann eine Übersicht über den Stand der Forschung  in Hinblick auf die automatische Erstellung von Thesauri im Allgemeinen und die Extraktion von Wissen aus der Wikipedia im Speziellen (\rr{ch:Einordnung}).

\section{Begriffe}
\label{sec:begriffe}
Zunächst eine kurze Übersicht über Begriffe, die in dieser Arbeit spezielle Bedeutung haben:

\begin{description}
 \item[Wiki:] \index{Wiki} Im Allgemeinen eine Webseite, die von jedem frei bearbeitet werden kann \q{cunningham2001ww}; im Speziellen ein bestimmtes Wikipedia-Projekt (siehe unten).

 \item[Wikipedia:] \index{Wikipedia} Ein Projekt zur kooperativen Erstellung einer Enzyklopädie unter Verwendung der Wiki-Technologie (\rr{sec:wikipedia}). Je nach Kontext bezeichnet \nom{Wikipedia} ein bestimmtes Wikipedia-Projekt in einer bestimmten Sprache (siehe unten).
 
 \item[MediaWiki:] \index{MediaWiki} MediaWiki ist die Software, auf der die Wikipedia-Wikis basieren und die für diesen Zweck von der Wikimedia Foundation entwickelt wird \q{MW:ABOUT}. MediaWiki ist freie Software, lizenziert unter der GPL  \q{GPL}.
 
 \item[Wikimedia:] \index{Wikimedia} Die Wikimedia Foundation ist eine gemeinnützige Stiftung mit Sitz in St. Petersburg, Florida, USA, deren Zweck die Förderung von freiem Wissen ist \qqq{WM:ABOUT}{OKD}{FCW}. Sie betreibt Anfang 2008 über 750 Wiki-Projekte \qq{M:SITES}{WM:PROJECTS} zu unterschiedlichen Themen in unterschiedlichen Sprachen, unter anderem auch die Wikipedia-Projekte.
 
 \item[WikiWord:] Das im Rahmen dieser Diplomarbeit entwickelte Softwaresystem zur automatischen Extraktion eines multilingualen Thesaurus aus der Wikipedia.
 
 \item[Projekt:] \index{Projekt} Ein (Wiki-)\nom{Projekt} ist eine konkrete Website, auf der ein Wiki-System verwendet wird und eine Gemeinschaft von Benutzern gemeinsam Inhalte zu einem bestimmten Thema erstellt --- zum Beispiel die deutschsprachige Wikipedia (\domain{de.wikipedia.org}). Im Falle der Wikipedia korrespondiert ein konkretes Projekt jeweils mit einer Sprache, in der enzyklopädische Inhalte erstellt werden. Diese Inhalte dienen als Korpus im Sinne dieser Arbeit (siehe unten).
 
 \item[Sprache:] \index{Sprache} Ein Wikipedia-Projekt ist immer mit der Sprache assoziiert, in der seine Inhalte verfasst sind. Jeder Sprache ist ein Code zugeordnet, der als Präfix für Language-Links und als Subdomain dient (\rr{p:wp-features}). Diese Codes folgen im Wesentlichen der ISO 639-1 Norm \qq{ISO:639-1}{M:SITES}. Zum Beispiel verwendet die deutschsprachige Wikipedia den Code \texttt{de} (und damit die Domain \domain{de.wikipedia.org}). Ein Sprach-Code identifiziert also auch ein Wiki-Projekt und damit einen Korpus, aus dem ein (lokaler) Datensatz für den Thesaurus extrahiert werden kann.
 
 \item[Korpus:] \index{Korpus} Ein Korpus ist im Kontext dieser Arbeit eine Sammlung von Wiki-Seiten, die Gegenstand der Analyse zwecks Erzeugung eines (lokalen) Datensatzes für den Thesaurus sein kann. Ein Korpus ist immer einer Sprache und einem Wiki-Projekt zugeordnet; mit dem einer Sprache zugeordneten Korpus ist daher die Menge von Wiki-Seiten gemeint, die in dem zu der Sprache gehörigen Wikipedia-Projekt enthalten sind.
 
 \item[Seite:] \index{Seite}\index{Ressource} Eine (Wiki-)Seite ist eine (Wiki-)Text-\nom{Ressource} mit einem eindeutigen Namen innerhalb eines Wiki-Projektes und damit einer eindeutigen URL. Sie kann analysiert werden, um aus ihr Informationen zu gewinnen, die dann zum Aufbau eines Thesaurus verwendet werden können (siehe \rr{transform:analyse}). 
 
Im Folgenden werden die Namen von Wiki-Seiten serifenlos und kursiv gesetzt, zum Beispiel: \wikipage{Sprachwissenschaft}.
 
 \item[Artikel:] \index{Artikel} Ein Artikel ist eine Wiki-Seite, die ein Konzept definiert. Nicht alle Seiten sind Artikel, prominente Gegenbeispiele sind Weiterleitungen\index{Weiterleitung} (Redirects\index{Redirect}), Begriffsklärungen\index{Begriffsklärung} (Disambiguations\index{Disambiguation}) und Kategorien (siehe \rr{p:wp-features}, \rr{sec:ressourcenklassifikation}); weitere Gegenbeispiele sind Wiki-Seiten, die im Zuge dieser Arbeit nicht betrachtet werden, wie zum Beispiel Benutzerseiten. 
 
 \item[Konzept:] \index{Konzept} Ein Konzept ist im Kontext dieser Arbeit ein (abstrakter oder konkreter) Betrachtungsgegenstand, in der Wikipedia insbesondere Gegenstand von Artikeln. Konzepte haben eine Menge von Termen als \emph{Bezeichnungen}, sie sind somit die \emph{Bedeutung} der ihnen zugeordneten Terme, also das \nom{Bezeichnete} (auch \nom{Signifikat}, \lang{fr}{Signifé}) im Sinne der Semiotik \person{de Saussures} \qs{desaussure2001gas}{76ff}. Ein wesentlicher Aspekt dieser Arbeit ist es, diese Beziehung zwischen Konzept und Term zu explizieren, also eine \emph{Bedeutungsrelation}\index{Bedeutungsrelation} aufzubauen. Gemeinsam mit den Beziehungen zwischen Konzepten bildet die Bedeutungsrelation einen konzeptorientierten Thesaurus \q{matthews8mts} (siehe \rr{entwurf:lokales-datenmodell}). 
 
Im Folgenden werden die Namen von Konzepten in Kapitälchen gesetzt, zum Beispiel: \wwconcept{Sprachwissenschaft}.
 
 \item[Term:] \index{Term} Ein Term ist im Kontext dieser Arbeit ein \nom{Wort}\index{Wort} oder eine \nom{Wortgruppe} \bzw \nom{Phrase}\index{Phrase}, die benutzt wird, um auf ein Konzept Bezug zu nehmen --- das heißt, er ist eine \emph{Bezeichnung}\index{Bezeichnung} für ein Konzept, also das \nom{Bezeichnende} (auch \nom{Signifikant}, \lang{fr}{Signifiant}) im Sinne der Semiotik \person{de Saussures} \qs{desaussure2001gas}{76ff}. Unterschiedliche Wortformen und Schreibweisen werden dabei als unterschiedliche Terme betrachtet, selbst dann, wenn sie sich nur in der Großschreibung unterscheiden. Die \nom{Bedeutungsrelation} zwischen Termen und Konzepten ist ein wesentlicher Aspekt dieser Arbeit (siehe \rr{entwurf:lokales-datenmodell} und \rr{sec:analyzer:terme}). 
 
Im Folgenden werden Terme kursiv und in Anführungszeichen gesetzt, zum Beispiel: \wwterm{Sprachwissenschaft}.

\item[Dump:] Ein (Wikipedia-)Dump ist eine Datei, die eine Menge von Wikipedia-Seiten enthält, das heißt, sie beinhaltet den Wiki-Text der betreffenden Seiten sowie die dazugehörige \nospell{Meta-}Information, eingebettet in eine dafür entworfene XML-Struktur \q{MW:XML}. Dumps der Wikipedia-Inhalte werden periodisch alle paar Monate erstellt und zur freien Weiternutzung angeboten \q{WM:DOWNLOAD}. Es gibt für jede Wikipedia unterschiedliche Dumps, die verschiedene Mengen von Seiten enthalten. Für diese Arbeit sind diejenigen Dumps relevant, die alle Seiten im Hauptnamensraum (die "`\nom{Artikel}"') sowie alle Kategorieseiten beinhalten, wobei nur die aktuelle Revision jeder Seite benötigt wird. Die für diese Anwendung zugeschnittenen Dumps folgen dem Namensschema \cli{\cliv{wikiname}-\cliv{datum}-pages-articles.xml}, also zum Beispiel \cli{dewiki-20080320-pages-articles.xml} für den Dump der deutschsprachigen Wikipedia vom 20. März 2008, der die aktuelle Version aller Seiten im Hauptnamensraum sowie Kategorien und Vorlagen enthält.

\item[Datensatz:] Im Zusammenhang dieser Diplomarbeit ist ein \nom{Datensatz} eine Sammlung von Informationen über Konzepte und Terme und ihre Beziehungen zueinander. Datensätze gibt es in zwei Ausprägungen: \nom{Lokale} (sprachspezifische) Datensätze enthalten die Daten, die aus einem Korpus in einer bestimmten Sprache extrahiert wurden, sie repräsentieren damit einen monolingualen Thesaurus  (siehe \rr{entwurf:lokales-datenmodell}). \nom{Globale} Datensätze kombinieren mehrere lokale Datensätze zu einem multilingualen Thesaurus, indem sie äquivalente Konzepte aus den einzelnen Sprachen zu jeweils einem sprachunabhängigen Konzept zusammenfassen (siehe \rr{entwurf:globales-datenmodell}).

Datensätze werden typischerweise nach dem Wiki benannt, auf dessen Basis sie erstellt wurden.

\item[Kollektion:] Im Zusammenhang dieser Diplomarbeit ist eine \nom{Kollektion} eine Menge von Datensätzen, die zusammen einen multilingualen Thesaurus bilden. Eine Kollektion enthält einen lokalen Datensatz pro betrachteter Sprache sowie einen globalen Datensatz, der die Konzepte aus den lokalen Datensätzen miteinander verbindet. 
\later{Im Evaluationsteil dieser Arbeit (\rr{ch:evaluation}) werden unterschiedliche Kollektionen betrachtet und verglichen: Kollektionen, die aus unterschiedlichen Mengen von Sprachen bestehen sowie Kollektionen, die nur einen thematischen Ausschnitt aus den jeweiligen Sprachen berücksichtigen.}

Wie in \rr{sec:uris} beschrieben, wird der Name der Kollektion verwendet, um einen universell eindeutigen Bezeichner (URI) für den Datensatz zu erzeugen. Es ist daher zweckmäßig, aussagekräftige und eindeutige Namen für Kollektionen zu verwenden, insbesondere solche, die Informationen über die verwendeten Wikis, deren Version und eventuelle thematische Ausschnitte enthalten. 
\end{description}

\section{Wikipedia}
\label{sec:wikipedia}
Wikipedia ist eine Online-Enzyklopädie, die von Tausenden von Benutzern in Kollaboration erstellt wird \q{fiebig2005wp}. Sie beruht auf dem "`Wiki-Prinzip"', also der Idee, dass jeder, auch ohne Anmeldung, die Inhalte sofort bearbeiten und erweitern kann \q{cunningham2001ww}. Wikipedia verwendet zu diesem Zweck die \nom{MediaWiki}-Software \q{MW:ABOUT}, die von der Wikimedia Foundation \q{WM:ABOUT} für diesen Zweck entwickelt wird.

Wikipedia zählt Anfang 2008, nur sieben Jahre nach ihrer Gründung im Jahre 2001, mit bis zu fünfundsechzigtausend Seitenaufrufen pro Sekunde zu den zehn meistgenutzten Webseiten weltweit \qq{WM:SURVEY}{WM:10M}. Wikipedia-Projekte gibt es in über 250 Sprachen mit insgesamt über zehn Millionen Artikeln\footnote{Nach der internen Zählweise von MediaWiki: Alle Artikel im Hauptnamensraum, die keine Weiterleitung sind und mindestens einen Wiki-Link enthalten; Begriffsklärungsseiten werden also mitgezählt.} \qqq{WM:10M}{M:SITES}{WM:PROJECTS}, davon über zwei Millionen in der englischsprachigen und über siebenhunderttausend in der deutschsprachigen Wikipedia \qq{WM:2M}{WP:STATS}. Alle Inhalte sind unter der GFDL lizenziert \q{GFDL} und damit frei verwendbar \qq{OKD}{FCW}. Der gesamte Korpus der Wikipedia wird periodisch als XML \q{MW:XML} in so genannte \nom{Dumps} exportiert und zur Weiternutzung angeboten \q{WM:DOWNLOAD}. 

Die kollaborative Natur von Wikipedia erlaubt eine hohe Aktualität der Inhalte sowie ein rapides Wachstum der thematischen Abdeckung. Die Anzahl der Seiten in einer Sprache folgt in der Regel zunächst einer exponentiellen Wachstumskurve \q{voss05measuring} und scheint sich mittlerweile zu linearem Wachstum abzuflachen \q{WP:STATS}. Für die Zukunft ist damit zu rechnen, dass sich das Wachstum noch weiter verlangsamt, so dass sich insgesamt eine logistische Funktion("`S-Kurve"') für das Wachstum ergibt. Die Qualität einzelner Artikel in der Wikipedia ist recht unterschiedlich, insgesamt jedoch mit der Qualität traditioneller Enzyklopädien vergleichbar \q{giles2005}.
 
Einträge in der Wikipedia sind recht uniform und folgen gewissen Konventionen: insbesondere beschreibt jede Seite genau ein \emph{Konzept} \q{WP:ARTIKEL} (Ausnahmen sind \nom{Weiterleitungen} und \nom{Begriffsklärungsseiten}, siehe unten) und beginnt mit einer Begriffsdefinition \nom{(Glosse)} \q{WP:WSIGA}. 

Da es sich bei der Wikipedia um eine Enzyklopädie handelt, enthält sie vor allem Substantive, Nominalphrasen und Eigennamen; Verben und Adjektive kommen dagegen kaum vor. Für eine Verwendung im Bereich des \nospell{Information Retrieval} ist das kaum problematisch (und eventuell sogar von Vorteil), da zur Klassifikation und Indexierung von Dokumenten ohnehin hauptsächlich Substantive verwendet werden, weil diese gut geeignet sind, den thematischen Inhalt eines Dokumentes wiederzugeben, siehe \qqq{SyedEtAl2008}{hepp:hwc}{Eiron2003at} sowie \q{WP:V}. Insbesondere enthält die Wikipedia im Gegensatz zu manuell erstellten Thesauri und Wörterbüchern eine große Zahl von Einträgen über Orte, Personen, Werke und Organisationen --- sie eignet sich daher besonders, um Informationen zu \emph{Eigennamen} (\lingo{proper nouns} \bzw \lingo{Named Entities}) zu finden. Auch enthält sie eine Vielzahl von Fachausdrücken aus den verschiedensten Fachbereichen, die in der Regel in allgemeinen Thesauri und Wörterbüchern nicht enthalten sind. 

Eine weitere Eigenheit der Wikipedia betrifft die \nom{Granularität}\index{Granularität} ihrer Einträge: zwar 
deckt die Wikipedia einen weiten Bereich menschlichen Wissens ab, da sie aber eine Enzyklopädie ist, bleiben die Einträge aus lexikographischer Sicht eher grob: zum Beispiel werden die Begriffe \wwterm{physikalisch} und \wwterm{Physiker} mit unter den Eintrag für \wwterm{Physik} gefasst. Diese Art von Ungenauigkeit ist aber in Hinblick auf die Indexierung und Klassifikation von Dokumenten, also für eine "`oberflächliche"' Analyse von Texten, eher hilfreich als schädlich (vergleiche \qs{ide1998wsd}{22} und \qs{wilks1996ewd}{59}). Die \emph{fachliche}, \emph{taxonomische} Granularität aber (ob \zB die \wwterm{Atomphysik} einen eigenen Artikel hat oder mit unter \wwterm{Physik} behandelt wird) hängt vor allem von der Gesamtgröße der Wikipedia ab und variiert damit stark zwischen den verschiedenen Sprachen --- ein Umstand, den es bei der Erstellung des globalen Datensatzes zu berücksichtigen gilt (siehe \rr{entwurf:zusammenfuehren} und \rr{transform:zusammenfuehren}).

Weitere Funktionen, Eigenschaften und Konventionen, die Wikipedia  zu einer exzellenten Ressource für lexikalisch-semantische Informationen machen und im Zusammenhang mit dieser Arbeit wichtig sind, seien im Folgenden genannt:

\label{p:wp-features}
\begin{description}
 
\item[Seiten:] Ein Wiki enthält ein Netzwerk von (Hypertext-)Seiten, die untereinander eng über Hyperlinks verknüpft sind \q{bellomi2005naw}. Jede Seite hat einen eindeutigen Namen, über den sie innerhalb des Wikis über Wiki-Links angesprochen werden kann \q{cunningham2001ww} und der als URL-Suffix dient, so dass eine eindeutige URI \q{RFC:3986} für diese Seite entsteht.

Der Name der Seite ist in der Wikipedia das enzyklopädische \nom{Lemma}\index{Lemma} des Artikels. Im Zuge der vorliegenden Arbeit wird der Seitenname als eindeutiger Bezeichner sowohl für die Seite (also Ressource) als auch für das Konzept, das auf der Seite beschrieben wird, verwendet \qq{skosth2005}{bernerslee1998uri}. Welches von beiden gemeint ist, ist im Kontext eindeutig, für eine externe Darstellung muss aber klar zwischen diesen unterschieden werden; mehr dazu in Kapitel \rr{ch:export}.

Für den Fall, dass die "`natürliche"' Bezeichnung zweier Konzepte derselbe Term ist, wird durch einen sogenannten \nom{Klammerzusatz}\index{Klammerzusatz} als Qualifikator ein eindeutiges Lemma geschaffen (ein \nom{Klammer-Lemma}\index{Klammer-Lemma}) \q{WP:NK}. So wird zum Beispiel zwischen \wikipage{Bock\_(Gestell)}, \wikipage{Bock\_(Turngerät)}, \wikipage{Bock\_(Insel)} und \wikipage{Bock\_(Dudelsack)} sowie \wikipage{Bock\_(Familienname)} unterschieden (das Tier dagegen wird unter \wikipage{Huftiere} behandelt). In einem solchen Fall gibt es zusätzlich eine Begriffsklärungsseite (siehe unten), die diese Bedeutungen aufzählt --- sie würde entweder den Namen ohne Klammerzusatz tragen (\wikipage{Bock}), oder den Zusatz "`Begriffsklärung"' (also \wikipage{Bock\_(Begriffsklärung)}) \q{WP:BKL}.

 \item[Wiki-Text:] \label{model:wikitext}  \index{Wiki-Text} Wikis verwenden eine Markup-Sprache, genannt \nom{Wiki-Text}, die sich im Funktionsumfang an HTML orientiert, aber leichter für Menschen zu lesen und zu bearbeiten sein soll \q{cunningham2001ww}. "`Wiki-Text"' ist als allgemeine Bezeichnung zu verstehen, die konkreten Markup-Sprachen verschiedener Wiki-Systeme unterscheiden sich zum Teil erheblich voneinander. Im Kontext dieser Arbeit ist mit Wiki-Text die von MediaWiki verwendete Markup-Sprache gemeint (\rr{ch:wikitext}).
 
Beispiele für Wiki-Text werden im Folgenden kursiv in einer nichtproportionalen Schrift gesetzt, zum Beispiel: \wikitext{[[Sprachwissenschaft]]}.

Die Art und Weise, wie Wiki-Markup in der Wikipedia verwendet wird \q{WP:WSIGA}, ist im Vergleich zu Webseiten im Allgemeinen relativ reich an Semantik. Insbesondere die Verwendung von Vorlagen sowie die Zuweisung von Kategorien sind im Kontext dieser Arbeit sehr nützlich.
 
 \item[Wiki-Links:] \index{Wiki-Link}\index{Link} Ein wichtiger Aspekt von Wikis ist die leichte Verknüpfbarkeit von Seiten untereinander \q{WP:V}. MediaWiki verwendet für diesen Zweck Wiki-Links, die als Name des Zielartikels in doppelten eckigen Klammern geschrieben werden, \zB \wikitext{[[Sprache]]}.  Die Syntax ist in \rr{sec:wikitext:links} genauer beschrieben. Wiki-Links, die auf eine Seite zeigen, die nicht existiert, werden von MediaWiki rot dargestellt. Solche "`roten Links"' sind nicht als Fehler zu werten, sondern vielmehr als ein Hinweis auf fehlende Inhalte \q{WP:RL}.

Der Link-Text ist eine wichtige Quelle für die Zuordnung von Termen (dem Link-Text) zu Konzepten (dem Link-Ziel), das heißt, für den Aufbau der Bedeutungsrelation (siehe \rr{sec:analyzer:links}): Der Link-Text verhält sich zum Link-Ziel ähnlich wie der Titel der Seite (also das Lemma) zu ihrem Inhalt (dem Konzept) \q{Mihalcea2007} sowie \qqq{craswell:esf}{Eiron2003at}{Kraft2004at}. 

 \item[Namensräume:] \index{Namensraum}\label{p:features:namensraum}MediaWiki unterstützt (und Wikipedia nutzt) Namensräume für Wiki-Seiten, um Seiten mit unterschiedlicher Funktion voneinander zu trennen und Namenskonflikte zu vermeiden \q{WP:NS}. MediaWiki gibt eine Anzahl von Namensräumen fest vor, darunter solche für Benutzerseiten, Projektseiten, Hilfeseiten, Kategorien und einige mehr \q{MW:NS}. Jedem Namensraum ist zudem ein entsprechender Diskussionsnamensraum zugeordnet (und jeder Seite entsprechend potentiell eine Diskussionsseite, die dazu dient, die Arbeit an der Seite zu koordinieren). Namensräume werden über einen Präfix am Seitennamen adressiert: Der Link \wikitext{[[Hilfe:Formatieren]]} verweist auf eine Seite im Namensraum \wikipage{Hilfe}, die sich mit Textformatierung befasst. Die Namen (Präfixe) der Namensräume sind sprachabhängig, eine Liste der Namen der verwendeten Namensräume ist in jedem XML-Dump enthalten. 
 
 Der \emph{eigentliche} Inhalt des Wikis, im Falle der Wikipedia die enzyklopädische Information, befindet sich auf Seiten im \nom{Hauptnamensraum}\index{Hauptnamensraum}, dem kein Präfix (oder genauer, der leere String als Präfix) zugeordnet ist. Seiten im Hauptnamensraum werden auch als \nom{Artikel}\index{Artikel} bezeichnet, insbesondere dann, wenn sie keine Weiterleitungen und keine Begriffsklärungen sind, wenn sie also ein Konzept beschreiben. Solche Artikel beinhalten das Sachwissen der Wikipedia. 
 
 \item[Interwiki-Links:] \index{Interwiki-Link} Auch Verknüpfungen auf andere Wikis sind mittels sogenannter \nom{Interwiki-Links} bequem möglich: für jedes Wiki, das als Ziel von Interwiki-Links dienen soll, muss dafür ein Präfix zugewiesen werden, der bei der Definition des Wiki-Links verwendet wird (siehe \rr{sec:wikitext:links}).
 
 \item[Language-Links:] \index{Language-Link} Interwiki-Links mit bestimmten Präfixen, die als Sprachcodes definiert sind, werden besonders behandelt: Sie werden als Verknüpfungen auf eine \emph{äquivalente} Seite in einer anderen Sprache in einem anderen Wiki interpretiert (siehe \rr{sec:wikitext:links}).
 
 \item[Kategorien:] \index{Kategorie} Kategorien erlauben es, Wiki-Seiten zu Gruppen zusammenzufassen. Eine Seite kann zu beliebig vielen Kategorien gehören und jeder Kategorie ist eine Kategorieseite zugeordnet, über die sie beschrieben und selbst wieder Kategorien zugeordnet werden kann \q{WP:KAT}. Um einer Seite eine Kategorie zuzuweisen, wird auf der Seite einfach ein Wiki-Link auf diese Kategorie eingefügt, siehe \rr{sec:wikitext:links}. \lingo{Sort-Keys} (\nom{Sortierschlüssel}), die bei der Zuweisung von Kategorien angegeben wurden, sind eine  wichtige Quelle für die Terme, die einem Konzept zuzuordnen sind (siehe auch \rr{transform:import}).

Per Konvention bilden Kategorien in der Wikipedia eine thematische Polyhierarchie \q{WP:KAT}, sie lassen sich damit als semantische Relation der Über- \bzw Unterordnung (\nom{Subsumtion}\index{Subsumtion}) zwischen den von den Seiten beschriebenen Konzepten interpretieren. Zum Beispiel wäre das speziellere Konzept \wwconcept{Unsinn} dem allgemeineren Konzept \wwconcept{Semantik} untergeordnet. Dabei ist die Art der Unterordnung unspezifiziert, die Relation bildet also keine Taxonomie und lässt sich auch nur sehr eingeschränkt in Ontologien\index{Ontologie} verwenden (vergleiche \q{Ponzetto2007tax}). Diese Relation entspricht der Hyponym-Relation\index{Hyponym} in einem klassischen, Term-basierten Thesaurus, \bzw der NT/BT-Relation nach ISO 2788 \q{ISO:2788}. Sie bildet zusammen mit der Bedeutungsrelation den Kern des Thesaurus (siehe \rr{entwurf:lokales-datenmodell}). Zu beachten ist dabei, dass die MediaWiki-Software Zyklen in der Kategoriestruktur zulässt --- diese sind zwar per Konvention unerwünscht, können aber vorkommen und müssen bei der Erstellung des Thesaurus entfernt werden (siehe \rr{sec:import-nachbereitung}).

Neben den inhaltlich relevanten Kategorien existieren in der Wikipedia eine Vielzahl von \nom{Wartungskategorien} wie zum Beispiel \wikipage{Kategorie:Wikipedia:Lückenhaft}, die sich auf die \emph{Seite} beziehen, nicht auf das beschriebene Konzept. Solche Kategorien sollten zur Erstellung eines Thesaurus nicht verwendet werden und werden daher beim Import nach Möglichkeit ignoriert (siehe \rr{transform:import}).

 \item[Weiterleitungen:] \index{Weiterleitung}\index{Redirect}\index{Alias} \nom{Weiterleitungen}\label{p:features:weiterleitung} (\nom{Redirects}) definieren einen Alias für einen Seitentitel (siehe \rr{sec:wikitext:weiterleitung} für eine Beschreibung der Syntax). Eine Wiki-Seite kann über diesen Mechanismus unter mehreren Namen erreichbar sein. Zum Beispiel könnte \wikipage{USA} eine Weiterleitung auf \wikipage{Vereinigte Staaten von Amerika} sein  \q{WP:WL}. Weiterleitungen sind eine wichtige Quelle für Informationen darüber, welche alternativen Bezeichnungen (Terme) für welche Konzepte verwendet werden (\rr{sec:wikitext:magicwords}).
 
 \item[Vorlagen:] \index{Template} MediaWiki unterstützt \nom{Vorlagen} (\nom{Templates}) als eine Methode, den Inhalt einer Wiki-Seite in eine andere einzubinden (siehe \rr{sec:wikitext:vorlagen}). Beim Einbinden von Vorlagen können sogenannte \nom{Vorlagen-Parameter} verwendet werden: Sie erlauben es, beim Einbinden konkrete Werte anzugeben, die dann für Platzhalter eingesetzt werden, die im Wiki-Text der Vorlage verwendet wurden \q{WP:VOR}.

Vorlagen werden in der Wikipedia für verschiedene Zwecke benutzt: zur einheitlichen Anzeige von strukturierten Daten (in sogenannten \nom{Infoboxen}\index{Infobox} oder \nom{Taxoboxen}\index{Taxobox} \q{WP:IB}), als Navigationselement zu verwandten Themen (sogenannten \nom{Navileisten}, \q{WP:NAVI}), als Markierung für Probleme mit einer Seite, als Formatierungshilfe im laufenden Text sowie für diverse andere Zwecke \q{WP:TB}. Unter anderem werden Vorlagen auch verwendet, um besondere Arten von Seiten zu kennzeichnen, insbesondere zum Beispiel \nom{Begriffsklärungsseiten}. Sie sind daher besonders nützlich, um solche besonderen Seiten zu erkennen.

Vorlagen sind Gegenstand diverser Arbeiten über die Wikipedia, insbesondere können Infoboxen leicht für eine \nom{Wissensextraktion} verwendet werden, die Eigenschaft-Wert-Paare für die Eigenschaften des Artikelgegenstandes liefert (\zB bei \cite{auer2007dnw}, siehe auch \rr{sec:stand:knowledge-extraction}). In der vorliegenden Arbeit werden Vorlagen jedoch fast ausschließlich zur Identifikation von Ressourcen- und Konzepttypen verwendet (siehe \rr{sec:ressourcenklassifikation} \bzw \rr{sec:konzeptklassifikation} sowie \rr{sec:analyse:vorlagen}).
 
 \item[Magic Words:] MediaWiki verwendet zwei Arten von \nom{Magic Words}\index{Magic Words}: "`Variablen"', die Zugriff auf \nospell{kontext}- oder projektspezifische Werte bieten und "`Optionen"', die die Verarbeitung der Seite beeinflussen (siehe \rr{sec:wikitext:magicwords}).

Die meisten \nom{Magic Words} werden für den Zweck dieser Arbeit ignoriert; manche Variablen aber, insbesondere eben der Seitenname, werden vor der Bearbeitung durch den betreffenden konkreten Wert ersetzt (siehe \rr{sec:analyzer:bereinigen}). Einige weitere werden ähnlich wie Vorlagen interpretiert, um zusätzliche Informationen zu gewinnen --- Beispiele hierfür sind \wikitext{\{\{DISPLAYTITLE:\ldots\}\}} und \wikitext{\{\{DEFAULTSORT:\ldots\}\}} (vergleiche \rr{sec:analyse:vorlagen}). Ein weiteres Beispiel für \nom{Magic Words}, die von WikiWord  verwendet werden, sind die Markierungen für Weiterleitungsseiten, siehe \rr{sec:wikitext:weiterleitung}.

 \item[\lingo{Extension-Tags} und \lingo{Parser-Functions}:] MediaWiki bietet zwei Möglichkeiten für die Erweiterung des Wiki-Text-Markups an: \lingo{Extension-Tags}\index{Extension-Tags} verwenden Tags der Form \wikitext{<mytag>...</mytag>}, \lingo{Parser-Functions} verwenden vorlagenartige Strukturen der Form \wikitext{\{\{\#mytag:argument\}\}} (siehe auch \rr{sec:wikitext:extensions}). Beide Formen werden bei der Analyse von Wiki-Text im Rahmen dieser Arbeit vollständig ignoriert (siehe \rr{sec:analyzer:bereinigen}). 

 \item[Begriffsklärungen:] \index{Disambiguierung}\index{Begriffsklärung} \nom{Begriffsklärungsseiten} (\nom{Disambiguierungen}) sind eine wichtige Konvention in Wikipedia-Projekten: Gibt es mehrere unterschiedliche Bedeutungen zu einem Term, so wird für diesen Term eine Begriffsklärungsseite angelegt, die alle Bedeutungen des Terms aufzählt \q{WP:BKL}. Dazu wird in der Regel eine Listenstruktur verwendet, die in jeder Zeile eine Glosse\index{Glosse} für eine der Bedeutungen hat und auf den entsprechenden Artikel verweist. Wie schon oben erwähnt, wird die Begriffsklärungsseite entweder direkt mit dem fraglichen Term als Name angelegt oder mit dem Zusatz \wikipage{(Begriffsklärung)} --- in letzterem Fall enthält per Konvention die Seite ohne Namenszusatz (die Seite zur \nom{Hauptbedeutung} des Terms) einen Verweis auf die Begriffsklärungsseite. 

Wie auch Weiterleitungen sind Begriffsklärungen im Kontext dieser Arbeit eine wichtige Quelle für die \nom{Bedeutungsrelation}, also um alle Bedeutungen eines Terms und umgekehrt alle Bezeichnungen für ein Konzept zu finden (siehe \rr{sec:analyzer:disambig}). 
\end{description}

\section{Thesauri}
\label{sec:thesauri}
Ein Thesaurus ist traditionell eine Sammlung von Termen (\nom{Wörtern}), ihrer Beziehungen und Definitionen. Die verschiedenen Beziehungen dienen insbesondere dazu, den passendsten Term für einen Gegenstand, das heißt, die beste Bezeichnung für ein Konzept zu finden. Ein Thesaurus ist daher besonders als Struktur für ein \nom{kontrolliertes Vokabular} geeignet, das zur Indexierung von Dokumenten verwendet werden soll. 

Thesauri definieren in der Regel zumindest eine Äquivalenzbeziehung zwischen synonymen und pseudo-synonymen (also für den Zweck der Indexierung gleichwertigen) Termen, eine \mbox{(\nospell{poly}-)}hierarchische Subsumtionsbeziehung zwischen allgemeinen und speziellen Termen sowie häufig eine Assoziationsbeziehung zwischen semantisch verwandten Termen \qs{stock2007}{283ff}. Die ISO definiert insbesondere die folgenden Relationen \q{ISO:2788}:

\begin{description}
  \item[UF \bzw USE:] \lingo{Used For} \bzw \lingo{Use} gibt an, dass ein Term anstelle eines anderen verwendet werden soll --- über diese Relation wird der Deskriptor (\lingo{Preferred Term}) aus einer Menge von (Pseudo-)Synonymen (einem sogenannten \nom{SynSet}) festgelegt.
  \item[BT \bzw NT:] \lingo{Broader Term} \bzw \lingo{Narrower Term} gibt an, dass ein Term allgemeiner \bzw spezieller als ein anderer, das heißt, ein \nom{Hyperonym} \bzw \nom{Hyponym} zu diesem ist.
  \item[RT:] \lingo{Related Term} gibt an, dass ein Term mit einem anderen semantisch verwandt ist. Diese Beziehung besteht häufig unter anderem zwischen Kohyponymen.
\end{description}

Synonyme können so direkt modelliert werden, Homonyme dagegen nicht: häufig werden sie \nom{disambiguiert}, indem ein \nom{Qualifikator} als Zusatz angehängt wird, entweder direkt als Teil des Terms oder über eine spezielle Relation. 

Die hierarchische Beziehung (Hyponymiebeziehung) in einem Thesaurus ist häufig als \nom{Taxonomie} angelegt, also als eine strenge thematische Gliederung, über die Terme in Sachgebiete eingeordnet werden. Die Hyponymiebeziehung kann auch als Polyhierarchie angelegt sein, so dass sich insgesamt ein gerichteter, azyklischer Graph als Struktur bildet, anstelle eines einfachen Baums. Die Semantik der Hyponymiebeziehung ist in der Regel nicht weiter spezifiziert, meist handelt es sich um eine Vermengung der \nom{Abstraktionsbeziehung} (\someid{subtype}), der \nom{Instanzbeziehung} (\someid{is-a}), der \nom{Aggregationsbeziehung} (\someid{part-of}) und gelegentlich der \nom{Attributbeziehung} (\someid{property-of}) \qq{Voss2006tt}{Ponzetto2007kb}.

Im Kontext der automatischen Verarbeitung von Wissen, Sprachen und Dokumenten erweist es sich als hilfreich, eine weitere Ebene der Indirektion einzuführen und so zu einem \nom{"`konzeptorientierten Thesaurus"'} zu gelangen, der auf einem Konzept-Term-Netzwerk basiert statt auf einem reinen Netzwerk von Termen \qqq{johnston1998rtt}{matthews8mts}{skosth2005}. So ergibt sich ein \nom{Wissensorganisationssystem} (\lingo{Knowledge Organisation System}, KOS). Dieses Modell scheint insbesondere auch besser auf die Datenstruktur der Wikipedia zu passen: Es werden die semantischen Beziehungen zwischen Konzepten direkt modelliert und zusätzlich angegeben, welche Terme zu welchem Konzept gehören (vergleiche \qq{assem2006cts}{GregorowiczKramer2006}). Die Beziehungen zwischen Termen (Homonym, Synonym) ergeben sich dann implizit (\rr{entwurf:lokales-datenmodell}). Ein ähnliches Modell wird auch von WordNet verwendet, in dem Konzepte durch SynSets repräsentiert und semantische Beziehungen zwischen SynSets statt zwischen Termen modelliert werden \qqq{miller1995wld}{fellbaum1998wel}{WordNet}.

In einem solchen konzeptorientierten Thesaurus gibt es nun vor allem die folgenden Beziehungen:

\begin{description}
  \item[Bedeutung:] Verbindet einen Term mit einer Anzahl von Konzepten (Bedeutungen), \bzw ein Konzept mit einer Anzahl von Termen (Bezeichnungen). Daraus ergibt sich implizit die Synonymie oder Homonymie von Termen.
  \item[Subsumtion:] Verbindet allgemeinere mit spezielleren Konzepten, analog zu der Hyponymierelation zwischen Termen.
  \item[Verwandtheit:] Verbindet verwandte Konzepte, \zB solche, die zu einem gemeinsamen Themengebiet gehören oder häufig im selben Kontext verwendet werden. 
  \item[Ähnlichkeit:] Verbindet ähnliche Konzepte, \zB solche, die zu einem gewissen Grade austauschbar sind. Ähnliche Konzepte sind häufig Kohyponyme. Für eine Abgrenzung von semantischer Verwandtheit und Ähnlichkeit siehe \q{zesch2007sr}.
\end{description}

Die semantischen Beziehungen in einem solchen Thesaurus sind aber weiterhin relativ "`schwach"': Wie schon oben für die Hyponymierelation, ist auch hier im Gegensatz zu den Relationen in einer \nom{Ontologie} nichts über die Art der Subsumtion (Subtyp, Instanz, Teil etc.) oder der Verwandtheit bekannt \qq{Ponzetto2007tax}{hepp:hwc}. Auch können Relationen nicht reifiziert oder klassifiziert werden. Solche schwachen Beziehungen sind aber für die Zwecke des \nospell{Information Retrieval} in aller Regel ausreichend.\later{cite}

Ziel dieser Diplomarbeit ist es nun, einen solchen konzeptorientierten Thesaurus auf Grundlage des Datenbestandes der Wikipedia vollautomatisch zu erstellen.

\section{Nutzen}

Der Nutzen von Thesauri (insbesondere der konzeptorientierten Art) für die automatische Sprachverarbeitung und für das \nospell{Information Retrieval} liegt in der Überbrückung der \lingo{Semantic Gap} zwischen dem bloßen \emph{Text} als Folge von Zeichen und dem konzeptuellen \emph{Inhalt} von Dokumenten \qq{davulcu2006bif}{GregorowiczKramer2006}. Handelt es sich um einen multilingualen Thesaurus, kann auf diese Weise auch die Kluft zwischen verschiedenen Sprachen überwunden werden: Verschiedene Terme (Wörter und Phrasen) aus verschiedenen Sprachen werden auf eine relativ kleine Menge wohldefinierter Konzepte abgebildet, die untereinander in Beziehung stehen. Die in einem Dokument behandelten Konzepte werden so einer automatischen Analyse zugänglich. 

Konkret kann ein maschinenlesbarer, multilingualer, konzeptorientierter Thesaurus insbesondere in den folgenden Bereichen nützlich sein:

\begin{enumerate}
  \item Für das klassische \nospell{Information Retrieval} ist es vorteilhaft, statt Termen abstrakte Konzepte für die Indexierung von Dokumenten verwenden zu können: so lassen sich Unterschiede in Sprache und Terminologie leicht überbrücken. Häufig werden Konzepte als Mengen von Termen modelliert, die durch Clustering-Verfahren gewonnen wurden, wie beim \lingo{Latent Semantic Indexing} (LSI) \qq{deerwester1990ils}{kumar2006lsi}. Die Verwendung eines konzeptorientierten Thesaurus erlaubt es dagegen, menschliches Wissen über die Zuordnung von Termen zu Konzepten zu nutzen (siehe \rr{sec:stand:thesaurus} und insbesondere \q{MilneEtAl2007}). Neben der klassischen Dokumentensuche profitieren auch Aufgaben wie \lingo{Resource Selection} und \lingo{Topic Tracking} von diesem Ansatz.
  \item Ein Thesaurus auf Basis der Wikipedia eignet sich besonders für die \lingo{Named Entity Recognition} (\lingo{NER}), da Wikipedia im Gegensatz zu klassischen Wörterbüchern eine große Zahl von Einträgen zu Orten, Personen und Organisationen hat (siehe \rr{sec:stand:named-entities}). 
  \item Die Informationen über ähnliche, verwandte und übergeordnete Konzepte, die in einem Thesaurus enthalten sind, können unter anderem für eine gezielte \lingo{Query Expansion} verwendet werden \q{MilneEtAl2007}. Es ist zu erwarten, dass dies besonders dann effektiv ist, wenn die Indexierung und Abfrage anhand von Konzepten statt von Termen erfolgt, da so Mehrdeutigkeiten vermieden werden können \q{SyedEtAl2008}.
  \item Die Verwandtheitsbeziehungen zwischen Konzepten können auch verwendet werden, um Terme im Kontext zu \nom{disambiguieren}: Für eine Menge von Termen kann die Bedeutung jedes Terms so gewählt werden, dass die Bedeutungen (Konzepte) gut zueinander passen --- auf diese Weise lässt sich mit großer Wahrscheinlichkeit die intendierte Bedeutung der Terme finden \qqq{Mihalcea2007}{Strube2006}{cucerzan2007lsn}, siehe \rr{sec:stand:disambig}. Diese Bedeutungszuweisung ist neben der Anwendung auf Suchanfragen auch wichtig bei der \nom{Wissensextraktion}, dem \lingo{Topic Tracking} sowie der \nom{automatischen Übersetzung}.
  \item Ein multilingualer Thesaurus kann auch als Basis für ein Übersetzungswörterbuch oder gar ein automatisches Übersetzungssystem dienen. Die aus der Wikipedia gewonnenen Informationen bieten hier eine nützliche Ergänzung zu traditionellen Wörterbüchern, da sie eine große Zahl von Fachbegriffen sowie viele Namen für Orte und Personen abdecken, die in manuell gepflegten Wörterbüchern in der Regel fehlen.
  \item Ein aus der Wikipedia gewonnener multilingualer Thesaurus kann auch als Basis für eine (teil-)manuelle Erstellung von Wörterbüchern, Taxonomien und Ontologien dienen. Für Ontologien und Wissensrepräsentationssysteme wie \name{DBpedia} oder \name{YAGO} kann es auch möglich sein, Informationen aus der Wikipedia automatisch zu integrieren (siehe \rr{sec:stand:wissensbasen} und \rr{sec:stand:knowledge-extraction}).
  \item Viele der weiter unten in \rr{ch:Einordnung} beschriebenen Systeme und Verfahren verwenden als Grundlage eine aus der Wikipedia extrahierte Struktur, die deutlich weniger Informationen berücksichtigt als WikiWord. Sie könnten vermutlich davon profitieren, WikiWord als Werkzeug für die Extraktion der Wikipedia-Struktur zu verwenden, um dann die betreffenden Verfahren auf diese reichere Struktur anzuwenden.
\end{enumerate}

Ein wichtiger Aspekt des in der vorliegenden Diplomarbeit vorgeschlagenen Ansatzes ist es, dass der Aufbau des Thesaurus aus den Wikipedia-Daten vollautomatisch und verhältnismäßig schnell\footnote{Einige Tage bis Wochen auf einem üblichen Datenbanksystem, siehe \rr{sec:eval-impot}.} erfolgt: Die manuelle Wartung eines Thesaurus ist sehr aufwändig und teuer, um so mehr, je mehr Fachgebiete der Thesaurus abdecken soll. So ist es kaum möglich, einen Thesaurus auf dem neusten Stand zu halten, insbesondere in Hinblick auf neue Technologien oder auch aktuell wichtige Organisationen und Personen. Schon deshalb decken die meisten Thesauri nur einen eng eingegrenzten Fachbereich ab und enthalten nur relativ wenige Terme \bzw Konzepte: \name{WordNet} zum Beispiel enthält etwa 117\thinspace000 Konzepte (\nom{SynSets}) \q{WordNet}, \name{MeSH} kennt nur 24\thinspace767 Konzepte \q{MeSH} (siehe auch \rr{sec:stand:wissensbasen}). 

Ein Thesaurus, der automatisch aus Wikipedia-Daten erstellt wird, hat diese Probleme nicht: Wikipedia ist sehr aktuell und deckt sehr weite Bereiche des menschlichen Wissens ab \qq{RuizCasado2005aa}{voss05measuring} (WikiWord liefert etwa 6 Millionen Konzepte und 12 Millionen Terme für die englische Sprache, vergleiche \rr{sec:eval-eigenschaften}). Insbesondere sind genau solche Themenbereiche abgedeckt, die im Augenblick besonders im öffentlichen Bewusstsein stehen und daher besonders interessant sind für das \nospell{Information Retrieval} (vergleiche \qqq{SyedEtAl2008}{hepp:hwc}{MilneEtAl2007}). Zudem stehen die Daten unter einer freien Lizenz und sind in einer Vielzahl von Sprachen verfügbar. 

Ein multilingualer, konzeptorientierter Thesaurus auf Wikipedia-Basis besitzt also das Potential, für wichtige Aufgaben des \nospell{Information Retrieval} und der automatischen Sprachverarbeitung eine breite, aktuelle und qualitativ hochwertige Datenbasis zu liefern. Außerdem kann er verwendet werden, um existierende, manuell gewartete Thesauri zu ergänzen und zu erweitern.

\chapter{Einordnung}
\label{ch:Einordnung}

Im Folgenden wird ein Überblick über den Stand der Forschung in Bereichen gegeben, die in Bezug auf den Gegenstand der vorliegenden Arbeit besonders relevant sind. Insbesondere werden Arbeiten betrachtet, die entweder die Wikipedia selbst zum Gegenstand haben oder Inhalte und Struktur der Wikipedia nutzen, um Aufgaben aus dem Bereich der automatischen Sprachverarbeitung und des \nospell{Information Retrieval} zu bewältigen.

\section{Untersuchung von Struktur und Qualität der Wikipedia}
\label{sec:stand:qualitaet}
Die Wikipedia findet seit dem Jahr 2005 zunehmend Beachtung in der Forschung, sowohl als Gegenstand von Untersuchungen als auch als Datenbasis oder Korpus für Verfahren zur Bewältigung einer Vielzahl von unterschiedlichen Aufgaben.  

Im Bereich der Arbeiten, die allgemeine Eigenschaften der Wikipedia untersuchen, wie zum Beispiel das Wachstum oder die Verknüpfungsstruktur, sind vor allem die Arbeiten von \person{J. Voß} zu nennen \qq{Voss2005a}{voss05measuring} sowie ein Vortrag von \person{J. Wales}, dem Gründer\footnote{Oder Mitbegründer. Ob die Erfindung der Wikipedia alleine \person{Jimmy Wales} zuzuschreiben ist, oder inwieweit die Idee auf \person{Larry Sanger} zurückgeht, ist Gegenstand eines andauernden Streits zwischen eben jenen.} der Wikipedia \q{wales2004ws}. \person{A. Capocci} \etAl untersuchen die Eigenschaften der Wikipedia insbesondere in Hinblick auf das Modell des \lingo{Preferential Attachment} \q{Capocci2006pa}, während \person{F. Bellomi} und \person{R. Bonato} gängige Algorithmen wie \nom{HITS} und \nom{PageRank} zur Bestimmung der \nom{Relevanz} \bzw \nom{Autorität} auf die Wikipedia anwenden \qq{bellomi2005naw}{bellomi2005lae}.

Gegen die Verwendung der Wikipedia als Datenbasis für Verfahren der Wissens- und Sprachverarbeitung gab es lange Zeit (und gibt es zum Teil noch immer) den Vorbehalt, dass die Qualität der Inhalte zu schlecht oder zumindest zu unzuverlässig sei, um sie bedenkenlos verwenden zu können. Anlass für diese kritische Haltung war und ist zumeist der Umstand, dass die Wikipedia jederzeit von jedermann frei bearbeitet werden kann und Vorkehrungen zur Qualitätssicherung wie in einem traditionellen Redaktionssystem weitgehend fehlen. Dem wurde von Seiten der Wikimedia Foundation sowie der Nutzer der Wikipedia entgegengehalten, dass neben dem Einbringen neuer Informationen eben auch die redaktionellen Aufgaben wie Qualitätssicherung von jedermann übernommen werden können und auch tatsächlich übernommen werden \q{wales2004ws}. Seit dem Jahr 2006 ist es erklärtes Ziel der Wikipedia, die Qualität und Verlässlichkeit der Artikel zu verbessern \q{WP:100K}. In der Wikipedia werden seit ihrer Gründung, aber besonders seit 2006, immer neue Strukturen und Verfahren entwickelt, um die Qualität der Artikel zu verbessern. Beispiele aus der deutschsprachigen Wikipedia sind das Qualitätssicherungsprojekt \q{WP:QS}, die Auszeichnung von \nom{exzellenten Artikeln} \q{WP:EA} sowie, als Experiment seit Mai 2008, das Verfahren der \nom{gesichteten Versionen} \q{WP:GS}: Änderungen, die von anonymen oder neuen Benutzern vorgenommen werden, werden nicht mehr sofort, sondern erst nach einer ersten (oberflächlichen) Prüfung der Allgemeinheit präsentiert.

Die erste und wohl bekannteste Studie zur Qualität der Inhalte der Wikipedia wurde von \person{J. Giles} im Jahr 2005 für die Zeitschrift \nom{Nature} durchgeführt \q{giles2005}. \person{Giles} vergleicht hier eine Anzahl von Artikeln aus der Wikipedia mit den entsprechenden Einträgen in der \name{Encyclopaedia Britannica} und kommt zu dem Ergebnis, dass die Wikipedia dem traditionellen Nachschlagewerk in Bezug auf die Qualität kaum unterlegen  und in Bezug auf die Ausführlichkeit der Beschreibungen und die Abdeckung von aktuellen Themen gar überlegen ist. Diese Untersuchung hatte zur Folge, dass die Wikipedia zunehmend als ernstzunehmende und verlässliche Wissensbasis betrachtet und untersucht wurde.

Detailliertere und differenziertere Untersuchungen zur Qualität der Wikipedia wurden vor allem von \person{R. Hammwöhner} durchgeführt \qqq{hammwohner:qw}{hammwohner:iaw}{Hammwoener2007Prem}. Hierbei wurde insbesondere deutlich, dass die Qualität einzelner Artikel stark divergiert: es gibt in Bezug auf die untersuchten Eigenschaften sowohl Beispiele sehr geringer, wie auch sehr hoher Qualität. Diese Untersuchungen beruhen zum Teil auf den Kriterien, die von \person{Stvilia} \etAl für die Evaluation von Enzyklopädien entwickelt wurden \q{stvilia2005aiq}. Probleme sieht \person{Hammwöhner} besonders im Bereich der Wissensorganisation zum Beispiel in Form des Kategoriesystems, welches insbesondere für die englischsprachige Wikipedia als schlecht strukturiert und zum Teil fehlerhaft befunden wurde. Er schlägt  vor, die Kategoriestrukturen aus mehreren Wikipedias über die Language-Links, die sie verbinden, zu vergleichen und auf diese Weise Probleme aufzudecken und zu beseitigen \q{hammwohner:iaw}.

\section{Maschinenlesbare Wissensbasen}
\label{sec:stand:wissensbasen}
Es existieren bereits einige Versuche, eine maschinenlesbare Wissensbasis zur Verfügung zu stellen, die als Grundlage für ein weites Feld an Verfahren aus den Bereichen der automatischen Sprachverarbeitung, des \nospell{Information Retrieval}, aber auch der Wissensrepräsentation und künstlichen Intelligenz dienen können. Zwei der ältesten und bekanntesten Systeme dieser Art sind \name{Cyc} und \name{WordNet}:

Das Cyc-Projekt bietet eine manuell gepflegte, logikbasierte Ontologie mit etwa 300\thinspace000 Konzepten und 3\thinspace000\thinspace000 Verknüpfungen \bzw Aussagen über diese Konzepte (47\thinspace000 Konzepte und 300\thinspace000 Aussagen in der \nospell{Open-Source-Version} \name{OpenCyc}) \qqq{lenat1990ctp}{CYC}{OpenCYC}. Es wird seit 1984 unter der Leitung von \person{D. Lenat} entwickelt und hat seine Wurzeln in der klassischen KI-Forschung. Ziel des Cyc-Projektes ist es, Softwaresystemen Zugang zu "`gesundem Menschenverstand"' (\lingo{"`Common Sense"'}), also \nom{Weltwissen}, zu bieten. Neben der Ontologie enthält es auch ein Lexikon, das (englische) Terme auf Konzepte der Ontologie abbildet.

WordNet ist ein von Hand erzeugtes semantisches Lexikon der englischen Sprache, es besteht aus etwa 117\thinspace000 \nom{SynSets} (Konzepten) mit etwa 155\thinspace000 Wörtern \qqq{miller1995wld}{fellbaum1998wel}{WordNet}. Zwischen den Konzepten sind die für Thesauri üblichen Relationen definiert, wie \nom{allgemeiner/spezieller} und \nom{verwandt} sowie einige speziellere, wie \nom{Aggregationsbeziehung} (\lingo{part-of}). WordNet stammt aus dem Bereich der automatischen Sprachverarbeitung, es wird seit 1985 von \person{G. A. Miller} und in jüngerer Zeit von \person{C. Fellbaum} betreut.

Eine neuere Entwicklung stellt SUMO (\lingo{Suggested Upper Merged Ontology}) dar, das eine gemeinsame standardisierte "`obere"' Ontologie für verschiedene Anwendungen im Bereich Suche, automatisches Schließen sowie automatische Sprachverarbeitung bieten soll \qqq{niles2001tsu}{SUMO}{IEEE:SUO-WG}. SUMO wird seit dem Jahr 2000 vom IEEE entwickelt und enthält Anfang 2008 etwa 20\thinspace000 handverlesene Konzepte und 70\thinspace000 Aussagen (Axiome). Für SUMO gibt es eine vollständige Abbildung auf WordNet, mit deren Hilfe Wörter der englischen Sprache an die abstrakten Konzepte der Ontologie gebunden werden können.

%Ein Weiteres logikbasiertes System zur Wissensrepräsentation und Wissensverarbeitung ist \name{SNePS} \q{shapiro2000is}. Es ist insbesondere als \nom{Inferenzsystem} ausgelegt, enthält aber auch eine Bedeutungrsrelation zur Anbindung an die natürliche Sprache.

Lange vor solchen maschinenlesbaren Wissensbasen, die auf die Verwendung im Bereich der automatischen Sprachverarbeitung und künstlichen Intelligenz ausgerichtet sind, gab es Klassifikationssysteme \bzw kontrollierte Vokabulare für die Indexierung von Dokumenten, insbesondere für die Verwendung in Bibliotheken. Einige prominente Beispiele sind \name{DDC} (\name{Dewey Decimal Classification} \qq{dewey1965ddc}{DDC}) und die komplexere \name{UDC} (\name{Universal Decimal Classification} \qq{otlet1905udc}{UDC}) sowie die \name{LLC} (\name{Library of Congress Classification} \qq{LCC}{chan1986lcc}). In Deutschland ist außerdem die \name{ASB} (\name{Allgemeine Systematik für Öffentliche Bibliotheken} \q{asb2003}) verbreitet.

Neben diesen breit angelegten Systemen gibt es eine Vielzahl von fachspezifischen Thesauri, die für die Indexierung von Dokumenten in bestimmten Fachbereichen und/oder für bestimmte Institutionen entwickelt wurden. Bekannte Beispiele dafür sind unter anderem \name{MeSH} (die \name{Medical Subject Headings} der \name{United States National Library of Medicine} \qq{lipscomb2000msh}{MeSH}, das von \name{MEDLINE} und \name{PubMed} für Arbeiten im Bereich Medizin und Biologie verwendet wird) und die \name{CR Classification} (das \name{ACM Computing Classification System} für die Klassifikation von Arbeiten aus dem Bereich Informatik und Informationstechnologie \qq{coulter1998ccs}{CCS}).

Wissensbasen, die auf Informationen aus der Wikipedia beruhen, sind in den letzten Jahren ebenfalls entstanden. Zu nennen sind hier einerseits \nom{YAGO}, das WordNet als ein strukturelles Rückgrat verwendet, um die Inhalte der Wikipedia zu organisieren \q{YAGO}. Andererseits ist \name{DBpedia} zu erwähnen, welches strukturierte Daten wie Attribut-Wert-Paare aus der Wikipedia extrahiert und in einer RDF-Datenbank ablegt \q{DBpedia}. Diese beiden Datenbasen, sowie die Systeme, mit deren Hilfe sie erstellt wurden, werden in \rr{sec:stand:thesaurus} \bzw \rr{sec:stand:knowledge-extraction} noch etwas genauer betrachtet.

Ein weiteres derartiges Projekt ist \nom{Freebase}, dessen Ziel es ist, eine frei zugängliche Datenbank zu schaffen, in dem das Wissen der Welt verknüpft ist \q{Freebase}. Die Idee ist es, Daten aus unterschiedlichen Quellen miteinander zu kombinieren und über eine einheitliche Schnittstelle zugänglich zu machen. Freebase enthält Daten unter anderem aus der Wikipedia, aus \name{PubMed}\footnote{\uref{http://www.pubmedcentral.nih.gov/}}, dem \lingo{CIA World Factbook}\footnote{\uref{https://www.cia.gov/library/publications/the-world-factbook/index.html/}} und diversen anderen Quellen.

Ziel von WikiWord ist es nun, Daten zu liefern, die solche Systeme ergänzen und bereichern können. Insbesondere die Möglichkeit, Terme aus unterschiedlichen Sprachen auf ein gemeinsames abstraktes Konzept abzubilden, sowie eine Vielzahl von Bezeichnungen für dasselbe Konzept in jeder Sprache zu unterstützen, soll einen Beitrag dazu leisten, die Inhalte solcher Wissensdatenbanken auf natürlichsprachliche Texte wie Dokumente oder Suchanfragen anwenden zu können.

\section{Automatische Disambiguierung und semantische Verwandtheit}
\label{sec:stand:disambig}
Zwei eng miteinander verwandte Aufgaben aus dem Bereich der automatischen Sprachverarbeitung und des \nospell{Information Retrieval}, die beide ein gewisses Maß an \nom{Weltwissen} benötigen, sind die automatische \nom{Disambiguierung} (\nom{Sinnzuweisung}, \nom{Bedeutungszuweisung}) von Termen sowie die Bestimmung des Grades der semantischen Verwandtheit und Ähnlichkeit von Termen \bzw Konzepten. Die Datenbasis, die für diese Aufgaben benötigt wird, ist ein Assoziationsnetz von Termen und/oder Konzepten, wie es durch einen Thesaurus gegeben ist. 

Die Wikipedia erfreut sich in jüngster Zeit wachsender Beliebtheit als Grundlage für die automatische Erstellung einer solchen Datenbasis, da sie ein weites Feld von Themen abdeckt und dabei sehr aktuell ist. Zu nennen sind hier zunächst die Arbeiten von \person{M. Strube} und \person{S. P. Ponzetto}, die Verfahren zur Extraktion von Thesauri und Taxonomien aus der Wikipedia entwickelt \qq{Ponzetto2007kb}{Ponzetto2007tax} und verschiedene Methoden zur Berechnung der semantischen Verwandtheit zwischen Konzepten evaluiert haben \qqq{Ponzetto:2007}{Strube2006}{ponzetto2007amr}. Hierbei wurden vor allem die Kategoriestruktur der Wikipedia sowie die Querverweise zwischen Artikeln verwendet. 

\person{R. Mihalcea} dagegen betrachtet vor allem die Beziehung zwischen Link-Text und Link-Ziel und interpretiert diese als Bedeutungsannotation (\lingo{Sense-Tags}) \q{Mihalcea2007}. Konkret verwendet er Wikipedia als Trainingsmenge für einen Klassifikator zur automatischen Bedeutungsannotation. \person{E. Gabrilovich} verwendet verschiedene Eigenschaften von Wikipedia-Artikeln, um einen Klassifikator zu trainieren, der Dokumente kategorisiert \qqq{gabrilovich2006fg}{gabrilovich2006obb}{gabrilovich2007csr}. Ebenfalls mit der Klassifikation von Dokumenten mit Hilfe der Informationen aus der Wikipedia befasst sich \person{P. Schönhofen} \q{Schoenhofen2006}. \person{A. Krizhanovsky} verwendet die Struktur von Wikipedia, um ähnliche Seiten zu gruppieren und so Synonymgruppen zu finden \q{Krizhanovsky2006ss}.

Die Forschung von \person{T. Zesch} und \person{I. Gurevych} gilt besonders der Berechnung von semantischer Verwandtheit und der Evaluation von Wikipedia als Datenbasis für diesen Zweck, im Vergleich unter anderem zu WordNet \qqq{zesch2007aaw}{zesch2007sr}{GurevychZesch2007}, besonders unter Verwendung der Kategoriestruktur. Auf diese Arbeiten wird insbesondere bei der Evaluation in Kapitel \rr{ch:eval:disambig} Bezug genommen. 

\person{K. Nakayama} \etAl untersuchen neben Maßen für die semantische Verwandtheit auch Maße für die Relevanz und Zentralität von Konzepten, insbesondere auf Basis der Struktur der Querverweise über Wiki-Links \qq{conf/wise/NakayamaHN07}{conf/aina/NakayamaHN07}. Dabei untersuchen sie unter anderem, inwieweit sich eine Beschränkung der Suchtiefe bei der Analyse der Verknüpfungsstruktur auf die Ergebnisse auswirkt.

Die Evaluation all dieser Ansätze zeigt jeweils, dass Wikipedia als Datenbasis für solche Aufgaben beachtliche Ergebnisse liefert, in der Präzision häufig an manuell gewartete Wissensnetze wie WordNet heran reicht und diesen in Bezug auf die Abdeckung von Spezialausdrücken oder aktuellen Themen sogar überlegen ist.

In diesem Zusammenhang ebenfalls erwähnenswert sind die Arbeiten von \person{M. Jarmasz} und \person{S. Szpakowicz}, die \name{Roget's Thesaurus} auf seinen Nutzen für die Bestimmung semantischer Verwandtheit untersucht haben \qq{jarmasz2001rst}{Jarmasz2003}. Dabei haben sie insbesondere den Wert einer reichen Taxonomie für diese Aufgabe herausgestellt.

\section{Erzeugung von Thesauri und Taxonomien}
\label{sec:stand:thesaurus}

Die Idee, Wikipedia als lexikalisch-semantische Datenbasis zur Erstellung von Thesauri und Taxonomien zu verwenden, ist schon verschiedentlich Gegenstand der Forschung gewesen. Auch die oben beschriebenen Systeme zur Untersuchung von semantischer Verwandtheit verwenden alle ein Thesaurus-artiges Assoziationsnetzwerk, insbesondere die Arbeiten von \person{M. Strube} und \person{S. P. Ponzetto}, die von \person{E. Gabrilovich}, von \person{T. Zesch} und \person{I. Gurevych} sowie die von \person{K. Nakayama} \etAl Im Folgenden werden einige Untersuchungen aufgeführt, die den Aufbau eines Thesaurus oder einer Taxonomie unmittelbar zum Ziel haben.

\person{A. Gregorowicz} und \person{M. A. Kramer} bauen auf Grundlage der Wikipedia ein Term-Konzept-Netzwerk auf, das Relationen zwischen Konzepten sowie die Zuordnungen von Termen zu Konzepten enthält, sehr ähnlich der Struktur, die auch in der vorliegenden Diplomarbeit verwendet wird \q{GregorowiczKramer2006}. \person{D. Milne} \etAl untersuchen eine ähnliche Struktur insbesondere in Hinblick auf eine Verwendung für die Indexierung von Dokumenten und das \nospell{Information Retrieval} \qqq{milne2006dst}{MilneEtAl2007}{Milne2007csk}. Sie entwickeln eine wissensbasierte Suchmaschine namens \name{Koru}, um die Eignung der aus der Wikipedia gewonnenen Daten für Indexierung und Suche zu demonstrieren.

\person{J. Voß} untersucht, wie sich das Kategoriesystem der Wikipedia zu anderen \nospell{Indexierungs-} und Klassifikationssystemen verhält \q{Voss2006tt}. \person{M. Ruiz-Casado} \etAl ordnen Wikipedia-Einträge automatisch WordNet-SynSets zu und evaluieren die relative Abdeckung und Granularität dieser beiden Wissensbasen \q{RuizCasado2005aa}. \person{F. M. Suchanek} \etAl kombinieren ebenfalls Wikipedia und WordNet, allerdings mit dem Ziel, Wikipedia-Einträge als \nom{Individuen} \bzw \nom{Instanzen} von \nom{Klassen} zu verwenden, die von WordNet-Einträgen gebildet werden \q{suchanek2007ycs}. Auf diese Weise entsteht eine neue Wissensstruktur, \nom{YAGO}, die die Wohlstrukturiertheit von WordNet mit der Informationsfülle und Aktualität der Wikipedia verbinden soll. 

\person{Z. Syed} \etAl verwenden die Einträge der Wikipedia als Vokabular zur Indexierung von Dokumenten. Die durch Querverweise zwischen Artikeln gegebene Assoziation von Themen wird zur Bestimmung relevanter Konzepte zu einer Suchanfrage genutzt, indem das Verfahren der \lingo{Spearding Activation} auf die Verknüpfungsstruktur angewendet wird \q{SyedEtAl2008}. \person{M. Hepp} \etAl untersuchen, inwieweit sich Wikipedia-Einträge \bzw ihre URLs als \nom{Bezeichner} für Konzepte zur Indexierung von Dokumenten eignen \q{hepp:hwc}. Sie betrachten dabei unter anderem, wie sich das Konzept, das mit einer gegebenen URL \bzw URI verbunden ist, über die Zeit verändert.

\person{L. Muchnik} \etAl  beschreiben ein Modell für die Hierarchisierung von Netzwerken im Allgemeinen, und validieren es unter anderem am Beispiel der Wikipedia, indem sie allein auf Grund der Struktur der Querverweise eine Taxonomie der Artikel aufbauen und diese mit der Kategoriestruktur vergleichen \q{muchnik2007sekt}. Eines der Maße für die lokale Bestimmung der \nom{Zentralität} von Konzepten, die dabei entwickelt wurden, nämlich der \lingo{Local Hierarchy Score} (\nom{LHS}), wird auch im Rahmen dieser Arbeit verwendet (\rr{sec:BuildStatistics}).

\person{E.M. van Mullige} \etAl entwickeln eine Erweiterung der MediaWiki-Software, mit deren Hilfe die komplexen, hoch strukturierten Daten eines multilingualen Wörterbuches und Thesaurus namens \nom{OmegaWiki} (ehemals \name{WiktionaryZ}) kollaborativ in einem Wiki verwaltet und bearbeitet werden können \qq{vanmulligen2006oow}{OmegaWiki}. Die MediaWiki-Erweiterung, \name{Wikidata}, auf der diese Anwendung basiert, wurde vornehmlich für den Einsatz in \name{OmegaWiki} entwickelt. Sie dient vor allem der Verwaltung von relationalen Datensätzen in einem Wiki. Dabei liegt der Fokus, anders als bei dem weiter unten erwähnten \name{Semantic MediaWiki}, darauf, eine komplexe aber fest vorgegebene Datenbankstruktur mit Inhalten zu füllen. Zu diesem Zweck werden spezialisierte Eingabehilfen bereitgestellt.

\section{Wissensextraktion}
\label{sec:stand:knowledge-extraction}

Wikipedia kann auch als Grundlage für die Erzeugung einer Wissensbasis dienen, die über ein bloßes Assoziationsnetzwerk und einfache Subsumtionsbeziehungen hinausgeht: durch geeignete Verfahren lassen sich Attribut-Wert-Paare sowie semantisch bedeutsame Relationen zwischen Entitäten \bzw Konzepten extrahieren. In den letzten Jahren wurden verschiedene Versuche unternommen, diese Informationen zugänglich zu machen.

\person{S. Auer}, \person{J. Lehmann} \etAl haben ein System namens \nom{DBpedia} entwickelt, das Attributwerte sowie semantische Relationen aus der Wikipedia extrahiert, vor allem durch Auswertung spezieller Vorlagen, so genannter \nom{Infoboxen} \qqq{auer2007dnw}{auer:hia}{DBpedia}. Diese bieten strukturierte Daten in einer Form an, die bereits weitgehend dem Modell von Attribut-Wert-Paaren entspricht \q{WP:IB}. \nom{DBpedia} stellt die so gewonnenen Daten als eine Wissensbasis im RDF-Format \q{W3C:RDF} bereit und bietet eine Abfrageschnittstelle, die komplexe logikbasierte Abfragen auf der Basis von SPARQL \q{W3C:SPARQL} erlaubt.

Auch \person{D. P. T. Nguyen} \etAl verwenden Infoboxen zur Gewinnung von strukturierten Daten sowie zur Klassifikation von Artikeln \bzw von Konzepten \q{nguyen2007esa}. \person{F. Wu} und \person{D. S. Weld} benutzen ebenfalls die Informationen aus Infoboxen, trainieren aber ein System zur Erkennung von Textmustern darauf, Informationen aus dem Fließtext mit denen aus Infoboxen abzugleichen und gegebenenfalls Infoboxen zu ergänzen oder zu erzeugen \q{wu2007asw}. 

Neben der Forschung zur Extraktion von Daten aus der Wikipedia gibt es auch Versuche, Wiki-Systeme so zu erweitern, dass sie unmittelbar zur Erzeugung und Pflege von strukturierten, semantisch bedeutsamen und maschinenlesbaren Daten verwendet werden können. Der wohl bekannteste Versuch ist wohl der von \person{M. Krötzsch} \etAl, welche  mit \name{Semantic MediaWiki} eine Erweiterung von MediaWiki entwickelt haben, mit dessen Hilfe strukturierte Daten wie semantische Relationen und Attributwerte direkt in einem Wiki-System verwaltet und bearbeitet werden können \qqq{Kroetzsch2005ml}{Kroetzsch2007sw}{SMW}. Sie schlagen vor, dieses System auch für die Wikipedia selbst zu verwenden. \person{T. Redmann} und \person{H. Thomas} untersuchen, wie sich Topic Maps \qq{Garshol2004}{ISO:13250} mit Hilfe eines Wiki-Systems bearbeiten lassen, und wie sich umgekehrt die typischen Strukturen eines Wikis in Form einer Topic Map speichern lassen \q{redmann2007wwk}. \person{R. Witte} und \person{T. Gitzinger} schlagen vor, Mustererkennung und automatische Sprachverarbeitung direkt in Wiki-Systeme zu integrieren, um so den Aufbau einer Wissensbasis aus Texten sowie umgekehrt die Beschreibung von strukturierten Daten in Texten als interaktiven Prozess zu gestalten \q{conf/wikis/WitteG07}.

\section{\nospell{Named Entity Recognition}}
\label{sec:stand:named-entities}

Eine wichtige Aufgabe im Bereich der automatischen Sprachverarbeitung sowie des \nospell{Information Retrieval} ist die Erkennung und Disambiguierung von \lingo{Named Entities}, also vor allem von (Eigennamen von) Personen, Orten,  Organisationen und ähnlichem. Wikipedia enthält, genau wie andere Enzyklopädien, eine große Zahl von Einträgen über eben solche Konzepte, und bietet sich daher als Datenbasis für eine Erkennung solcher \lingo{Named Entities} an.

\person{S. Cucerzan} und \person{W. Dakka} untersuchten Methoden zur Disambiguierung von Namen sowie zur Klassifikation von Dokumenten unter Verwendung von Verfahren des maschinellen Lernens, konkret eines \lingo{naiven Bayes-Klassifikators} sowie \lingo{Support Vector Machines} (SVM). Dabei wurden unter anderem Informationen aus den Seitentiteln, Weiterleitungen, Begriffsklärungsseiten sowie aus dem Link-Text von Wiki-Links verwendet \qq{DakkaCucerzan2008}{cucerzan2007lsn}. Einen ähnlichen Ansatz verfolgen \person{R. Bunescu} und \person{M. Pasca}, die ebenfalls SVM auf der Basis von Wikipedia für die Erkennung von \lingo{Named Entities} trainieren \q{Bunescu}.

\person{A. Toral} und \person{R. Munoz} entwarfen ein System zum automatischen Aufbau eines Gazetteers aus der Wikipedia, indem sie ähnlich wie \person{F. M. Suchanek} Beschreibungen von \nom{Instanzen} aus der Wikipedia mit \nom{Klassen} aus WordNet kombinierten \qq{ToralMunoz2007}{toral2006pab}. \person{J. Kazama} und \person{K. Torisawa} präsentieren eine Methode zur Erkennung und Klassifikation von Wikipedia-Seiten über \lingo{Named Entities}, die auf der Analyse des ersten Satzes von Wikipedia-Artikeln beruht \q{KaTo07}.

\section{Eigenschaften von WikiWord}

Dieser Abschnitt gibt einen kurzen Überblick über die Eigenschaften der WikiWord-Software, die im Rahmen dieser Diplomarbeit entwickelt wurde. Dabei werden insbesondere solche Eigenschaften betrachtet, die WikiWord zu den oben erwähnten Arbeiten in Beziehung setzen \bzw von ihnen abgrenzen.

\begin{itemize}
  \item WikiWord erzeugt einen konzeptorientierten Thesaurus, also ein Netzwerk von Konzepten, die durch  Relationen wie Subsumtion, Verwandtheit und Ähnlichkeit verbunden sind, mit einer zusätzlichen Bedeutungsrelation, die Terme mit Konzepten assoziiert und als Lexikon dient (vergleiche \q{GregorowiczKramer2006}). Die meisten der oben beschriebenen Systeme zum Aufbau eines Thesaurus aus der Wikipedia (zum Beispiel die Arbeiten von \person{T. Zesch} und \person{I. Gurevych}) übergehen die Bedeutungsrelation weitgehend und befassen sich kaum mit der Identifikation verschiedener Bezeichnungen für Konzepte. In der Regel erschöpft sich die Behandlung von Synonymien in der Auflösung von Weiterleitungen, wie sie in der Wikipedia definiert sind.
  \item WikiWord erzeugt einen multilingualen Thesaurus, indem es Language-Links verwendet, um Artikel über dasselbe Konzept in unterschiedlichen Wikipedias zu identifizieren und zu vereinigen. Eine solche Konsolidierung der Informationen aus unterschiedlichen Wikipedias zu einer sprachübergreifenden Wissensbasis wurde in den oben erwähnten Studien bislang nicht untersucht. Lediglich \q{auer2007dnw} verwendet einige Informationen aus unterschiedlichen Wikipedias, wobei die Grundstruktur an die englischsprachige Wikipedia gebunden bleibt.
  \item WikiWord verwendet neben Seitentiteln und Weiterleitungsseiten auch Begriffsklärungsseiten sowie insbesondere auch Link-Text, um die verschiedenen Bezeichnungen für ein Konzept zu ermitteln und zu gewichten. Link-Text wird in den oben erwähnten Arbeiten zur Erzeugung eines Thesaurus kaum erwähnt, lediglich die Forschung zur \lingo{Named Entity Recognition} scheint sich dieser Informationsquelle bisher bedient zu haben (\zB \person{S. Cucerzan} und \person{W. Dakka}). Dadurch deckt WikiWord eine Vielzahl von Bezeichnungen ab, die anderweitig schwer zu erfassen sind, darunter viele Mehrwortphrasen, Abkürzungen, flektierte Formen sowie ungenaue oder synekdotische Verwendungen von Termen.
  \item WikiWord liefert zu vielen Konzepten den ersten Satz des entsprechenden Wikipedia-Artikels als Glosse in den gegebenen Sprachen. Die oben erwähnten Verfahren nutzen meist den ersten Absatz als Glosse, statt nur des ersten Satzes, was zu mehr "`Rauschen"' führt. Zudem wird sie häufig lediglich zur Bestimmung der semantischen Verwandtheit oder ähnlichem herangezogen und nicht als Eigenschaft eines Konzeptes im Resultat wiedergegeben.
  \item WikiWord verzichtet auf eine Analyse natürlicher Sprache, nicht einmal Stammformreduktion (\lingo{Stemming}) oder Wortarterkennung (\lingo{POS-Tagging}) kommen zum Einsatz. Das verwendete einfache \lingo{Pattern Matching}  beschränkt sich auf Muster, die bestimmte Markup-Konstrukte und Strukturmerkmale von Wikipedia-Seiten erkennen. Das einzige verwendete Verfahren, das entfernt auf Sprachverarbeitung beruht, ist das zur Erkennung von Satzenden: Dieses wird verwendet, um Glossen aus den Wikipedia-Artikeln zu extrahieren.
  \item WikiWord extrahiert keine Attribut-Wert-Paare oder andere strukturierte Daten aus Vorlagen wie Infoboxen oder ähnlichem. Während Wikipedia eine reiche Quelle für diese Art von Informationen ist, soll die Auswertung dieser Daten Projekten wie DBpedia überlassen bleiben (vergleiche \rr{sec:stand:knowledge-extraction}).
  \item WikiWord verwendet kein maschinelles Lernen und kaum statistische Heuristiken\footnote{eine erwähnenswerte Heuristik mag das Cutoff-Verfahren sein, das in \rr{export:cutoff} beschrieben ist.}. Stattdessen werden Strukturen und Konventionen, die in den verschiedenen Wikipedia-Projekten anzutreffen sind, explizit modelliert und ausgewertet. So kann die Investition menschlichen Urteils, die in der Struktur der Wikipedia enthalten ist, direkt genutzt werden.
  \item WikiWord berücksichtigt Konzepte, die nur als \emph{Abschnitte} von Artikeln repräsentiert sind, sowie Konzepte, die zwar referenziert werden, jedoch (noch) keinen eigenen Artikel haben. Damit wird eine deutlich größere Zahl von Konzepten berücksichtigt, wobei allerdings zu vielen davon kaum Informationen vorliegen. Solche "`schwachen"' Konzepte werden von WikiWord gekennzeichnet und können daher bei Bedarf ignoriert werden.
  \item WikiWord liefert zusätzlich zu der Subsumtionsrelation eine grobe Typisierung der Konzepte, die insbesondere verschiedene Arten von \lingo{Named Entities} identifizieren, zum Beispiel Personen, Orte, Zeitpunkte und Lebensformen. Diese Typen können zur Filterung der Konzepte je nach Anwendungsgebiet verwendet werden.
  \item WikiWord konsolidiert Konzepte aus Artikeln mit Konzepten, die in der Wikipedia durch Kategorien repräsentiert sind.
\end{itemize}

Insgesamt versucht WikiWord, möglichst viele lexikalisch-semantische Informationen, die in der Wikipedia kodiert sind, zugänglich zu machen.  Dabei berührt es viele Bereiche, die von den oben beschriebenen Arbeiten über die Erzeugung von Taxonomien und Thesauri aus der Wikipedia behandelt werden, sowie auch von Arbeiten, die sich mit \lingo{Named Entity Recognition} befassen. WikiWord verzichtet auf heuristische und statistische Verfahren und beschränkt sich weitgehend auf die bloße Extraktion und Repräsentation der Daten. Die meisten der oben erwähnten Verfahren könnten auf die von WikiWord extrahierten Daten angewendet werden, statt die Daten der Wikipedia direkt zu benutzen --- es wäre zu untersuchen, inwiefern sie von den zusätzlichen von WikiWord berücksichtigten Strukturen und Konventionen der Wikipedia profitieren\future{}. Die von WikiWord erzeugte Datenbasis ist aber auch als eigenständiger, multilingualer, konzeptorientierter Thesaurus nützlich für Aufgaben wie Indexierung, Disambiguierung und Bestimmung von semantischer Ähnlichkeit (vergleiche \rr{ch:evaluation}).

