\label{ch:evaluation}
\chapter{Statistischer Überblick}
\label{ch:statistik}

Dieses Kapitel bietet einen Überblick über die mit mit WikiWord gewonnenen Daten. Dabei werden die Eingabedaten betrachtet, die Anzahl der extrahierten Elemente und Verknüpfungen, sowie die Verteilungen einiger Eigenschaften.

\section{Datenbasis und Import}
\label{sec:eval-impot}
Zur Erprobung von WikiWord und um eine Datenbasis für die in diesem Kapitel beschriebenen Experimente zu
schaffen, wurden Dumps von Wikipedia-Projekten in unterschiedlichen Sprachen importiert und ausgewertet. Dabei wurden Projekte gewählt, die aus verschiedenen Bereichen des Größenspektrums stammen. Allerdings wurde auf "`exotische"' Sprachen verzichtet, da es dem Autor an Möglichkeiten mangelt, Ergebnisse für solche Sprachen in irgendeiner Form zu überprüfen. Konkret wurden die folgenden Dumps ausgewertet:

\begin{itemize}
  \item Der Dump der englischsprachigen Wikipedia (\someid{en}) vom 3. Januar 2008\footnote{Der Dump der englischsprachigen Wikipedia vom 12. März konnte aufgrund eines Fehlers im UTF-8-Decoder der XML-Bibliothek \nom{Xerces} nicht importiert werden (siehe \uref{https://issues.apache.org/jira/browse/XERCESJ-1257}). Das Problem kann gegebenenfalls umgangen werden, indem man die Xerces-Bibliothek nicht in den Classpath aufnimmt und so dafür sorgt, dass Javas Standard-Implementation für das Parsen von XML verwendet wird. Das ist allerdings etwas langsamer.}.
  \item Der Dump der deutschsprachigen Wikipedia (\someid{de}) vom 20. März 2008.
  \item Der Dump der französischsprachigen Wikipedia (\someid{fr}) vom 23. März 2008.
  \item Der Dump der niederländischsprachigen Wikipedia (\someid{nl}) vom 10. März 2008.
  \item Der Dump norwegischsprachigen Wikipedia (\someid{no}) vom 11. März 2008.
  \item Der Dump der Wikipedia in einfachem Englisch (\someid{simple}) vom 16. März 2008.
  \item Der Dump der plattdeutschen Wikipedia (\someid{nds}) vom 19. März 2008.
\end{itemize}

Die verwendeten Dumps sind in \rrr[Anhang]{daten:wikidumps} noch einmal genauer angegeben. Das Ergebnis des Imports ist in Form von SQL-Datenbanken verfügbar, siehe \rr{daten:db-dumps:wikipedia}.

\begin{table}[htbp]
\centering
	\begin{tabular}{|l||rrrr||r|}
		\hline
		\input{times-local}
		\hline
	\end{tabular}
  \\ \dataTsv{times-local}
\caption{Zeitaufwand für den Import}
\label{table:zeitaufwand-lokal}
\end{table}


\begin{figure}[thbp]
  \centering
  \includegraphics[height=10cm]{import-time-x-size} 
  \\ \dataR{import-time-x-size}
  \caption{Zeitaufwand für den Import (Minuten)}
  \label{abb:zeitaufwand-lokal}
\end{figure}

Die Dumps wurden unter Verwendung der verschiedenen Programme der Anwenderschnittstelle von WikiWord (\rr{sec:cli}) in eine Kollektion mit dem Namen \someid{full} importiert. Konkret wurden zunächst mit \javaid{ImportConcepts} die Konzepte aus den Dumps extrahiert (Schritte \someid{analyze} und \someid{process}, siehe \rr{sec:import-aus-wikitext}), dann mit \javaid{BuildStatistics} die statistischen Daten erhoben (\someid{statistics}, siehe \rr{sec:BuildStatistics}) und dann mit \javaid{BuildConceptInfo} die Konzept-Informationen für den schnellen Zugriff aufgebaut (\someid{info}, siehe \rr{sec:BuildConceptInfo}). 

Der Import wurde auf einer Maschine mit vier Prozessorkernen (zwei \nospell{Dual-Core AMD Opteron} Prozessoren) mit 32 GB Arbeitsspeicher durchgeführt --- allerdings wurden zur selben Zeit noch weitere Experimente auf diesem Computer durchgeführt. Sowohl der Prozessor als auch der Arbeitsspeicher waren während des Imports meist voll ausgelastet. Der Zeitaufwand für die einzelnen Schritte ist in \rrr[Tabelle]{table:zeitaufwand-lokal} angegeben, die Gesamtzeit ist in \rrr[Abb.]{abb:zeitaufwand-lokal} dargestellt. Die benötigte Zeit ist aber vermutlich stark beeinflusst von der Zahl und der Art von Tätigkeiten, die gleichzeitig auf demselben Computer durchgeführt wurden. Um klare Aussagen über die Performanz machen zu können, wären Experimente auf einer Maschine notwendig, die keine anderen Aufgaben hat\future{}. 

Dennoch lassen sich einige Beobachtungen machen: der Zeitaufwand scheint zwischen \var{\mathcal{O}(n)} und \var{\mathcal{O}(n^2)} zu liegen, wobei \var{n} die Anzahl der Artikel bezeichnet (siehe \rrr[Tabelle]{table:tabellen-lokal}). Dabei fällt das Verhältnis im unteren Bereich eher linear aus, während die großen Projekte zum Teil deutlich mehr Zeit benötigen. Insbesondere der Import der englischsprachigen Wikipedia dauert sehr lang (etwa dreieinhalb Tage), die deutschsprachige Wikipedia benötigt bei einem Drittel der Größe nur etwa ein Neuntel der Zeit. Das könnte darauf zurückzuführen sein, dass die englischsprachige Wikipedia einen \nospell{hardware-} oder konfigurationsbedingten Schwellwert übersteigt: zum Beispiel ist es möglich, dass für so große Projekte manche Datenbank-Indizes nicht mehr im Arbeitsspeicher gehalten werden können und damit deutlich mehr Festplattenzugriffe nötig werden. Um dies genauer zu untersuchen, wären weitere Experimente, insbesondere mit unterschiedlichen Konfigurationen des MySQL-Servers, notwendig\future{}.

\section{Eigenschaften}
\label{sec:eval-eigenschaften}

\begin{table}[htbp]
\centering
\footnotesize
	\begin{tabular}{|l||rrr|rrrr|r|}
			\hline
			\input{entries-local}
			\hline
	\end{tabular}
 \\ \dataTsv{entries-local}
\caption{Anzahl von Einträgen in den lokalen Datensätzen}
\label{table:tabellen-lokal}
\end{table}

\begin{table}[htbp]
\centering
\footnotesize
	\begin{tabular}{|l||rrrrrrrr|}
			\hline
			\input{figures-local}
			\hline
	\end{tabular}
 \\ \dataTsv{figures-local}
\caption{Weitere Eigenschaften}
\label{table:dataset-figures}
\end{table}


\begin{table}[htbp]
\centering
\footnotesize
	\begin{tabular}{|l||rrrr|}
			\hline
			\input{ref-per-article-local}
			\hline
	\end{tabular}
 \\ \dataTsv{ref-per-article-local}
\caption{Verknüpfungen pro Artikel}
\label{table:verknuepfungen-pro-artikel-lokal}
\end{table}

Der vorangegangene Abschnitt beschreibt, welche Daten verarbeitet wurden und wie viel Zeit dafür benötigt wurde. Hier soll nun ein grober Überblick über die Ergebnisse gegeben werden. Die \rrr[Tabelle]{table:tabellen-lokal} zeigt, wie viele Einträge welcher Art in den lokalen Datensätzen erzeugt wurden. Die \rrr[Tabelle]{table:dataset-figures} zeigt einige weitere Eigenschaften, \rrr[Tabelle]{table:verknuepfungen-pro-artikel-lokal} zeigt relevante Verknüpfungen pro Artikel. Im Einzelnen sind folgende Werte aufgeführt:

\begin{description}
  \item[\someid{resource}] ist die Anzahl der analysierten Seiten in dem Wikipedia-Projekt, also aller Seiten im Hauptnamensraum und im Kategorie-Namensraum. Das entspricht genau den Einträgen in der Tabelle \sqlid{resource} (\rr{sec:resource-table}).
  
  \item[\someid{concept}] ist die Gesamtzahl von Konzepten, ohne Weiterleitungen und Begriffsklärungen, aber mit allen Kategorien, Abschnitten und Konzepten, die zwar referenziert werden, aber keine eigene Seite haben. Das entspricht genau den Einträgen in der Tabelle \sqlid{concept} (\rr{sec:concept-table}). 
  
  Dabei ist zu beachten, dass die allermeisten Konzepte keinen eigenen Artikel haben: sie stammen aus "`roten"' Wiki-Links, also von Verweisen auf noch nicht existierende Seiten, oder es handelt sich um Konzepte, die aus Verweisen auf Artikelabschnitte entstanden sind, oder um Navigationskategorien (\rr{p:navigationskategorien}). Selbst in großen Projekten, in denen die meisten Wiki-Links in Artikeln "`blau"' erscheinen, also auf eine vorhandene Seite zeigen, gibt es zu maximal 32\% (\someid{en}) der insgesamt referenzierten Konzepte einen Artikel. Für kleinere Projekte liegt diese Zahl noch deutlich niedriger, \zB bei 25\% (\someid{no}) oder gar nur 10\% (\someid{nds}). Diese Zahl kann als Indikator für die "`Reife"' eines Wiki-Projektes verstanden werden.
  
 Insgesamt liefert WikiWord Informationen über mehrere Millionen Konzepte, für die englische Sprache allein  über sechs Millionen (davon noch etwa zwei Millionen mit zugehörigem Artikel, also mit allen Relationen). Für jedes Konzept sind dabei im Schnitt zwei bis drei Terme bekannt (vergleiche \rrr[Tabelle]{table:verknuepfungen-pro-artikel-lokal}). Zum Vergleich: \name{WordNet} \qqq{miller1995wld}{fellbaum1998wel}{WordNet} enthält Anfang 2008 etwa 155\thinspace000 Wörter für 117\thinspace000 Konzepte (\lingo{Synsets}). 
 
 Dabei gibt es natürlich erhebliche inhaltliche Unterschiede: traditionelle Lexika, Wörterbücher und Wortnetze wie \nom{WordNet} decken vor allem den Alltagswortschatz ab, mit Adjektiven, Verben und zum Teil auch Funktionswörtern; der von WikiWord aufgebaute Thesaurus enthält dagegen die Arten von Konzepten, die von der Wikipedia behandelt werden, nämlich vor allem Nomen: neben allgemeinen Konzepten wie \wwconcept{Haus} oder \wwconcept{Kultur} sehr viele \lingo{Named Entities}, also Eigennamen von Personen, Orte, Gattungen von Lebewesen, Organisationen, sowie eine große Zahl von Fachwörtern (vergleiche \rrr[Tabelle]{table:konzepttypen-bewertung}).  Insofern stellen die Konzepte, die Wikipedia behandelt, eine nützliche Ergänzung dar zu den Konzepten des Alltagswortschatzes, den traditionelle Wörterbücher bieten (vergleiche \qqq{RuizCasado2005aa}{zesch2007sr}{ToralMunoz2007}). Ein eingehender Vergleich des von WikiWord erstellten Thesaurus mit WordNet verbleibt als Gegenstand künftiger Forschung\future{}.

  \item[\someid{article}] ist die Zahl von Artikeln \bzw von Konzepten, die eine eigene Wiki-Seite haben. Das sind diejenigen Einträge in der Tabelle \sqlid{concept}, die \emph{nicht} den Typ \javaid{UNKNOWN} haben. Artikel sind in der Anzahl der Konzepte enthalten.
  
  Diese Anzahl unterschiedet sich deutlich von dem, was MediaWiki als "`Artikel"' zählt, und somit auch von der Zahl, die zur Angabe der Größe eines Wiki-Projektes von Wikimedia verwendet wird: MediaWiki zählt solche Seiten als Artikel, die im Hauptnamensraum liegen, keine Weiterleitung sind, aber mindestens einen Wiki-Link enthalten. WikiWord zählt Seiten im Hauptnamensraum, die keine Weiterleitung, keine Begriffsklärung und keine Liste sind, es wird aber nicht verlangt, dass sie einen Wiki-Link enthalten. So ergeben sich zum Teil erhebliche Unterschiede; Insbesondere die französischsprachige Wikipedia, die nach der Zählweise von MediaWiki mit der deutschsprachigen fast gleich auf ist, wirkt hier deutlich kleiner.
  
Zu beachten ist auch, dass für die norwegischsprachige Wikipedia (\someid{no}) keine projektspezifischen Analyseregeln definiert wurden. Insbesondere die Ressourcenklassifikation schlägt daher fehl, Begriffsklärungsseiten werden nicht als solche erkannt. Das verzerrt die Ergebnisse für dieses Projekt teilweise.  
  
  \item[\someid{link}]    ist die Anzahl von Querverweisen zwischen Konzepten, das heißt die Anzahl von Einträgen in der Tabelle \sqlid{link} (\rr{sec:link-table}), deren \sqlid{anchor}-Feld nicht \sqlid{NULL} ist (also ohne diejenigen Einträge, die \emph{nur} eine Termzuordnung definieren). 
  
  Die Anzahl von Wiki-Links pro Artikel (also der durchschnittliche Knotengrad im Hyperlink-Graphen) bewegt sich zwischen 20 (\someid{nds}) und 30 (\someid{en}) und ist grob mit der Größe des Projektes, also der Anzahl der Artikel korreliert. Allerdings ist die deutschsprachige Wikipedia gleichauf mit der englischsprachigen, obwohl sie nur ein Drittel der Artikel hat. Und die norwegischsprachige Wikipedia hat mehr Links pro Seite als die niederländischsprachige, obwohl letztere mehr als doppelt so groß ist. Es wäre zu untersuchen, ob sich die Korrelation nicht vielmehr auf die Länge der Artikel oder das Alter der Seiten bezieht, wie es das Modell des \lingo{Preferential Attachment} nahelegt \q{Barabasi1999esrn}\future{}. Die Verteilung der Knotengrade wird in \rr{sec:verteilungen} untersucht.
  
  \item[\someid{broader}] ist die Anzahl der Über- \bzw Unterordnungen, also die Anzahl der Einträge in der Tabelle \sqlid{broader} (\rr{sec:broader-table}). Die Anzahl von Kategorisierungen (Unterordnungen) pro Artikel variiert zwischen 1,5 (\someid{nds}) und 3,4 (\someid{en}) und kann als Indikator für die Dimensionalität der Kategoriestruktur interpretiert werden, also für die Anzahl der Kategorisierungskriterien. Diese Zahl korrespondiert nur grob mit der Größe des Projektes, so hat zum Beispiel \someid{simple} mit 1,9 mehr Kategorien pro Artikel als \someid{nl} mit 1,7, obwohl letzteres Projekt etwa fünfzehnmal größer ist. Ein Grund dafür mag sein, dass \someid{simple} seine Kategoriestruktur zu großen Teilen aus der englischsprachigen Wikipedia übernimmt, und dadurch eine für ein so kleines Projekt untypisch hohe Granularität an Kategorien besitzt.
  
  \item[\someid{langlink}] ist die Anzahl der Language-Links, also die Anzahl der Einträge in der Tabelle \sqlid{langlink} (\rr{sec:langlink-table}). Die durchschnittliche Anzahl von Language-Links pro Artikel variiert stark zwischen nur 1,8 (\someid{en}) und 27,5 (\someid{nds}) --- dies ist ein Indikator für die Granularität der einzelnen Projekte: da die englische Wikipedia (\someid{en}) eine sehr hohe Granularität hat, enthält sie viele Seiten, für die es in keiner oder nur in wenigen anderen Sprachen eine Entsprechung gibt; dagegen gibt es für die meisten Seiten in der plattdeutschen Wikipedia (\someid{nds}) eine Entsprechung in sehr vielen Sprachen.
  
Dabei ist zu beobachten, dass es zu gewissen Konzepten in so gut wie allen Wikipedias Artikel gibt. Dazu zählen vor allem Jahreszahlen wie \wwconcept{1984} und Kalendertage wie \wwconcept{1. Mai}, aber auch die Kontinente sowie essentielle Konzepte des Alltags wie \wwconcept{Wasser} oder \wwconcept{Sonne}. Zählt man in verschiedenen Projekten alle Seiten, die mehr als 100 Language-Links haben, ergibt sich jedes Mal eine Zahl um 760. 
  
  \item[\someid{meaning}] ist die Anzahl der Termzuordnungen (Paare von Bezeichnung und Bedeutung), also die Anzahl der Einträge in der Tabelle \sqlid{meaning} (\rr{sec:meaning-table}). Die von WikiWord vorgenommene Zuordnung von Termen zu Konzepten wird in \rr{sec:eval-termzuordnung} näher untersucht.
  
  \item[\someid{terms}] ist die Anzahl der Terme \bzw Termzuordnungen pro Konzept (inklusive der Konzepte ohne Artikel), also die Anzahl von unterschiedlichen Bezeichnungen. Die Anzahl der Terme pro Konzept scheint grob mit der Anzahl der Links pro Artikel zu korrespondieren --- da die Terme zu einem großen Teil aus Link-Texten gewonnen werden, und die Anzahl unterschiedlicher Link-Texte mit der Gesamtzahl von Wiki-Links wächst, ist dieser Zusammenhang naheliegend. 
  
%  \item[\someid{origin}]  ist die Anzahl von lokalen Konzepten, die in einem globalen Datensatz berücksichtigt sind. Das entspricht genau den Einträgen in der Tabelle \sqlid{origin} (\rr{sec:origin-table}).
  
  
  \item[\someid{aliases}] ist die Anzahl von Aliasen, die auf die Konzepte angewendet wurden. Das entspricht genau den Einträgen in der Tabelle \sqlid{alias} (\rr{sec:alias-table}). Aliase sind in der Anzahl der Konzepte und Artikel nicht enthalten. Der Anteil von Weiterleitungen an der Gesamtzahl der verarbeiteten Seiten liegt zwischen 10\% (\someid{nds}) und 45\% (\someid{en}). Die große Zahl von Weiterleitungen in der englischsprachigen Wikipedia rührt unter anderem daher, dass dort Weiterleitungen für Pluralformen und für alternative Groß-/Kleinschreibung und Durchkopplungen üblich sind. Es lässt sich aber generell die Tendenz erkennen, dass größere Projekte einen höheren Anteil von Weiterleitungen haben.
  
  Auch diese Größe mag als Indikator für die "`Reife"' eines Wiki-Projektes dienen, allerdings haben sprach- oder projektspezifische Konventionen einen großen Einfluss auf diese Zahl. Ein Beispiel ist die Berücksichtigung des \lingo{"`Title Case"'} in der englischsprachigen Wikipedia: \wikipage{Principia\_mathematica} ist ein Alias für \wikipage{Principia\_Mathematica}, ähnliche Weiterleitungen gibt es für eine große Zahl von Namen von Werken und Organisationen.
  
  \item[\someid{defs}]    ist die Anzahl der extrahierten Definitionen. Das sind die Einträge in der Tabelle \sqlid{definition} (\rr{sec:definition-table}). Die Extraktion von Definitionssätzen gelingt für etwa 90\% (\someid{nds}) -- 99\% (\someid{en}) der Artikel. Das schlechte Abschneiden der plattdeutschen Wikipedia (\someid{nds}) ist unter anderem dadurch zu erklären, dass in diesem recht kleinen Projekt Artikel zu Jahreszahlen und Kalendertagen einen großen Anteil ausmachen --- solche Artikel haben in der Regel keinen Definitionssatz.
  
  \item[\someid{sections}] ist die Anzahl von Konzepten, die aus Verweisen auf Abschnitte entstanden sind. Bis zu 5\% (\someid{en}, \someid{de}) der Konzepte entstehen auf diese Weise, wobei der Anteil für kleinere Projekte geringer ist. Das ist vermutlich dadurch zu erklären, dass die Artikel in kleineren Projekten auch kürzer sind und es daher weniger Abschnitte gibt, auf die verwiesen werden kann. Ausserdem beschränken sich junge Projekte meist auf den Aufbau einer Grundstruktur, "`rote"' Wiki-Links auf noch nicht vorhandene Artikel kommen dabei sehr häufig vor. In älteren, größeren Projekten ist die Wahrscheinlichkeit höher, dass Autoren einen Abschnitt eines Artikels als Link-Ziel wählen, wenn es keinen eigenen Artikel zu dem betreffenden Thema gibt.
  
  \item[\someid{uncat}]    ist die Anzahl unkategorisierter Artikel. Der Anteil von Artikeln ohne Kategorien liegt zwischen 0,2\% (\someid{nl}) und 4,6\% (\someid{en}), mit der Ausnahme von (\someid{nds}), wo der Anteil bei 30\% liegt. Der relative große Anteil unkategorisierter Artikel in der englischsprachigen Wikipedia ist vermutlich darauf zurückzuführen, dass es dort viele sogenannte \lingo{"`Stubs"'} gibt, also sehr kurze "`Artikelstummel"'. Diese sind per Konvention mit einer Vorlage markiert, die, im Falle der englischsprachigen Wikipedia, auch automatisch eine Kategorisierung vornimmt --- diese wird, da sie implizit ist, von Wikiword nicht erfasst. Die sehr hohe Zahl unkategorisierter Artikel in der plattdeutschen Wikipedia dagegen ist wohl dem Umstand geschuldet, dass es sich um ein sehr kleines und recht junges Projekt mit einer geringen Zahl an Mitarbeitern handelt. Sie kann als Indikator dafür verstanden werden, dass dieses Wiki-Projekt noch recht "`unreif"' ist.
  
  \item[\someid{nolang}]   ist die Anzahl von Artikeln ohne Language-Links. Der Anteil von Artikeln, die keine Language-Links auf entsprechende Artikel in anderen Sprachen haben, variiert sehr stark, nämlich zwischen 2\% (\someid{simple}) und 60\% (\someid{en}). Das ist ein Indikator für die unterschiedliche Granularität der einzelnen Projekte: die englischsprachige Wikipedia hat die mit Abstand größte Zahl an Artikeln und damit die höchste Granularität --- naturgemäß enthält sie daher viele Artikel, die keine Entsprechung in anderen Sprachen haben. Der Anteil von 60\% entspricht dabei gut dem Umstand, dass die englischsprachige Wikipedia dreimal so groß ist wie die nächstkleinere, nämlich die deutschsprachige --- allerdings heißt das nicht, dass ein Drittel der Artikel einen Language-Link auf die deutschsprachige Wikipedia enthalten müssen. Die von den einzelnen Projekten abgedeckten Konzepte überlappen sich ja nicht völlig, so hat auch die deutschsprachige Wikipedia noch 40\% Artikel ganz ohne Language-Links. Viele davon werden sich auf Personen, Orte und Organisationen beziehen, die vorrangig von lokaler Bedeutung sind --- dies wäre noch näher zu untersuchen\future{}.
  
  \item[\someid{navcat}]   ist die Anzahl von Navigationskategorien, also von Konzepten, die keinen Artikel haben, denen aber andere Konzepte untergeordnet sind. Navigationskategorien machen zwischen 1\% (\someid{nds}) und 3,5\% (\someid{en}) der Konzepte aus. 
\end{description}

\later{warnings für die einzelnen wikis}
\later{eval category-aliasing directly; deal with this: select source_name, count(distinct target_name) as n, group_concat(distinct target_name) from full_de_alias group by source having n > 1}

\section{Multilinguale Thesauri}
\label{sec:eval:thesaurus}

\begin{table}[htbp]
\centering
	\begin{tabular}{|l||rrrrrr||r|}
			\hline
			\input{times-global}
			\hline
	\end{tabular}
 \\ \dataTsv{times-global}
\caption{Zeitaufwand für das Zusammenführen}
\label{table:zeitaufwand-global}
\end{table}

\begin{table}[htbp]
\centering
\footnotesize
	\begin{tabular}{|l||rr|rrr|r|}
			\hline
			\input{entries-global}
			\hline
	\end{tabular}
 \\ \dataTsv{entries-global}
\caption{Anzahl von Einträgen in den globalen Datensätzen}
\label{table:tabellen-global}
\end{table}

\begin{table}[htbp]
\centering
\footnotesize
	\begin{tabular}{|l||rrr|}
			\hline
			\input{ref-per-article-global}
			\hline
	\end{tabular}
 \\ \dataTsv{re-per-article-global}
\caption{Verknüpfungen pro Artikel}
\label{table:verknuepfungen-pro-artikel-global}
\end{table}

\later{warnings bei merge}

Nachdem alle monolingualen Thesauri aufgebaut waren (\rr{sec:eval-impot}), wurden auf dieser Basis mittels des Programms \javaid{BuildThesaurus}  multilinguale Thesauri aufgebaut (\rr{transform:zusammenfuehren}): einmal auf Basis aller Sprachen (\someid{compl.}), einmal aus den größten drei, also Englisch, Deutsch und Französisch (\someid{top3}), und einmal aus den größten fünf, also Englisch, Deutsch, Französisch, Niederländisch und Norwegisch (\someid{top5}). Der Aufbau ist in vier Schritte aufgeteilt: \someid{copy}, \someid{prepare}, \someid{merge} und \someid{process}. 

Der Zeitaufwand für das Zusammenführen der Konzepte fällt mit etwa einem Drittel der Zeit, die für den Import der einzelnen Dumps benötigt wurde, relativ gering aus (\rrr[Tabelle]{table:zeitaufwand-global}). Auch scheint er kaum von der Anzahl der zu betrachtenden Sprachen abzuhängen, sondern vor allem von der Gesamtzahl der Artikel: die drei multilingualen Thesauri mit sieben, fünf und drei Sprachen brauchen jeweils etwas weniger als einen Tag. Darüber hinaus lassen sich kaum Aussagen treffen, da die Werte stark fluktuieren und davon auszugehen ist, dass sie vor allem durch die Systemlast zur Zeit der Verarbeitung beeinflusst sind. Zum Beispiel werden im Schritt \someid{copy} nur Daten aus den lokalen Datensätzen in den globalen Datensatz kopiert, um dann verarbeitet zu werden. Der Zeitaufwand sollte also nur davon abhängig sein, wie viel zu kopieren ist. Die \rrr[Tabelle]{table:zeitaufwand-global} zeigt aber das Gegenteil: das Kopieren von Daten aus drei Datensätzen (\someid{top3}) dauert deutlich länger als das Kopieren aus sieben Datensätzen (\someid{compl.}). Das lässt sich nur durch eine deutlich schlechtere Performanz \bzw höhere Last des Gesamtsystems zu dem fraglichen Zeitpunkt erklären.

Die \rrr[Tabelle]{table:tabellen-global} zeigt, wie viele Einträge welcher Art in den globalen Datensätzen erzeugt wurden, \rrr[Tabelle]{table:verknuepfungen-pro-artikel-global} zeigt die Anzahl von Verknüpfungen zwischen den Konzepten \bzw Artikeln. 

Die dargestellten Eigenschaften entsprechen den in \rr{sec:eval-eigenschaften} beschriebenen, mit dem Zusatz des \someid{orig. article}-Feldes:

 \textbf{\someid{orig. article}} ist die Anzahl von lokalen Artikeln, die in einem globalen Datensatz berücksichtigt sind. Das entspricht genau den Einträgen in der Tabelle \sqlid{origin} (\rr{sec:origin-table}),die auf ein Konzept verweisen, dessen Typ nicht \javaid{UNKNOWN} ist. 
  
Es handelt sich also um die Anzahl der Artikel vor dem Zusammenfassen äquivalenter Konzepte. Vergleicht man diese Zahl mit der Zahl der Artikel, die nach dem Zusammenfassen übrig bleiben, ergibt sich ein Maß dafür, wie effektiv der Zusammenführungsalgorithmus arbeitet: für die globalen Datensätze \sqlid{compl.} und \sqlid{top5} ergibt sich eine Reduktion um 25\%, für den Datensatz \sqlid{top3} um 20\%. Wenn man bedenkt, dass gut die Hälfte der Artikel gar keine Language-Links hat, also auch mit nichts zusammengeführt werden können, scheint dieses Ergebnis recht gut. In der Tat verbleiben nur für weniger als 10\% der Konzepte direkte Language-Links im Feld \sqlid{langref} der Tabelle \sqlid{relation} (\rr{sec:relation-table}), also potentielle Äquivalenzen, die nicht verwendet wurden (so genannte \nom{Konflikte}).
Insgesamt sind 15\% -- 20\% der verbleibenden Artikel aus mehr als einem lokalen Konzept zusammengesetzt --- in Anbetracht der Tatsache, dass über 60\% nur in der englischsprachigen Wikipedia existieren, ist das ein ermutigendes Ergebnis.

 Insgesamt liefert WikiWord Übersetzungen für etwa eine halbe Million Konzepte, eine viertel Million davon mit mehr als zwei Sprachen und immer noch eine achtel Million mit mehr als drei. Für jedes Konzept sind dabei im Schnitt zwei bis drei Terme pro Sprache bekannt. Zum Vergleich: das \lingo{PONS Großwörterbuch Englisch}\footnote{ISBN: 978-3-12-517192-3, \uref{http://www.pons.de/produkte/3-12-517192-X/}} hat in der aktuellen Ausgabe 390\thinspace000 Stichwörter und 530\thinspace000 Übersetzungen. Auch hier ist natürlich, wie schon im Vergleich mit WordNet, zu berücksichtigen, dass ein traditionelles Übersetzungswörterbuch ganz andere Konzepte abdeckt, als die, die WikiWord aus der Wikipedia extrahiert.

\later{ref weiter unten, dort: plot \javaid{language_count} vs anzahl; avg. number of terms per concept per language}
\later{vergleich von compl mit top5/top3}

In \rr{transform:zusammenfuehren} ist beschrieben, wie jeweils (höchstens) ein Konzept aus jedem monolingualen Thesaurus (also aus jeder Sprache) zu einem sprachübergreifenden Konzept zusammengeführt wird. Ein globales Konzept in einem multilingualen Thesaurus ist also eine Gruppierung von äquivalenten lokalen Konzepten, wobei in jeder Gruppe höchstens ein Repräsentant jeder Sprache vertreten ist.

Eine direkte Evaluation des Algorithmus, der in \rr{transform:zusammenfuehren} verwendet wird, um solche Gruppen von Konzepten zu finden, gestaltet sich schwierig: aufgrund der unterschiedlichen Granularität der Projekte gibt es oft mehrere Möglichkeiten, Konzepte zusammenzufassen, und es ist kaum möglich, anzugeben, welche Gruppierung optimal wäre. Unmittelbar gezählt werden können nur Fälle, in denen sich offensichtlich ein Konzept in der Gruppe befindet, das dort nicht hineingehört und umgekehrt, wenn in der Gruppe ein Konzept fehlt. Letzteres kommt ab und zu vor (in einer Stichprobe von 250 Konzepten insgesamt 6 mal, siehe \rrr[Anhang]{daten:concept_survey:merging}), der Grund ist in der Regel ein fehlender Language-Link in einem der betreffenden Artikel. 

Der Fall, dass ein "`falsches"' Konzept aufgenommen wurde, kommt dagegen kaum vor (in der Stichproben gar nicht, siehe \rrr[Anhang]{daten:concept_survey:merging}). Im direkten Vergleich zwischen multilingualen Thesauri auf unterschiedlicher Datenbasis lassen sich aber die Auswirkungen der unterschiedlichen Granularität beobachten: die "`Trennschärfe"' der impliziten Ähnlichkeitsbeziehung, die durch die Language-Links ausgedrückt wird, ist bei kleinen Projekten deutlich schlechter (vergleiche \rr{sec:eval-aehnlichkeit}). Sie fassen häufig mehr Konzepte in einem Artikel zusammen. Werden sie für den Aufbau des multilingualen Thesaurus verwendet, so besteht die Gefahr, dass Konzepte, die nicht völlig äquivalent sind, zu einem sprachübergreifenden Konzept zusammengeführt werden, weil sie eben über Language-Links miteinander verbunden sind. So wurde zum Beispiel \wwconcept{simple:Height} mit \wwconcept{en:Elevation} zusammengefasst, obwohl \wwconcept{simple:Elevation} korrekt gewesen wäre.

Zusätzlich zu dem Vergleich von Thesauri auf der Basis von drei, fünf und sieben Sprachen wäre es interessant, alternative Algorithmen für das Finden und Zusammenfassen von "`äquivalenten"' Konzepten zu vergleichen. Eine alternative Methode, die die Language-Links der Seiten als Featurevektoren interpretiert, wurde in \rr{sec:Merging} bereits kurz beschrieben. Als Baseline könnte desweiteren ein naiver Algorithmus dienen, der die englischsprachige Wikipedia als Ausgangspunkt nimmt und jedes Konzept aus diesem Projekt mit allen Konzepten aus anderen Sprachen vereinigt, mit denen es über Language-Links verknüpft ist. Ein Vergleich dieser unterschiedlichen Methoden konnte im Rahmen dieser Arbeit nicht umgesetzt werden und verbleibt als Gegenstand zukünftiger Forschung\future{}.

\later{eval: successful merges vs. potential merges vs. conflicts. (?)}

\section{Verteilung von Termfrequenzen}
\label{sec:verteilungen}\label{sec:verteilungen:termfrequenz}

\begin{figure}[thbp]
  \centering
  \subfigure[en.wikipedia.org] {
  	\includegraphics[height=7cm]{enwiki-terms-zipf} 
  }
  \subfigure[de.wikipedia.org] {
  	\includegraphics[height=7cm]{dewiki-terms-zipf} 
  }
  \\ \dataR{dewiki-terms-zipf} \bzw \dataR{enwiki-terms-zipf}
  \caption{Verteilung der Termfrequenzen}
  \label{abb:terms-zipf}
\end{figure}

In diesem Abschnitt wird untersucht, wie die von WikiWord gefundenen Terme bezüglich ihrer Häufigkeit (Frequenz) verteilt sind. Es wird erwartet, dass diese Verteilung derjenigen ähnelt, die sich für die Wortfrequenzen in natürlichen Texten ergibt. Die Verteilung von Wortfrequenzen folgt typischerweise dem \nom{Zipfschen Gesetz} \q{zipf35pbl}, und \rrr[Abb.]{abb:terms-zipf} zeigt, dass das in der Tat auch für die von WikiWord gefundenen Terme gilt\footnote{Die Statistiken wurden mit dem \lingo{ZipfR}-Paket \q{ZIPFR} für \nom{GNU R} \q{GNU-R} ausgewertet und geplottet, für die Regressionsanalyse wurde ein \lingo{Zipf-Mandelbrot-Modell} verwendet \q{evert2004slm}.}. Die beobachtete Verteilung passt sogar noch besser zu der Vorhersage, als das häufig für Wortfrequenzen aus Volltext der Fall ist: Die Verteilung von \nom{Stoppwörtern} (typischerweise etwa die obersten 100 Ränge) folgen häufig nicht der Vorhersage des Zipfschen Gesetzes (was durch die Verfeinerung von Mandelbrot teilweise ausgeglichen wird). Die Menge von Termen, die WikiWord liefert, enthält aber keine Stoppwörter (oder wenn, dann nur als "`Fehler"' und daher mit niedriger Frequenz): die Terme stammen vor allem aus Seitentiteln und aus Wiki-Links (\rr{sec:analyzer:terme}) und sind daher in der Regel stark sinntragend \qq{Kraft2004at}{Eiron2003at}. Ihre Verteilung folgt daher sehr genau den Voraussagen des Zipfschen Gesetzes.

\section{Verteilung von Knotengraden}
\label{sec:verteilungen:knotengrade}

\begin{figure}[thbp]
  \centering
  \subfigure[en.wikipedia.org] {
  	\includegraphics[height=7cm]{enwiki-degree-zipf} 
  }
  \subfigure[de.wikipedia.org] {
  	\includegraphics[height=7cm]{dewiki-degree-zipf} 
  }
  \\ \dataR{enwiki-degree-zipf} \bzw \dataR{dewiki-degree-zipf}
  \caption{Verteilung der Knotengrade}
  \label{abb:degree-zipf}
\end{figure}

Die graphentheoretischen Eigenschaften der Wikipedia als Hyperlink-Netzwerk wurden schon verschiedentlich untersucht \qqq{voss05measuring}{Capocci2006pa}{bellomi2005naw}. Ein wichtiges, aber kaum überraschendes Ergebnis dieser Untersuchungen war, dass es sich bei dem Hyperlink-Netzwerk in Wikipedia um einen \lingo{skalenfreien Small-Word-Graphen} handelt \q{Capocci2006pa}, so wie das bei den meisten Hypertext-Korpora der Fall ist \qq{Barabasi1999esrn}{steyvers2005lss}. Die Skalenfreiheit ergibt sich dabei aus dem "`natürlichen"' Wachstum des Netzwerkes, das dem Gesetz des \lingo{Preferential Attachment} folgt.

Der Nachweis dieser Eigenschaften soll hier nicht wiederholt werden. Lediglich die Skalenfreiheit des Hyperlink-Netzwerk wird in \rrr[Abb.]{abb:degree-zipf} demonstriert: hier ist zu erkennen, dass die Verteilung der Knotengrade dem \lingo{Power Law} folgt\footnote{Auch hier wurde mittels \lingo{ZipfR} eine Regressionsanalyse mit dem \lingo{Zipf-Mandelbrot-Modell} verwendet.}.

\section{Auswertung des Exports}
\begin{table}[htbp]
\centering
	\begin{tabular}{|l|rr|}
	\hline                        
	\input{export-size}
	\hline                        
	\end{tabular}
 \\ \dataTsv{export-size}
	\caption{Anzahl von RDF-Tripeln}
	\label{table:eval-export-size}
\end{table}

Der Export von WikiWord-Daten nach RDF \bzw SKOS, wie er in Kapitel \rr{ch:export} beschrieben ist, kann für sich genommen kaum evaluiert werden. Hier wären Integrationstests notwendig, die die Kompatibilität und Nützlichkeit dieser Daten gezielt in Bezug auf andere Systeme wie \name{DBpedia} \qqq{auer2007dnw}{auer:hia}{DBpedia}, \name{OmegaWiki} (ehemals \name{WiktionaryZ}) \qq{vanmulligen2006oow}{OmegaWiki} oder \name{Wortschatz} \qq{quasthoff1998pdw}{Wortschatz} untersuchen. Solche Untersuchungen würden über den Rahmen dieser Arbeit hinausgehen und verbleiben als Gegenstand künftiger Forschung\future{}.

Um die Exportfunktion zu testen und einen Eindruck von der zu erwartenden Datenmenge zu erhalten, wurden die aus den Wikipedias extrahierten Daten unter Verwendung verschiedener Optionen als RDF exportiert (für Zugang zu den resultierenden Daten, siehe \rr{daten:rdf:wikipedia}).  

Die \rrr[Tabelle]{table:eval-export-size} zeigt die Anzahl von \lingo{RDF-Statements} (\nom{Tripeln}), die zur Beschreibung der \nospell{mono-} und multilingualen Thesauri benötigt werden. Bei Nutzung des WikiWord-Vokabulars ergibt sich ein Durchschnitt von etwa 23 Statements pro Konzept, bei einer Beschränkung auf SKOS sind es mit etwa 14 deutlich weniger. Die Gesamtgröße eines multilingualen Thesaurus mit den oben angegebenen sieben Sprachen, in exportierter Form, unter Verwendung des WikiWord-Vokabulars und mit \lingo{bzip2} komprimiert, beläuft sich auf 1,3 Gigabyte. Zum Vergleich: die zugrunde liegenden Wikipedia-Dumps für die entsprechenden sieben Projekte haben zusammen eine Größe von knapp 6 Gigabyte, ebenfalls unter Verwendung von \lingo{bzip2}. 

\chapter{Akkuratheit der Konzepte}
\label{ch:eval-analyse}\label{ch:eval-import}\label{ch:eval-konzepte}

Dieses Kapitel untersucht die Eigenschaften und Beziehungen von Konzepten. Dazu werden aus zwei Thesauri, dem deutschsprachigen und dem englischsprachigen, jeweils zwei Stichproben entnommen: eine mit zufälligen Konzepten aus der Gesamtmenge der Konzepte (\var{en_{all}} mit 102 Konzepten \bzw \var{de_{all}} mit 101), und eine mit zufälligen Konzepten aus den "`Top 10\%"', den am häufigsten verwendeten zehn Prozent der Konzepte (\var{en_{top}} \bzw \var{de_{top}}, jeweils mit 51 Konzepten) unter Verwendung des \sqlid{in_rank}-Wertes. Dabei ist zu bedenken, dass die Stichprobe über alle Konzepte auch viele Konzepte aus den 70\% enthält, die gar keinen Artikel haben --- einige der hier untersuchten Eigenschaften treten bei solchen artikellosen Konzepten gar nicht auf.

Es wird erwartet, dass die Stichprobe über die "`Top 10\%"' gebräuchliche, allgemeine Konzepte enthält und dass die betreffenden Artikel von guter Qualität sind, das heißt, den Richtlinien der Wikipedia und der Syntax von MediaWiki folgen. Insbesondere ist zu erwarten, dass sich die 70\% der Konzepte ohne Artikel am Ende der Rangliste nach \sqlid{in_rank} befinden (meist werden sie nur ein- oder höchstens zweimal direkt referenziert, zum Teil, \zB bei Navigationskategorien, gar nicht) --- das bedeutet, dass die meisteverwendeten 10\% der \emph{Konzepte} größtenteils in die meistverwendeten 33\% der \emph{Artikel} fallen, da die Artikel mehr oder weniger die oberen 30\% der Konzepte ausmachen.

Die Evaluation der Konzepte ist in \javaid{ConceptSurvey} implementiert und basiert auf den folgenden Schritten:
\begin{enumerate}
  \item In der Tabelle \sqlid{degree} wird für das Feld \sqlid{in_rank} das gewünschte Intervall bestimmt, also \var{[1 \ldots n]} für die Stichprobe über alle Konzepte und \var{[1 \ldots n/10]} für die Stichprobe aus den Top 10\%.
  \item Eine Zahl aus diesem Intervall wird zufällig gewählt und das Konzept, das diese Zahl als \sqlid{in_rank} hat, wird geladen. Dabei werden die Informationen aus  \sqlid{concept_info} verwendet, um effizient Zugang zu allen Eigenschaften und Beziehungen zu erhalten.
  \item Für jedes Konzept wird eine Anzahl von Eigenschaften (\lingo{Properties}) untersucht, wobei manche Eigenschaften mehr als einen Wert haben können. Die untersuchten Eigenschaften sind:
  
  \begin{description}
    \item[\javaid{terms}:] Die Terme (\rr{sec:analyzer:terme}), die dem Konzept über die Bedeutungsrelation zugeordnet sind (aus der Tabelle \sqlid{meaning} \rr{sec:meaning-table}).
    \item[\javaid{type}:] Der Konzepttyp (\rr{sec:konzeptklassifikation}), der dem Konzept zugeordnet ist (aus der Tabelle \sqlid{concept} \rr{sec:concept-table}).
    \item[\javaid{definition}:] Die Definition (\rr{sec:analyzer:glossen}), die dem Konzept zugeordnet ist (aus der Tabelle \sqlid{definition} \rr{sec:definition-table}).
    \item[\javaid{broader}:] Übergeordnete Konzepte (\rr{sec:import-aus-wikitext}), die dem Konzept über die Subsumtionsbeziehung zugeordnet sind (aus der Tabelle \sqlid{broader} \rr{sec:broader-table}).
    \item[\javaid{narrower}:] Untergeordnete Konzepte (\rr{sec:import-aus-wikitext}), die dem Konzept über die Subsumtionsbeziehung zugeordnet sind (aus der Tabelle \sqlid{broader}).
    \item[\javaid{related}:] Verwandte Konzepte (\rr{p:finish-relations}), die dem Konzept zugeordnet sind (aus der Tabelle \sqlid{relation} \rr{sec:relation-table}).
    \item[\javaid{similar}:] Ähnliche Konzepte (\rr{p:finish-relations}), die dem Konzept zugeordnet sind (aus der Tabelle \sqlid{relation}).
  \end{description}
  
  Diese Eigenschaften entsprechen denen, die im Datenmodell festgelegt sind (\rr{p:konzepteigenschaften}, \rr{model:lokales-datenmodell}).
  
  \item Jedem Wert jeder Eigenschaft von jedem Konzept wurde nun manuell eine Bewertung zugewiesen, die besagt, ob und inwieweit der gegebene Wert korrekt ist (siehe \rrr[Anhang]{daten:concept_survey} für die Rohdaten der Erhebung). Welche Bewertungen möglich sind, hängt dabei von der betreffenden Eigenschaft ab.
\end{enumerate}

Im Folgenden wird die Qualität der Werte für die einzelnen Eigenschaften analysiert.
\later{eval for: redir, disambig, etc}

\section{Auswertung der Klassifikation}
\label{sec:eval-klassifikation}
Bei der Konzeptklassifikation (\rr{sec:konzeptklassifikation}) wird jedem Konzept ein Typ aus einer fest vorgegebenen Menge von Typen wie \javaid{PERSON} oder \javaid{PLACE} zugewiesen. Sie bietet also eine grobe, \nospell{korpus}\-unabhängige Aufteilung der Konzepte, die verwendet werden kann, um Konzepte für eine bestimmte Anwendung zu filtern. Zum Beispiel können für die Erstellung eines Wörterbuches Personen ignoriert werden, oder es können für die Erstellung eines \lingo{Gazetteer} gezielt Orte verwendet werden. Konzepte, die zu keiner der vorgegebenen Klassen passen, erhalten den Typ \javaid{OTHER}, solche, zu denen es keinen eigenen Artikel gibt und eine Klassifikation daher nicht möglich ist, erhalten den Typ \javaid{UNKNOWN}.

\begin{table}[htbp]
   \centering
   \subtable[gesamt]{
	\begin{tabular}{|l||r|r|}
			\hline
			\textbf{Typ} & \textbf{\someid{en}} & \textbf{\someid{de}}  \\
			\hline
			\hline             
			\textbf{\javaid{UNKNOWN}}		& 68\% & 60\% \\	%00
			\hline
			\textbf{\javaid{PLACE}}			&  2\% &  3\%  \\	%10
			\textbf{\javaid{PERSON}}		&  8\% &  10\% \\	%20
			\hline
			\textbf{\javaid{ORGANISATION}}	& >1\% &  >1\% \\	%30
			\textbf{\javaid{NAME}}			& >1\% &  >1\% \\	%40
			\textbf{\javaid{TIME}}			& >1\% &  >1\% \\	%50
			\textbf{\javaid{NUMBER}}		& >1\% &  >1\% \\	%60
			\textbf{\javaid{LIFEFORM}}		&  1\% &  >1\% \\	%70
			\hline
			\textbf{\javaid{OTHER}}			& 21\% & 17\% \\	%90
			\hline
	\end{tabular}
	}
   \subtable[ohne \javaid{UNKNOWN}]{
	\begin{tabular}{|l||r|r|}
			\hline
			\textbf{Typ} & \textbf{\someid{en}} & \textbf{\someid{de}}  \\
			\hline
			\hline             
			\textbf{\javaid{UNKNOWN}}		&  &  \\	%00
			\hline
			\textbf{\javaid{PLACE}}			&  7\% &  11\%  \\	%10
			\textbf{\javaid{PERSON}}		& 24\% &  31\% \\	%20
			\hline
			\textbf{\javaid{ORGANISATION}}	& >1\% &   1\% \\	%30
			\textbf{\javaid{NAME}}			& >1\% &  >1\% \\	%40
			\textbf{\javaid{TIME}}			& >1\% &  >1\% \\	%50
			\textbf{\javaid{NUMBER}}		& >1\% &  >1\% \\	%60
			\textbf{\javaid{LIFEFORM}}		&  4\% &   2\% \\	%70
			\hline
			\textbf{\javaid{OTHER}}			& 65\% &  54\% \\	%90
			\hline
	\end{tabular}
	}
\caption{Häufigkeit der Konzepttypen}
\label{table:konzepttypen-verteilung}
\end{table}

\begin{table}
	\centering
   \subtable[gesamt]{
	\begin{tabular}{|l||rr|rr|rr|rr|}
			\hline
			\textbf{Typ} & \textbf{\var{en_{all}}} & \textbf{\var{en_{top}}} 
						 & \textbf{\var{de_{all}}} & \textbf{\var{de_{top}}}  \\
			\hline
			\hline             
			\textbf{\javaid{UNKNOWN}}		& 58\% &  2\% &	72\% &  2\%	\\	
			\textbf{\javaid{OK}}			& 36\% & 92\% &	28\% & 92\%	\\	
			\hline
			\textbf{\javaid{MISSING}}		&  6\% &  4\% &	 0\% &  6\%	\\	
			\textbf{\javaid{WRONG}}			&  0\% &  2\% &	 0\% &  0\%	\\	
			\hline
	\end{tabular}
   }
   \subtable[ohne \javaid{UNKNOWN}]{
	\begin{tabular}{|l||rr|rr|rr|rr|}
			\hline
			\textbf{Typ} & \textbf{\var{en_{all}}} & \textbf{\var{en_{top}}} 
						 & \textbf{\var{de_{all}}} & \textbf{\var{de_{top}}}  \\
			\hline
			\hline             
			\textbf{\javaid{UNKNOWN}}		&  &  &	 &  \\	
			\textbf{\javaid{OK}}			& 86\% & 92\% &	100\% & 92\%	\\	
			\hline
			\textbf{\javaid{MISSING}}		& 14\% &  4\% &	  0\% &  6\%	\\	
			\textbf{\javaid{WRONG}}			&  0\% &  2\% &	  0\% &  0\%	\\	
			\hline
	\end{tabular}
   }
 \\ \surveyTable{concept_survey}
\caption{Bewertung der Konzeptklassifikation}
\label{table:konzepttypen-bewertung}
\end{table}

\later{eval more!}

Zur Evaluation der Konzeptklassifikation stehen vier Werte als mögliche Beurteilungen zur Verfügung:

\begin{description}
  \item[\javaid{UNKNOWN}] wird immer automatisch für den Typ \javaid{UNKNOWN} gewählt --- wenn der Typ nicht bestimmt werden kann, weil es zu dem Konzept keinen Artikel gibt, dann ist die Beurteilung gegenstandslos.
  \item[\javaid{OK}] wird benutzt, wenn der Typ korrekt erkannt wurde.
  \item[\javaid{MISSING}] gibt an, dass kein konkreter Typ zugewiesen wurde (also der Typ \javaid{OTHER} ist), obwohl das Konzept eindeutig zu einer der vorgegebenen Klassen gehört.
  \item[\javaid{WRONG}] gibt an, dass der erkannte Typ falsch ist.
\end{description}

Bei der Auswertung zeigt sich zunächst, dass die allermeisten Konzepte korrekt und fast gar keine irrtümlich zugeordnet werden. Allerdings wird der Typ einiger Konzepte, die eigentlich klassifiziert werden sollten, nicht erkannt --- daraus wird sichtbar, dass es sich bei der Klassifikation um eine Heuristik handelt, die nach dem \lingo{Best-Effort}-Prinzip arbeitet: in der betreffenden Unterklasse von \javaid{WikiConfiguration} sind in dem Feld \javaid{conceptTypeSensors} "`Sensoren"' registriert (\rr{sec:analyse:mechanismen}), die \emph{sichere} Hinweise für die einzelnen Konzepttypen erkennen, zumeist die Verwendung bestimmter Kategorien oder Vorlagen. Die Erkennung basiert also auf \emph{Konventionen} bezüglich der Kategorisierung und Gestaltung von Artikeln über Konzepte einer bestimmten Art --- wie effektiv die Heuristiken arbeiten, hängt also davon ab, wie konsistent die betreffenden Konventionen in den Artikeln der Wikipedia befolgt werden, und wie gut sie durch die angegebenen Muster erkannt werden.
%\footnote{In der Konfiguration für die englischsprachige Wikipedia, die bei der Verarbeitung der Testdaten für die Evaluation verwendet wurde, fehlte eine wichtige Regel zur Erkennung von Artikeln über Personen. Das hat insbesondere dazu geführt, dass für \domain{simple.wikipedia.org} viele Artikel über Personen nicht als solche erkannt wurden. Für \domain{en.wikipedia.org} ist der Effekt weniger ausgeprägt.}.

Auch prinzipiell ist das Zuweisen der Konzepttypen nicht trivial, weil sie oft nicht eindeutig abzugrenzen sind. Zum Beispiel ist unklar, was als Ort zu klassifizieren ist: Länder und Städte sicher, aber Flüsse, Flughäfen, bestimmte Gebäude? Ähnlich verhält es sich mit Organisationen. Personen sind dagegen relativ leicht abzugrenzen, es kann höchstens passieren, dass eine \emph{fiktive} Person mit aufgenommen wird. Artikel über Zeitabschnitte (Jahre, Jahrzehnte und so weiter) sowie biologische Taxa sind im allgemeinen leicht zu erkennen, da sie in den meisten Wikipedias durchgehend typische Vorlagen verwenden: \lingo{Taxoboxen} bei Taxa und Vorlagen zur Kalendernavigation in Artikeln über Zeitabschnitte. Problematisch wird es wieder bei Namen: in manchen Wikipedias dienen Artikel über Vor- oder Nachnamen gleichzeitig als Begriffsklärung oder Liste aller (bekannter) Namensträger. Es kann also sein, dass sie gar nicht erst als Artikel erkannt sondern als Begriffsklärung oder Liste behandelt werden (\rr{sec:ressourcenklassifikation}).
 
\section{Auswertung der Subsumtion}
\label{sec:eval-subsumtion}
Die Subsumtionsbeziehung ist ein wichtiger Bestandteil eines Thesaurus: sie ist das strukturierende Element, das es erlaubt, ein Konzept durch Eingrenzung zu finden, also durch Navigation einer Hierarchie von Konzepten, ausgehend von den allgemeineren zu den spezielleren. Außerdem ermöglicht sie bei Bedarf ein automatisches \lingo{Fallback} auf allgemeinere Konzepte, zum Beispiel bei einer \lingo{Query Expansion}.

Zur Bewertung der Subsumtionsbeziehungen eines Konzeptes, also seiner Verknüpfung mit über- \bzw untergeordneten Konzepten, stehen nur zwei Alternativen zur Verfügung: \javaid{RIGHT} und \javaid{WRONG}. Es wird also nur festgestellt, ob die Unterordnung eines Konzeptes unter ein anderes berechtigt scheint. Dabei werden die Bewertungen für die Eigenschaften \javaid{narrower} und \javaid{broader} zusammengefasst.

\begin{table}[htbp]
	\centering
	\begin{tabular}{|l||rr|rr|rr|rr|}
			\hline
			\textbf{Typ} & \textbf{\var{en_{all}}} & \textbf{\var{en_{top}}} 
						 & \textbf{\var{de_{all}}} & \textbf{\var{de_{top}}}  \\
			\hline
			\hline             
			\textbf{\javaid{RIGHT} gesamt}		 & 99\% & 99\% &	96\% & 98\%	\\	
			\textbf{\javaid{RIGHT} ohne \javaid{UNKNOWN}} & 99\% & 99\% &	96\% & 98\%	\\	
			\hline
	\end{tabular}
 \\ \surveyTable{concept_survey}
\caption{Bewertung der Konzeptklassifikation}
\label{table:konzepttypen-bewertung}
\end{table}

Die Tabelle \ref{table:konzepttypen-bewertung} zeigt, dass fast alle Unterordnungen korrekt sind. Fälschliche Unterordnungen basieren zum einen auf falschen Angaben in Wikipedia-Artikeln (die meist daher rühren, dass die Bedeutung der zugeordneten Kategorie missverstanden wurde), zum andern aber auch an falsch zugeordneten Kategorisierungs-Aliasen \rr{sec:cat-alias}. Zum Beispiel wurden für die deutschsprachige Wikipedia die Zuweisung der Kategorie \wikipage{Kategorie:US-Amerikaner} interpretiert als Unterordnung unter das Konzept \wwconcept{Deutschamerikaner}, weil die Seite \wikipage{Deutschamerikaner} fälschlich als Hauptartikel der Kategorie \wikipage{Kategorie:US-Amerikaner} erkannt wurde. Das liegt daran, dass es keinen "`richtigen"' Hauptartikel \wikipage{US-Amerikaner} gibt, und \wikipage{Deutschamerikaner} die einzige Seite der Kategorie war, die als Hauptartikel infrage kam. Dieser eine Fehler hat, da es viele Personen und darunter viele Amerikaner in der Stichprobe gibt, sichtbare Auswirkungen auf das Ergebnis der Evaluation.

Im allgemeinen liefern die Kategorisierungs-Aliase allerdings sehr gute Ergebnisse: etwa 99\% sind korrekt.

Die Subsumtionsrelation wurde hier allerdings nur auf \emph{lokale} Plausibilität untersucht. Interpretiert man sie gemäß ihrer Semantik als transitiv, so können unerwünschte Ergebnisse auftreten: Durch Querverbindungen entstehen unter Umständen sehr lange Pfade, die dann als "`abwegige"' Subsumtionen interpretiert werden müssten (siehe dazu auch \q{Hammwoener2007Prem}). 

WikiWord übernimmt die Subsumtionsrelation direkt so, wie sie in der Wikipedia angegeben sind. Ein "`Säubern"' dieser Daten, die über das einfache Entfernen von Zyklen (\rr{ch:zyklen}) hinausgeht, verbleibt als Gegenstand künftiger Forschung\future{} (vergleiche \qq{Ponzetto2007tax}{hammwohner:iaw}). In diesem Rahmen könnte auch untersucht werden, ob sich durch geeignete statistische oder heuristische Verfahren aus der unspezifischen Subsumtionsrelation spezifische semantische Beziehungen extrahieren lassen, ob es also möglich ist, zu erkennen, ob es sich bei einer Unterordnung um eine \nom{Instanzbeziehung} (\lingo{is-a}), \nom{Abstraktionsbeziehung} (\lingo{subtype}), eine \nom{Aggregationsbeziehung} (\lingo{part-of}) oder eine andere Beziehung handelt\future{} (vergleiche \q{Ponzetto2007tax}).

\section{Auswertung der Ähnlichkeit}
\label{sec:eval-aehnlichkeit}

Die Zuordnung semantisch ähnlicher Konzepte, wie sie beim Import der Wikipedia-Daten vorgenommen wird (\rr{p:finish-relations}), basiert auf gemeinsamen Language-Links. Wenn zwei Artikel denselben Artikel in einer anderen Sprache als Äquivalent haben, dann werden sie als "`ähnlich"' angesehen und entsprechend im Feld \sqlid{langmatch} in der Tabelle \sqlid{relation} markiert. Dieses Vorgehen ist allerdings stark von der Granularität der anderen Wikipedias abhängig: werden bei der Bestimmung der Ähnlichkeit alle Projekte berücksichtigt, dann ist ihre "`Trennschärfe"' beschränkt durch die Granularität der \emph{kleinsten}, also am wenigsten granularen Wikipedia. Ein Beispiel: in der deutschsprachigen Wikipedia werden die Konzepte für die Jahre \wwconcept{1980}, \wwconcept{1981}, \wwconcept{1982} usw. bis \wwconcept{1989} alle als "`ähnlich"' angesehen, weil sie alle als Übersetzungsäquivalent \wwconcept{als:1980er} haben, also das Konzept in der alemannischen Wikipedia, das die achtziger Jahre insgesamt behandelt. Dieses Problem tritt sehr häufig auf, so zum Beispiel auch für \wwconcept{Metalle} und \wwconcept{Eisen}, \wwconcept{Tag} und \wwconcept{Sonntag} und viele mehr. Solche Paare als "`ähnlich"' zu bezeichnen ist nicht völlig falsch, aber kann, je nach Kontext, doch zu weit gefasst sein. Dieses Problem wirkt sich entsprechend auch auf die Ergebnisse der Vereinigung zu einem multilingualen Thesaurus aus.

\begin{table}[htbp]
	\centering
	\begin{tabular}{|l||rr|rr|rr|}
			\hline
			\textbf{\sqlid{langmatch}} & \textbf{\var{en}} & & \textbf{\var{de}} & & \textbf{\var{fr}} & \\
			\hline
			\hline             
			\textbf{>0}	& 77108 & & 30982 & & 42146 & \\
			\textbf{>1} & 14962 & &  6320 & & 15432 & \\
			\textbf{>2} &  9550 & &  4072 & & 12212 & \\
			\textbf{>3} &  6226 & &  3076 & & 10962 & \\
			\textbf{>4} &  5010 & &  2370 & &  6840 & \\
			\textbf{>5} &  4060 & &  1744 & &  6492 & \\
			\textbf{>6} &  3366 & &  1400 & &  6104 & \\
			\hline
	\end{tabular}
 \\ \surveyTable{concept_survey}
	\later{plot!}
	\later{full multilang!}
\caption{Paare von ähnlichen Konzepten}
\label{table:aehnliche-paare}
\end{table}

Um dieses Problem zu umgehen, kann verlangt werden, dass zwei Konzepte, um als ähnlich angesehen zu werden, in mehr als einem Language-Link übereinstimmen müssen --- die Anzahl der Übereinstimmungen ist in dem Feld \sqlid{langmatch} in der Tabelle \sqlid{relation} gespeichert und kann so direkt zum Filtern der Relation verwendet werden. Die Tabelle \ref{table:aehnliche-paare} zeigt, wie viele Paare dann jeweils übrig bleiben (wobei interessant ist, zu sehen, dass die französischsprachige Wikipedia deutlich mehr Language-Links hat als die deutschsprachige, obwohl sie etwas kleiner ist). Die stärkste Filterung ist der Schritt von mindestens einer Übereinstimmung zu mindestens zwei: Dabei entfallen viele fehlerhafte Zuordnungen sowie "`Ausreißer"', die durch Verweise in sehr kleine Projekte mit geringer Granularität entstehen. Wird ein noch höherer Grad an Übereinstimmung gefordert, verbessert sich die Qualität der Ähnlichkeit sukzessive --- so lässt sich der gewünschte \lingo{Trade-Off} zwischen Qualität und Abdeckung steuern. Für den Export nach RDF ist dies durch die Option \cli{{--}{--}min-langmatch} möglich. Dabei ist allerdings zu bedenken, dass, wenn man mindestens drei übereinstimmende Language-Links verlangt, nur Konzepte überhaupt als ähnlich erkannt werden können, die es noch in mindestens drei weiteren Wikipedias gibt. Wegen der großen Unterschiede in Umfang und Abdeckung der Wikipedias ist das eine recht starke Einschränkung.

Eine Alternative wäre es, Language-Links auf sehr kleine Projekte von der Betrachtung auszuschließen. Vermutlich ließen sich dadurch ebenfalls eine Vielzahl von "`unscharfen"' Ähnlichkeiten vermeiden, die entstehen, wenn das Projekt, das Ziel eines Language-Links ist, eine zu geringe Granularität hat. Es wird erwartet, dass dabei weniger Verknüpfungen verloren gingen, als das der Fall ist, wenn man eine Übereinstimmung in mindestens zwei oder mehr Language-Links verlangt. Diese Möglichkeit wurde hier nicht weiter verfolgt und verbleibt als Gegenstand künftiger Forschung\future{}.

\section{Auswertung der Verwandtheit}
\label{sec:eval-verwandtheit}

Die Zuordnung semantisch verwandter Konzepte, wie sie beim Import der Wikipedia-Daten vorgenommen wird (\rr{p:finish-relations}), ist schwer zu evaluieren, da die Semantik dieser Beziehungen nicht klar definiert ist --- das heißt, es ist nicht einfach, zu bestimmen, welche Zuordnung "`falsch"' wäre.  Die Stärke und Art der subjektiv empfundenen Verwandtheit der Konzeptpaare variiert aber stark. Hier ein paar Beispiele:

\begin{description}
  \item[\wwconcept{Erdmasse}] ist verwandt mit \wwconcept{Planet}, \wwconcept{Gravitationskonstante} und \wwconcept{Sonnenmasse}.
  \item[\wwconcept{Earl\_Browder}] (amerikanischer Kommunist) ist verwandt mit \wwconcept{1891} (Geburtsjahr), \wwconcept{1973} (Sterbejahr), \wwconcept{Kommunistische\_Partei\_der\_USA} (Vorsitz), \wwconcept{Präsidentschaftswahl\_in\_den\_Vereinigten\_Staaten\_1936} (Kandidatur), \wwconcept{William\_Z.\_Foster} (Vorgänger).
  \item[\wwconcept{Luke\_Donald}] (englischer Golfer) ist verwandt mit \wwconcept{Northwestern\_University} (Absolvent), \wwconcept{World\_Cup\_(Golf,\_Männer)} (Sieger), \wwconcept{Hemel\_Hempstead} (Geburtsort), \wwconcept{Paul\_Casey\_(Golfer)} (Partner), \wwconcept{Omega\_Europea\_Masters} (Sieger). 
  \item[\wwconcept{Verweildauer}] (im Versicherungsjargon) ist verwandt mit \wwconcept{Krankenhaus}, \wwconcept{Diagnosis\_Related\_Groups}.
\end{description}

Die Qualität der Verknüpfungen über ihre Frequenz zu approximieren, wie das bei der Ähnlichkeit möglich war (\rr{sec:eval-aehnlichkeit}), führt hier nicht zum Erfolg: die Verwandtheit ergibt sich ja daraus, ob sich zwei Artikel gegenseitig per Wiki-Link referenzieren. Wie oft sie das tun, ist dabei kein Indikator für die Stärke der Verbindung --- per Konvention sollte die Anzahl der Verknüpfungen in der Regel sogar immer nur 1 sein: \q{WP:V} besagt, dass in einem Artikel normalerweise nur einmal auf einen bestimmten anderen Artikel verwiesen werden soll.

Aussichtsreicher ist es, den Typ der Konzepte zu betrachten (\rr{sec:konzeptklassifikation}): Personen zum Beispiel sind oft "`verwandt"' mit ihrem Geburts- und Sterbejahr, und eventuell auch mit ihrem Geburtsort --- der Grund ist, dass die Artikel über die Jahre Listen von Personen enthalten, die in den betreffenden Jahren geboren wurden und gestorben sind. Ähnlich wird in Artikeln über Städte häufig angegeben, welche Persönlichkeiten dort geboren wurden oder gewirkt haben. Diese Verknüpfungen sind aber, je nach Nutzung, wenig hilfreich als Indikator für semantische Verwandtschaft. So bietet es sich an, die Verwandtschaftsbeziehung nach Typ zu filtern: zum Beispiel können aus der Verwandtschaft von Personen (Typ \javaid{PERSON}) Zeiten entfernt werden (Konzepte vom Typ \javaid{TIME}) und eventuell auch Orte (Konzepte vom Typ \javaid{PLACE}). Oder man verlangt, dass die Verwandtschaften eines Konzeptes immer vom selben Typ sein müssen, wie das Konzept selbst (wobei \javaid{OTHER} auch zulässig sein kann): so findet man zu einer Person weitere Personen, zu einem Ort weitere Orte, zu einem Jahr weitere Jahre und so weiter.

Die Qualität der Verwandtheit ist also schwer festzustellen, der Typ Konzepte bietet einen besseren Anhaltspunkt für die Filterung passend zum Anwendungsfall. Noch besser wäre es natürlich, die konkrete Semantik der Beziehung zwischen den Konzepten zu kennen (etwa \lingo{geboren-in} oder \lingo{hauptstadt-von}). Um solche Relationen aus Wikipedia-Artikeln zu extrahieren, gibt es im wesentlichen zwei Möglichkeiten: entweder man analysiert die Parameter von bestimmten Vorlagen (\lingo{Infoboxen}), um strukturierte Datensätze zu erhalten \qqq{WP:IB}{auer2007dnw}{auer:hia}. Oder man analysiert den Satz, in dem die Verknüpfung in den jeweiligen Artikeln auftritt, mit einfachem \lingo{Pattern Matching}, oder mit aufwändigeren Methoden der automatischen Sprachverarbeitung \qqq{nguyen2007esa}{NguyenEtAl2007}{wu2007asw}. Diese Möglichkeiten der Datenextraktion sind nicht Gegenstand dieser Arbeit und damit nicht Aufgabe von WikiWord --- sie sind vielmehr komplementär zu den hier vorgestellten Methoden: ihre Ergebnisse können die von WikiWord ergänzen.

Des Weiteren ist anzumerken, dass die hier betrachtete Verwandtheitsbeziehung relativ grob ist: sie betrachtet nur \emph{explizite} \emph{direkte} Verwandtheit, die sich vorab für alle Konzepte in einem Thesaurus bestimmen lässt. Sie verbindet also solche Konzepte, die "`sehr"' verwandt sind: eine graduelle Abstufung oder ein Vergleich der "`Verwandtheit"' ist nicht möglich. In Kapitel \rr{ch:eval:disambig} werden Techniken betrachtet, mit denen ein Wert für die semantische Verwandtheit eines gegebenen Paars von Konzepten oder Termen berechnet werden kann.

\section{Auswertung der Termzuordnung}
\label{sec:eval-termzuordnung}

Die Bedeutungsrelation, also die Zuordnung von Termen (Bezeichnungen) zu Konzepten (Bedeutungen), ist ein Kernstück eines konzeptorientierten Thesaurus: sie vermittelt zwischen reinem Text und inhaltlichen Beziehungen. Daher ist es besonders wichtig, dass diese Relation korrekt ist, dass heißt, dass sie keine fehlerhaften Zuordnungen liefert. Dieser Abschnitt untersucht die Qualität der Bedeutungsrelation auf der Basis der oben beschriebenen Stichproben.

\begin{table}
\centering
\begin{tabular}{|l||r|r||r|r|}
		\hline
		\textbf{\domain{en.wikipedia}} & \textbf{\var{\%t_{all}}} & \textbf{\var{\%n_{all}}}
		                   & \textbf{\var{\%t_{top}}} & \textbf{\var{\%n_{top}}} \\
		\hline
		\hline             % ENGLISCH
		\textbf{\javaid{GOOD}}      & 87,1 & 95,9 & 76,4 & 91,4 \\
		\textbf{\javaid{DIRTY}}     &  3,0 &  0,8 &  2,2 &  0,3 \\
		\textbf{\javaid{VARIANT}}   &  1,0 &  0,2 &  3,8 &  4,2 \\
		\textbf{\javaid{DERIVED}}   &  1,0 &  0,4 &  4,1 &  1,2 \\
		\hline
		\textbf{\javaid{BROADER}}   &  3,0 &  0,6 &  4,1 &  1,6 \\
		\textbf{\javaid{NARROWER}}  &  4,0 &  1,9 &  6,9 &  1,0 \\
		\hline
		\textbf{\javaid{BAD}}       &  1,0 &  0,2 &  2,5 &  0,2 \\
		\hline
\end{tabular}
 \\ \surveyTable{concept_survey}
\caption{Bewertung der Termzuordnungen für die englischsprachige Wikipedia}
\label{table:eval-meaning:en-assessment}

\end{table}

\begin{table} 
\centering
\begin{tabular}{|l||r|r||r|r|}
		\hline
		\textbf{\domain{de.wikipedia}} & \textbf{\var{\%t_{all}}} & \textbf{\var{\%n_{all}}}
		                   & \textbf{\var{\%t_{top}}} & \textbf{\var{\%n_{top}}} \\
		\hline
		\hline          % DEUTSCH   #t_all   n_all  t_top  n_top
		\textbf{\javaid{GOOD}}      & 87,2 &  95,8 & 49,5 & 83,3 \\
		\hline
		\textbf{\javaid{DIRTY}}     &  0,0 &  0,0 &  0,3 &  0,0 \\
		\textbf{\javaid{VARIANT}}   &  1,2 &  0,3 & 14,8 &  9,1 \\
		\textbf{\javaid{DERIVED}}   &  9,3 &  3,3 & 10,3 &  3,4 \\
		\textbf{\javaid{BROADER}}   &  2,3 &  0,7 &  7,7 &  1,3 \\
		\hline
		\textbf{\javaid{NARROWER}}  &  0,0 &  0,0 & 15,4 &  2,5 \\
		\textbf{\javaid{BAD}}       &  0,0 &  0,0 &  1,9 &  0,2 \\
		\hline
\end{tabular}
 \\ \surveyTable{concept_survey}
\caption{Bewertung der Termzuordnungen für die deutschsprachige Wikipedia}
\label{table:eval-meaning:de-assessment}

\end{table}

Die Tabellen \ref{table:eval-meaning:en-assessment} und \ref{table:eval-meaning:de-assessment} zeigen die Bewertung der Terme, die den einzelnen Konzepten zugeordnet sind --- die Erhebung kann im Einzelnen in \rrr[Anhang]{daten:eval-termzuweisung} nachvollzogen werden. Für jeden Term, der einem Konzept zugeordnet ist, wurde eine der folgenden Bewertungen abgegben, die die Zeilen der Tabellen bilden:

\begin{description}
  \item[\javaid{GOOD}:] der Term ist eine korrekte Bezeichnung für das Konzept.
  \item[\javaid{VARIANT}:] der Term ist eine Form einer korrekten Bezeichnung für das Konzept, also zum Beispiel ein Plural oder Genitiv, oder das Wort ist groß geschrieben, weil es am Satzanfang steht.
  \item[\javaid{DERIVED}:] der Term ist von dem Konzept abgeleitet, bezeichnet es aber nicht direkt: zum Beispiel \wwterm{Physiker} für \wwconcept{Physik} oder \wwterm{deutsch} für \wwconcept{Deutschland}.
  \item[\javaid{DIRTY}:] der Term ist nicht ganz richtig verwendet, zum Beispiel ist die Großschreibung falsch, oder die Verwendung von Bindestrichen oder Apostrophen ist nicht ganz korrekt.
  \item[\javaid{BROADER}:] der Term bezeichnet eigentlich etwas, das dem Konzept übergeordnet ist --- dies tritt relativ häufig auf, und zwar vor allem immer dann, wem ein Term \lingo{totem pro parte} (oder in ähnlicher Weise \nom{synekdotisch}) verwendet wird. Beispiele sind \wwterm{Amerika} für \wwconcept{USA} oder \wwterm{griechisch} für \wwconcept{Griechische Mytologie}. Zum Teil handelt es sich dabei um ungenaue, aber umgangssprachlich gebräuchliche Bezeichnungen, zum Teil aber auch um Terme, die nur in einem ganz bestimmten Kontext auf das gegebene Konzept verweisen: \wwterm{Vergrößerung} kann zum Beispiel für \wwconcept{Hepatomegalie} stehen, wenn der Kontext sich mit Krankeiten der Leber beschäftigt. Diese Bedeutungszuweisung ist dann zwar stark kontextabhängig, aber dennoch valid.
  \item[\javaid{NARROWER}:] der Term bezeichnet etwas, das dem Konzept untergeordnet ist --- dies tritt vor allem dann auf, wenn es für das konkretere Konzept keinen eigenen Artikel in der Wikipedia gibt. Sehr häufig zum Beispiel verweist der Name eines Stadteils auf den Artikel über die ganze Stadt. Dieses Vorgehen ist zwar im Rahmen der Wikipedia pragmatisch, führt aber für WikiWord zu fehlerhaften Bedeutungszuweisungen --- besser ist es, wenn in einem solchen Fall auf einen \emph{Abschnitt} des entsprechenden Artikels verwiesen wird. Dann erzeugt WikiWord für den Abschnitt ein eigenes Konzept (\rr{sec:anker}).
  
   \later{häufiger in kleinen wikis?}
  Zu beachten ist auch, dass Terme in der Wikipedia fast nie aus rethorischen Gründen auf ein allgemeineres Konzept verweisen --- das heißt, sie werden nicht \lingo{pars pro toto} verwendet, \bzw wird, wenn diese Stilfigur verwendet wird, kein Wiki-Link gesetzt.
  \item[\javaid{BAD}:] der Term bezeichnet das Konzept nicht, die Verwendung als Link-Text ist falsch oder zumindest irreführend. Zum Teil handelt es sich hier um Tippfehler oder eine fehlerhafte Wahl des Link-Zieles, zum Teil aber auch um "`navigatorische"' Link-Texte, wie \wwterm{das gleichnamige Buch} oder \wwterm{im folgenden Jahr}. Diese sind für die Bedeutungsrelation unbrauchbar.
\end{description}

Die Übergänge zwischen den einzelnen Bewertungen sind bisweilen fließend. Einige Beispiele:
\begin{itemize}
  \item Die Bezeichnung \wwterm{Amerika} für das Konzept \wwconcept{USA} kann als Kurzform des Namens gesehen werden (\javaid{GOOD}) oder als Synekdoche, also eine Verwendung \lingo{totem pro parte} (\javaid{BROADER}). 
  \item Das Adjektiv \wwterm{physikalisch} für das Konzept \wwconcept{Physik} kann als Wortform (\javaid{VARIANT}) oder als abgeleitetes Wort (\javaid{DERIVED}) betrachtet werden.
  \item Die Schreibweise \wwterm{Lodz} für \wwconcept{Łódź} kann als valide deutsche Transkription (\javaid{GOOD}) oder als typographischer Fehler (\javaid{DIRTY}) angesehen werden.
\end{itemize}

Aus diesem Grund wird die Unterscheidung im Folgenden auf "`gute"' und "`schlechte"' Zuordnungen reduziert, wobei nur die Bewertungen \javaid{NARROW} und \javaid{BAD} als "`schlecht"' betrachtet werden:

Die Interpretation von \javaid{BROADER} als "`gut"' und \javaid{NARROWER} als "`schlecht"' ist dadurch begründet, dass, wie oben schon bemerkt, die Bewertung \javaid{BROADER} häufig aus einer Verwendung des Terms als Synekdoche stammt, während die Bewertung \javaid{NARROW} meist von "`Verlegenheitsverknüpfungen"' herrührt, die entstehen, wenn kein Artikel zu dem konkreten Konzept existiert, und deshalb ein Wiki-Link auf ein übergeordnetes Thema gesetzt wird. Aus Sicht von WikiWord wäre es in solchen Fällen vorzuziehen, entweder einen Link auf eine noch nicht existierende Seite zu setzen (was unter Umständen durchaus erwünscht ist \qq{WP:RL}{WP:V}) oder auf einen konkreten Abschnitt in einem übergeordneten Artikel zu verweisen. Aus diesem Grund wird hier \javaid{BROADER} noch als "`gut"', aber \javaid{NARROW} als "`schlecht"' bewertet.

Die Bewertungen \javaid{VARIANT} und \javaid{DERIVED} sind aus der Perspektive des \lingo{Information Retrieval} sicherlich als valid anzusehen, da sich im Kontext einer Dokumentensuche oder Indexierung der entsprechenden Text korrekt dem fraglichen Konzept zuordnen lässt. Dasselbe gilt auch für die Bewertung \javaid{DIRTY}, da für die Effektivität der Suche ja nicht entscheidend ist, ob eine Bezeichnung "`korrekt"' ist, sondern nur, wie sie pragmatisch verwendet wird.

Die Spalten der Tabellen  \ref{table:eval-meaning:en-assessment} und \ref{table:eval-meaning:de-assessment} teilen sich in zwei Gruppen: die ersten beiden Spalten geben die Werte für die Stichprobe über den Gesamtkorpus an (\var{_{all}}), die letzten beiden Spalten die Werte für die Stichprobe aus den 10\% meistgenutzer Konzepte (\var{_{top}}). Die jeweils erste Spalte gibt direkt den Anteil von Termen wieder, auf die die der Zeile entsprechende Bewertung zutrifft (\var{\%t}), die jeweils zweite Spalte ist nach Termfrequenz gewichtet, das heißt, sie gibt den Anteil der \emph{Verwendungen} von Termen an, auf die die Bewertung zutrifft (\var{\%n}).

Vergleicht man die Bewertungen innerhalb einer Spalte, so ist zunächst offensichtlich, dass die allermeisten Terme als \javaid{GOOD} markiert sind, also als völlig korrekte Bezeichungen für das Konzept. Der Anteil liegt bei etwa 50\%--87\% der Terme, aber etwa 83\%--97\% der Verwendungen --- was besagt, dass die "`guten"', primären Bezeichnungen für ein Konzept häufiger verwendet werden als irgendwelche Varianten, abgeleitete oder gar falsche Bezeichnungen. Der Anteil der "`guten"' Bezeichnungen ist ausserdem bei der Stichprobe aus den meistgenutzten 10\% kleiner als bei der Stichprobe über den Gesamtkorpus --- der Grund dafür ist vermutlich, dass abgeleitete Formen oder alternative Bezeichnungen bevorzugt für gebräuchliche Konzepte verwendet werden, während ungebräuchliche Konzepte meist über ihren primären Namen referenziert werden.

Bei einem Vergleich zwischen den Ergebnissen für die englischsprachige und die deutschsprachige Wikipedia fällt auf, dass in der deutschsprachigen Wikipedia deutlich mehr Terme als \javaid{VARIANT} (Wortform) oder \javaid{DERIVED} (Abgeleitet) markiert sind. Das ist vermutlich durch die reichere Morphologie der deutschen Sprache sowie die Verwendung von Komposita zu erklären. Diese Vermutung durch Untersuchungen an weiteren Sprachen zu erhärten verbleibt als Gegenstand künftiger Forschung\future{}. Eine weitere Auffälligkeit ist, dass in der englischsprachigen Wikipedia mehr Einträge als \javaid{DIRTY} markiert sind --- das ist insbesondere auf fehlende Apostrophe bei Genitiv-Formen sowie auf fälschliche Kleinschreibung bei Namen und Abkürzungen zurückzuführen. 

\begin{table}[htbp]
	\centering
	\begin{tabular}{|l||rrrrr|}
    	\hline
		\input{eval-rules-en}
		\hline
    \end{tabular}
 \\ \dataTsv{eval-rules-en}
	\caption{Evaluation der Termzuordnung, nach Extraktionsregel (englischsprachige Wikipedia, all-Stichprobe)}
	\label{table:eval-meaning-rules}
\end{table}
\begin{table}[htbp]
	\centering
	\begin{tabular}{|l||rrrr|}
		\hline
		\input{eval-freq-en}
		\hline
	\end{tabular}
 \\ \dataTsv{eval-freq-en}
\caption{Evaluation der Termzuordnung, nach Frequenz (englischsprachige Wikipedia, all-Stichprobe)}
\label{table:eval-meaning-freq}
\end{table}

\begin{table}[htbp] 
\centering
\begin{tabular}{|l||rr|rr||rr|rr|}
		\hline
		\input{eval-cutoff-en}
		\hline
\end{tabular}
 \\ \dataTsv{eval-cutoff-en}
\caption{Auswirkung verschiedener Cutoff-Modi, für die englischsprachige Wikipedia}
\label{table:eval-meaning:en-cutoff}
\end{table}

\begin{table}[htbp] 
\centering
\begin{tabular}{|l||rr|rr||rr|rr|}
		\hline
		\input{eval-cutoff-de}
		\hline
\end{tabular}
 \\ \dataTsv{eval-cutoff-de}
\caption{Auswirkung verschiedener Cutoff-Modi, für die deutschsprachige Wikipedia}
\label{table:eval-meaning:de-cutoff}
\end{table}

Um nun den Anteil der "`schlechten"' Termzuordnungen zu reduzieren, können die Zuordnungen gefiltert werden (\lingo{Cutoff}, siehe \rr{sec:cutoff}). Dabei kommen die beiden folgenden Kriterien in Betracht: die Häufigkeit, mit der die Zuordnung beobachtet wurde (vergleiche \rrr[Tabelle]{table:eval-meaning-freq}) sowie die Regeln, über die die Zuordnung extrahiert wurde (vergleiche \rrr[Tabelle]{table:eval-meaning-rules}), wie sie in den Feldern \sqlid{freq} \bzw \sqlid{rule} in der Tabelle \sqlid{meaning} (\rr{sec:meaning-table}) gespeichert sind. Die Bedeutungsrelation wird dabei also um Zuordnungen beschnitten, die zu \emph{selten} und/oder zu \emph{schwach} sind. Die Erwartung ist, dass sich dadurch der Anteil der "`guten"' Termzuordnung (also die \lingo{Precision}) vergößern lässt, wobei in Kauf genommen wird, dass sich die Abdeckung (\lingo{Coverage}) verschlechtert\footnote{Die Abdeckung bezieht sich auf die Anzahl von Zuordnungen \bzw Termen ohne Cutoff; der \lingo{Recall} würde sich auf die Anzahl \emph{aller} Bezeichnungen für die gegebenen Konzepte beziehen, diese ist jedoch unbekannt, und selbst mit Hilfe eines "`Gold-Standards"' auf der Basis von Standard-Wörterbüchern nur schlecht anzunähern.}.

Die Tabellen \ref{table:eval-meaning:en-cutoff} und \ref{table:eval-meaning:de-cutoff} zeigen die Auswirkungen unterschiedlicher Cutoff-Methoden auf die Stichproben aus dem englischsprachigen \bzw deutschsprachigen Thesaurus. Sie geben die Abdeckung und den Anteil als "`gut"' bewerteter Termzuordnungen wieder, jeweils für einen bestimmten Cutoff-Modus und eine bestimmte Stichprobe. Die ersten vier Spalten beziehen sich auf die Stichprobe über alle Konzepte (\var{_{all}}), die letzten vier auf die Stichprobe aus den oberen 10\% der am häufigsten verwendeten Konzepte (\var{_{top}}). Für beide Stichproben beziehen sich die ersten beiden Spalten jeweils auf den Anteil an unterschiedlichen Termen (\var{t}) und die beiden verbleibenden auf den Anteil bezüglich aller Verwendungen der Terme, also skaliert nach Termfrequenz (\var{n}). So ergeben sich vier Paare von Spalten, in jedem dieser Paare gibt die erste Spalte (\var{tc} \bzw \var{nc}) die Abdeckung an, also den Anteil von Termzuweisungen, die nach dem Cutoff verblieben sind, und die zweite Spalte (\var{t} \bzw \var{n}) gibt den Anteil der als "`gut"' bewerteten Terme an (also alle mit den Bewertungen \javaid{GOOD}, \javaid{DIRTY}, \javaid{DERIVED}, \javaid{VARIANT} und \javaid{BROADER}).

Die Spalten der Tabelle geben die Ergebnisse für unterschiedliche Cutoff-Modi an, grob sortiert nach zunehmender "`Strenge"' der Kriterien. Im Einzelnen:

\begin{description}
  \item[Alle:] Werte ohne Cutoff, also für alle gefundenen Termzuordnungen.
  \item[Min. 2\texttimes od. Exp.:] Die Zuordnung muss mindestens zweimal vorkommen, oder sie muss mindestens einmal explizit vorgenommen worden sein, also nicht ausschließlich aus einer Verwendung des Termes als Link-Text folgen.
  \item[Min. 3\texttimes od. Exp.:] Die Zuordnung muss mindestens dreimal vorkommen, oder sie muss explizit vorgenommen worden sein.
  \item[Min. 2\texttimes:] Die Zuordnung muss mindestens zweimal vorkommen, egal ob sie explizit vorgenommen wurde oder nicht.
  \item[Min. 3\texttimes:] Die Zuordnung muss mindestens dreimal vorkommen.
  \item[Nur Explizite:] Die Zuordnung muss mindestens einmal explizit vorgenommen worden sein, also nicht ausschließlich aus einer Verwendung des Termes als Link-Text folgen.
\end{description}

Dabei ist es im Allgemeinen so, dass sowohl die Vorgabe einer Mindestfrequenz als auch das Verlangen einer expliziten Zuordnung die Abdeckung stark reduziert, um die Präzision um einige Prozentpunkte zu erhöhen. Dabei sind die Auswirkungen auf die skalierten Werte, also die Anteile an der Verwendung der Terme, deutlich geringer als an den absoluten Werten. Das ist konsistent mit der vorher beschriebenen Beobachtung, dass "`gute"' Terme für ein Konzept weit häufiger verwendet werden als "`schlechte"'; auch ist der Zusammenhang natürlich darin begründet, dass es ja gerade die wenig verwendeten Termzuordnungen sind, die ausgefiltert werden.

Wird kein Cutoff angewendet, ergibt sich (bei, per Definition, 100\% Abdeckung) die schlechteste Präzision, die aber für den Anteil der Termverwendungen immer noch durchweg bei 97\% liegt. Bezogen auf unterschiedliche Terme liegt die Präzision immer noch zwischen 84\% und 94\% (mit der Ausnahme von 72\% für die Top10\%-Stichprobe aus der deutschsprachigen Wikipedia, die vor allem auf das oben erwähnten Problem mit Stadtteilen zurückzuführen ist). Das zeigt, dass die Bedeutungsrelation von WikiWord schon recht hohe Qualität hat. Etwas überraschend ist, dass eine Beschränkung auf explizite Termzuweisungen, die mit großen Einbußen in der Abdeckung verbunden ist, in keinem Fall besser ist als alle anderen Möglichkeiten des Cutoffs, und zumeist sogar deutlich hinter anderen Möglichkeiten zurückbleibt. Das ist insbesondere auch deshalb interessant, weil dieser Modus den Ergebnissen entspricht, die zu erwarten wären, wenn der Link-Text gar nicht als Quelle von Termzuordnungen berücksichtigt würde --- wie es die meisten anderen Ansätze zur Extraktion eines Thesaurus aus der Wikipedia tun. Die Verwendung des Link-Textes bringt also nicht nur einen quantitativen, sondern im Allgemeinen auch einen qualitativen Vorteil --- zum Teil sogar ohne Filterung, spätestens aber nach Anwendung geeigneter Cutoff-Regeln. Das bestätigt die Ergebnisse von \qqq{craswell:esf}{Eiron2003at}{Kraft2004at}.

Die Anwendung eines "`naiven"' Cutoffs, der eine minimale Anzahl von Beobachtungen einer Termzuordnung verlangt, liefert eine Verbesserung der Präzision um ein bis zwei Prozentpunkte auf über 99\% (in einer Stichprobe sogar auf 100\% für eine Mindestfrequenz von 3), allerdings auf Kosten der Abdeckung, insbesondere in Bezug auf die Anzahl der bekannten unterschiedlichen Terme: sie sinkt für eine Mindestfrequenz von 2 auf 50\% und für eine Mindestfrequenz von 3 auf circa 30\% --- das entspricht grob der Erwartung, dass, nach dem Zipfschen Gesetz \q{zipf35pbl}, die Häfte der Zuordnungen nur einmal vorkommt, und drei Viertel nur höchstens zweimal.

Die Kombination der Kriterien \nom{Mindestfrequenz} und \nom{explizite Zuordnung} ist als Kompromiss zwischen Abdeckung und Präzision gedacht: wird eine explizite Zuweisung nur für Terme verlangt, die selten vorkommen, so ergibt sich ein deutlich geringerer Verlust an Abdeckung, während der Gewinn an Präzision fast gleich bleibt:
Die Verschlechterung der Präzision beträgt etwa 0,5 Prozentpunkt bezüglich der Termverwendungen und bis zu 5 Prozentpunkte bezüglich unterschiedlicher Terme. Dem steht eine Verbesserung der Abeckung um circa 5 Prozentpunkte bezüglich der Termverwendungen und bis zu 50 Prozentpunkte bezüglich der Anzahl unterschiedlicher Terme gegenüber.

Über die beiden Cutoff-Kriterien lässt sich der Trade-Off zwischen Abdeckung und Präzision steuern, insbesondere auch in Bezug darauf, ob in der gegebenen Anwendung die Präzision in Bezug auf die zu erwartende natürliche Häufigkeit der Verwendung relevant ist, oder ob die Wahrscheinlichkeit der Nutzung jedes Terms in etwa gleich ist: ist die Präzision wichtig und die Terme treten in ihrer natürlichen (Zipfschen) Verteilung auf, so empfielt sich ein "`strikter"' Cutoff. Ist jedoch die Abdeckung wichtig, sollte ein kombinierter Cutoff verwendet werden, insbesondere dann, wenn die Terme gleichverteilt auftreten, da sonst die Abdeckung zu stark reduziert würde.

Es wäre interessant, weiter zu untersuchen, wie sich unterschiedliche Definitionen für explizite Zuweisung auswirken\future{}, also welche Extraktionsregeln unter den Cutoff fallen. In obigem Experiment wurde die Regel \javaid{TERM_FROM_LINK} als implizit angesehen, die anderen als explizit. Aufgrund der hohen Fehlerraten der Regeln \javaid{TERM_FROM_DISAMBIG} sowie \javaid{TERM_FROM_REDIRECT} (vergleiche \rrr[Tabelle]{table:eval-meaning-rules}) scheint es sinnvoll, verschiedene Kombinationen von Extraktionsregeln für den Cutoff näher zu betrachten.

\section{Auswertung der Glossen}
\label{ch:eval-glossen}

Die Extraktion von Definitionssätzen (\nom{Glossen}, \rr{sec:analyzer:glossen}) aus den Artikeln wurde in Bezug darauf evaluiert, ob sie in der Tat einen Definitionssatz liefert. Dabei wurde nicht die \emph{faktische Richtigkeit} bewertet (die der Autor in vielen Fällen gar nicht beurteilen kann), sondern lediglich, ob es sich um einen wohlgeformten, vollständigen Definitionssatz handelt, der eine nicht-triviale Aussage über das Konzept macht. Im einzelnen waren die folgenden Bewertungen möglich:

\begin{description}
  \item[\javaid{UNKNOWN}:] Zu dem betreffenden Konzept gibt es keinen Artikel, daher konnte keine Definition extrahiert werden, die Bewertung ist also gegenstandslos.
  \item[\javaid{OK}:] Der Definitionssatz wurde korrekt extrahiert und macht eine nicht-triviale Aussage über das Konzept.
  \item[\javaid{MISSING}:] Es wurde kein Definitionssatz extrahiert. Das bedeutet entweder, dass der Artikel nicht der Standard-Form für Wikipedia-Artikel folgt \qq{WP:ARTIKEL}{WP:WSIGA} und nicht mit einem Definitionssatz beginnt, oder, dass die Muster und Heuristiken zum Auffinden des ersten Satzes fehlgeschlagen sind.
  \item[\javaid{TRIVIAL}:] Der Definitionssatz wurde korrekt extrahiert, enthält aber keine sinnvolle Aussage. Relativ häufig kommen Sätze wie der folgende vor: \txt{Weltoffenheit ist ein Begriff aus der philosophischen Anthropologie.} (\rr{p:triviale-glosse}). 
  \item[\javaid{TRUNCATED}:] Der Definitionssatz wurde nur teilweise extrahiert, ist abgeschnitten oder sonstwie verstümmelt. Der Grund ist meist eine fehlerhafte Erkennung des Satzendes (etwa fälschlich nach einer unbekannten Abkürzung), Verwirrung durch verschachtelte Strukturen wie Klammersätze oder wörtliche Rede, oder aber die Verwendung von unbekannten Vorlagen für die Formatierung von Text.
  \item[\javaid{RUNAWAY}:] Der Definitionssatz wurde korrekt extrahiert, aber es wurde noch weiterer Text mitgeliefert. Meistens wird noch ein zweiter Satz angehängt, weil der erste mit einer Abkürzung wie \txt{etc.} endete und daher das Satzende nicht als solches erkannt wurde.
  \item[\javaid{CLUTTERED}:] Der Definitionssatz wurde korrekt extrahiert, enthält aber Überbleibsel von Wiki-Markup oder ähnlichem. Das ist meist auf eine fehlerhafte Verwendung von Wiki-Markup zurückzuführen, oder aber auf Fehler in den Mustern, die zur Bereinigung des Textes verwendet werden (\rr{sec:analyzer:bereinigen}).
  \item[\javaid{WRONG}:] Es wurde etwas extrahiert, was kein Definitionssatz für das betreffende Konzept ist. Entweder der erste Satz ist kein Definitionssatz, weil der Artikel nicht der Standard-Form für Wikipedia-Artikel folgt (\qq{WP:WSIGA}{WP:ARTIKEL}), oder die Muster und Heuristiken zum Auffinden des ersten Satzes sind fehlgeschlagen.
\end{description}

\begin{table}[htbp]
   \centering
   \subtable[gesamt]{
   \centering
	\begin{tabular}{|l||r|r|r|r|}
			\hline
			\textbf{Typ} & \textbf{\var{en_{all}}} & \textbf{\var{en_{top}}}
						& \textbf{\var{de_{all}}} & \textbf{\var{de_{top}}}   \\
			\hline
			\hline
			\textbf{\javaid{UNKNOWN}}	& 58\% &  2\% &  72\% &  2\% \\
			\hline
			\textbf{\javaid{OK}}		& 40\% & 86\% &  28\% & 88\% \\
			\textbf{\javaid{CLUTTERED}}	&   -- &  2\% &    -- &    -- \\
			\textbf{\javaid{RUNAWAY}}	&   -- &  2\% &    -- &   2\% \\
			\hline
			\textbf{\javaid{TRUNCATED}}	&  2\% &  4\% &    -- &   4\% \\
			\textbf{\javaid{TRIVIAL}}	&   -- &   -- &    -- &   4\% \\
			\hline
			\textbf{\javaid{MISSING}}	&   -- &  2\% &    -- &    -- \\
			\textbf{\javaid{WRONG}}		&   -- &  2\% &    -- &    -- \\
			\hline
	\end{tabular}
	}
   \subtable[ohne UNKNOWN]{
   \centering
	\begin{tabular}{|l||r|r|r|r|}
			\hline
			\textbf{Typ} & \textbf{\var{en_{all}}} & \textbf{\var{en_{top}}}
						& \textbf{\var{de_{all}}} & \textbf{\var{de_{top}}}   \\
			\hline
			\hline
			\textbf{\javaid{UNKNOWN}}	&   &   &    &    \\
			\hline
			\textbf{\javaid{OK}}		& 95\% & 88\% & 100\% & 90\% \\
			\textbf{\javaid{CLUTTERED}}	&   -- &  2\% &    -- &   -- \\
			\textbf{\javaid{RUNAWAY}}	&   -- &  2\% &    -- &  2\% \\
			\hline
			\textbf{\javaid{TRUNCATED}}	&  5\% &  4\% &    -- &  4\% \\
			\textbf{\javaid{TRIVIAL}}	&   -- &   -- &    -- &  4\% \\
			\hline
			\textbf{\javaid{MISSING}}	&   -- &  2\% &    -- &   -- \\
			\textbf{\javaid{WRONG}}		&   -- &  2\% &    -- &   -- \\
			\hline
	\end{tabular}
	}
 \\ \surveyTable{concept_survey}
\caption{Evaluation der Glossen}
\label{table:glossen-bewertung}
\end{table}

\later{update figures?! data files!!}
\later{eval more!}

Die Tabelle \ref{table:glossen-bewertung} zeigt, dass die Definitionssätze in den allermeisten Fällen korrekt extrahiert werden (\javaid{OK}) oder nur kleinere Probleme aufweisen (\javaid{RUNAWAY}, \javaid{CLUTTERED}). 

Die Fälle, in denen der Satz abgeschnitten wurde (\javaid{TRUNCATED}) sind meist auf eine zu strenge Heuristik zurückzuführen, nämlich die, dass ein einzelner Zeilenumbruch einen Satz beendet --- das ist gemäß der Wiki-Syntax nicht notwendig (\rr{ch:wikitext}) und kann in \javaid{LanguageConfiguration.sentencePattern} angepasst werden. Das würde aber vermutlich zu einer Vermehrung der \javaid{RUNAWAY}-Fälle führen.

Gegen triviale Glossen (\javaid{TRIVIAL}), die der Form nach, aber nicht dem Inhalt nach eine Definition darstellen, ist mit algorithmischen Mitteln wenig zu machen. Es wäre höchstens möglich, immer den ganzen ersten Absatz als Glosse zu nehmen, das würde aber in den meisten Fällen Text mit einbeziehen, der nicht zur Definition gehört, und laut Anforderung (\rr{sec:aufgaben}) hier nicht erwünscht ist (vergleiche \rr{p:triviale-glosse}).

Wenn gar keine Glosse gefunden wird (\javaid{MISSING}), liegt das meist daran, dass auch keine vorhanden ist --- in vielen Wikis ist das zum Beispiel für Jahresartikel der Fall, die im Wesentlichen als Listen von Ereignissen strukturiert sind. Es fällt auch schwer, sich für eine Jahreszahl eine sinnvolle Definition vorzustellen.

Wird ein falscher Satz als Glosse gefunden (\javaid{WRONG}), so liegt das oft daran, dass vor dem Definitionssatz eine Bemerkung steht --- einleitende Hinweise (\lingo{Tags}) in Artikeln kommen recht oft vor, zum Beispiel also Warnung vor schlechter Qualität des Artikels, oder als Hinweis auf eine Begriffsklärungsseite. Aber normalerweise sind solche \lingo{tags} Vorlagen, oder sie sind zumindest mit \wikitext{<center>} oder \wikitext{<div>} formatiert und können damit leicht erkannt und herausgefiltert werden. In einigen Fällen jedoch ist das nicht der Fall: in der englischsprachigen Wikipedia zum Beispiel stehen Verweise auf alternative Bedeutungen häufig direkt vor dem eigentlichen Artikelinhalt, und sind nur dadurch abgesetzt, dass sie eingerückt sind. Wird diese Einrückung vergessen, was durchaus vorkommt, so findet der Algorithmus diesen vorangestellten Kommentar als ersten Satz, der dann fälschlich als Glosse interpretiert wird. Es ist zu hoffen, dass auch die englischsprachige Wikipedia zur Nutzung von Vorlagen für diesen Zweck übergeht, so dass dieses Problem in Zukunft vermieden wird.


\chapter{Analyse von Begriffsklärungsseiten}
\label{ch:eval-bkl}

\begin{table}[htbp]
\centering

	\begin{tabular}{|l||rr|rrr||rrr|}
	\hline                        
	\input{disambig-eval}
	\hline                        
	\end{tabular}
 \\ \dataTsv{disambig-eval}, \surveyTable{resource_survey}
	\caption{Evaluation der Analyse von Begriffsklärungsseiten}
	\label{table:eval-bkl}
\end{table}

Der in \rr{sec:analyzer:disambig} angegebene Algorithmus zur Analyse von Begriffsklärungsseiten wurde auf einer Stichprobe von jeweils 50 Begriffsklärungsseiten aus zwei Wikipedias (\someid{en} und \someid{de}) evaluiert, das Ergebnis ist in \rrr[Tabelle]{table:eval-bkl} aufgeführt. Ziel ist es, auf der Begriffsklärungsseite diejenigen Wiki-Links zu finden, die auf Bedeutungen der fraglichen Bezeichnung verweisen. Für die Evaluation wurden nun alle Wiki-Links auf jeder Seite der Stichproben manuell dahingehend bewertet, ob sie auf eine der Bedeutungen des Wortes zeigen, für das die Begriffsklärungsseite angelegt wurde (siehe \rrr[Anhang]{daten:resource_survey}). Das Ergebnis der manuellen Beurteilung wird dann mit der automatischen Einordnung verglichen:

\begin{description}
  \item[\javaid{OK}:] der Link verweist auf eine der Bedeutungen des Wortes, für das die Begriffsklärungsseite angelegt wurde und er wurde auch als Bedeutungs-Link erkannt (\lingo{True Positive}).
  \item[\javaid{NOT}:] der Link verweist nicht auf eine der möglichen Bedeutungen und wurde auch nicht als Bedeutungs-Link identifiziert. (\lingo{True Negative})
  \item[\javaid{MISSED}:] der Link verweist auf eine der Bedeutungen, wurde aber nicht als Bedeutungs-Link erkannt (\lingo{False Negative}).
  \item[\javaid{BAD}:] der Link verweist nicht auf eine der Bedeutungen, wurde aber als Bedeutungs-Link erkannt (\lingo{False Positive}).
  \item[\javaid{PART}:] der Link verweist auf etwas, das der eigentlichen Bedeutung übergeordnet ist, wurde aber als Bedeutungs-Link erkannt (auch \lingo{False Positive}).  
\end{description}

Diese Evaluation kann allerdings aufgrund der geringen Stichprobengröße nur einen ungefähren Eindruck von der Leistungsfähigkeit des verwendeten Algorithmus bieten. Bei der Fehleranalyse war erneut ein Problem zu beobachten, das schon bei den Termzuordnungen über den Link-Text aufgetreten ist: es kommt (insbesondere bei Ortsteilen) häufig vor, dass ein Link auf einen übergeordneten Artikel gesetzt wird, wenn es keinen eigenen Artikel für das Konzept gibt (Bewertung \javaid{PART} in \rrr[Tabelle]{table:eval-bkl}; vergleiche auch Tabelle die Spalte \javaid{DISAMBIG} in \rrr[Tabelle]{table:eval-meaning-rules}). So enthält die Begriffsklärungsseite für \wikipage{Hüttenberg} zum Beispiel die Zeile "`* \wikitext{einen Ortsteil von [[Brobergen]] im Landkreis Stade in Niedersachsen}"', wodurch \wwconcept{Brobergen} als Bedeutung von \wwterm{Hüttenberg} erkannt wird; wie man dem Text entnehmen kann, ist das aber falsch: \wwterm{Hüttenberg} ist nur eine Bezeichnung für einen \emph{Teil von} \wwconcept{Brobergen}. Für WikiWord wäre es wünschenswert, wenn an solchen Stellen in der Begriffsklärung ein Wiki-Link auf einen noch nicht existierenden Artikel über den Ortsteil stünde --- allerdings ist das aus der pragmatischen Sicht der Wikipedia nur dann wünschenswert, wenn der Ortsteil hinreichend "`interessant"' ist, dass sich ein eigener Artikel darüber "`lohnt"'. Eine Alternative ist es, auf einen Abschnitt in dem übergeordneten Artikel zu verweisen, wenn es diesen gibt, in diesem Fall etwa \wwconcept{Brobergen\#Hüttenberg}.

\chapter{Verwandtheit und Disambiguierung}
\label{ch:eval:disambig}

Zwei wichtige Aufgaben im Kontext der Automatischen Sprachverarbeitung und des \nospell{Information Retrieval} sind die \nom{Disambiguierung}, also die \nom{Bedeutungszuweisung} für Wörter abhängig von dem Kontext in dem sie auftreten, sowie die Bestimmung der \nom{semantischen Verwandtheit} von Konzepten. Diese beiden Aufgaben sind an sich sehr unterschiedlich, sie sind jedoch in der Praxis dadurch verknüpft, dass häufig die Verwandtheit von \emph{Termen} bestimmt werden soll; diese Aufgabe kann dadurch gelöst werden, dass den Termen zunächst eine \nom{Bedeutung} (also ein \nom{Konzept}) zugewiesen und dann die Verwandtheit zwischen den Konzepten bestimmt wird. Andersherum ist die Verwandtheit von Konzepten eine nützliche Information bei der Aufgabe der Disambiguierung. 

Dieses Kapitel beschreibt, wie die von WikiWord gesammelten Daten zur Bestimmung der Verwandtheit von Termen verwendet werden können. Das Ziel ist, zu zeigen, dass sich die von Wikiword gesammelten Daten grundsätzlich zur Bestimmung von semantischer Verwandtheit von Termen und Konzepten sowie zur automatischen Disambiguierung (Bedeutungszuweisung) eignen. Es soll hier nicht versucht werden, Verfahren für die Bestimmung der Verwandtheit und zur Disambiguierung zu optimieren oder auf ihre Tauglichkeit zu testen --- solche Verfahren werden nur insofern untersucht, als sie Aussagen über Eigenschaften der von WikiWord beschafften Daten ermöglichen. Für einen Vergleich verschiedener Methoden zur Bestimmung der semantischen Verwandheit, siehe \qqq{Strube2006}{gabrilovich2007csr}{zesch2007sr}.

Zunächst werden hierfür Verfahren beschrieben, mit denen die Verwandtheit von Konzepten bestimmt und Termen im Kontext ein Sinn zugewiesen werden kann. Diese Verfahren werden dann verwendet, um die Eignung der von WikiWord gewonnenen Daten zur Lösung der oben genannten Aufgaben zu evaluieren. Die Verfahren selbst sind dabei möglichst einfach gehalten und es wird erwartet, dass durch die Verwendung anspruchsvollerer Verfahren zur Disambiguierung und Bestimmung der Verwandtheit die Ergebnisse noch zu verbessern wären.

\section{Semantische Verwandtheit zwischen Konzepten}
\label{sec:verwandtheit-zwischen-konzepten}
Die semantische Verwandtheit von Konzepten kann auf unterschiedliche Weise bestimmt werden, wobei sich die Ansätze grob in drei Kategorien gliedern lassen:

\begin{enumerate}
  \item Die Verwandtheit wird aufgrund des \emph{Abstandes} der Konzepte in einem \emph{Graphen} bestimmt, zum Beispiel in einem Hyperlink-Netzwerk oder einer Taxonomie.
  \item Die Verwandtheit wird aufgrund der \emph{Ähnlichkeit} einer textuellen \emph{Beschreibung} bestimmt, zum Beispiel auf Basis von Glossen. Die Beschreibungen werden dabei in der Regel als \nom{Featurevektor} repräsentiert und die Verwandtheit als Abstand oder Winkel in einem \nom{Merkmalsraum} angesehen (das entspricht dem \lingo{Vector Space Model}, \q{salton75vector}).
  \item Die Verwandtheit wird aufgrund der \emph{Gemeinsamkeiten} in ihrer \emph{Verwendung} bestimmt. Dieser Ansatz kann weiter unterteilt werden in stochastische \bzw informationstheoretische Verfahren, die die Verwandtheit zum Beispiel auf der \lingo{Mutual Information} begründen \qq{conf/wise/NakayamaHN07}{Ponzetto2007tax}, und solche, die den Kontext der Verwendung als \nom{Featurevektor} repräsentieren und die Verwandtheit als Abstand oder Winkel in einem \nom{Merkmalsraum} ansehen.
\end{enumerate}

%Einen Überblick über verschiedene Verfahren und ihre Anwendung auf Wikipedia bieten \qqq{Strube2006}{zesch2007sr}{gabrilovich2007csr}.

Das WikiWord-Modell beinhaltet bereits eine Beziehung von "`Verwandtheit"', die vorab ermittelt wurde und direkt im Modell gespeichert ist (\rr{sec:relation-table}, \rr{p:finish-relations}, \rr{sec:eval-verwandtheit}). Diese ist für die Zwecke dieser Evaluation nicht ausreichend, schon weil sie viel zu wenige Paare von Konzepten abdeckt (nämlich nur die explizit verknüpften). Deshalb wird diese \emph{explizite} Verwandtheit nur als einer von mehreren Faktoren bei der Berechnung der \emph{effektiven} Verwandtheit verwendet.

Für die Evaluation von WikiWord wurde ein einfaches Verfahren gewählt, das sich auf Basis der vorliegenden Daten leicht implementieren und effizient anwenden lässt. Die semantische Verwandtheit zweier Konzepte wird als der Wert einer Ähnlichkeitsfunktion definiert, die auf zwei Featurevektoren angewendet wird, die die beiden Konzepte repräsentieren:

\nospell{$$ r_{sem}(c_1, c_2) = sim\left(v(c_1), v(c_2)\right) $$}

Als Ähnlichkeitsmaß wird das Kosinus-Maß verwendet, also das normalisierte Skalarprodukt:

\nospell{$$ sim_{cos}(v_1, v_2) = \frac{v_1 \circ v_2}{|v_1|\cdot|v_2|} $$}

Zum Vergleich wird zum Teil eine gewichtete Tanimoto-Ähnlichkeit herangezogen. Hierbei werden die Vektoren als \lingo{Fuzzy Sets} interpretiert und entsprechend die Größe der Schnittmenge \bzw der Vereinigung als die Summe das paarweise Minimum \bzw Maximum der einzelnen Elemente der Vektoren bestimmt. % (\cite{lit: Tanimoto, T.T. (1957) IBM Internal Report 17th Nov. 1957.})

\nospell{$$ sim_{tan}(v_1, v_2) = \frac{\sum_i{min(v_{1,i}, v_{2,i})}}{\sum_i{max(v_{1,i}, v_{2,i})}} $$}

Der Merkmalsraum für die Featurevektoren wird durch die Konzepte des Thesaurus aufgespannt: jedes Konzept definiert eine Dimension. Ein Featurevektor repräsentiert einen Ort in diesem Raum, das heißt, er besteht aus einer Zuordnung von Gewichten zu jedem Konzept. Die Beziehungen, die ein bestimmtes Konzept bezüglich einer bestimmten Relation des Thesaurus hat, weisen ihm einen Ort im Merkmalsraum zu, der durch den Featurevektor dieses Konzeptes bezüglich dieser Relation definiert ist:

\nospell{$$ v_R(c_k) = 
\begin{pmatrix}
  w_R(c_k, c_1) \\
  w_R(c_k, c_2) \\
  \vdots \\
  w_R(c_k, c_n) \\
\end{pmatrix}  $$}

Wobei \var{w_R} eine Funktion ist, die das Gewicht der Verknüpfung zweier Konzepte bezüglich der Relation \var{R} angibt; das heißt, sie gibt die Gewichte der Kanten in dem von \var{R} aufgespannten Graphen an. In dem hier beschriebenen Experiment werden zwei Varianten dieser Funktion verwendet: für die \nom{ungewichtete} Verwandtheit wird für \var{w_R} die charakteristische Funktion von \var{R} verwendet, die 1 zurückgibt, wenn \var{c_nRc_m} gilt; für die \nom{gewichtete} Verwandtheit ergibt sich \var{w_R} aus dem \nom{Relevanzwert} der Verknüpfung, wie er im Modell gespeichert ist. In der Implementation wird er dem Referenzobjekt entnommen, das die entsprechende Beziehung repräsentiert \rr{sec:transferobjekte}). In der vorliegenden Implementation handelt es sich dabei meist um den IDF-Wert des Konzeptes, das Ziel der Verknüpfung ist (oder, im Fall der Subsumtionsbeziehung, um den inversen LHS-Wert, \rr{sec:BuildStatistics}). Theoretisch könnte die Relevanz aber auch direkt als Kantengewicht modelliert sein.

Der Featurevektor eines Konzeptes ergibt sich dann aus der Summe der Featurevektoren bezüglich der einzelnen Relationen, jeweils skaliert mit einem (\lingo{ad hoc} festgelegten) Koeffizienten, der angibt, wie viel Gewicht eine bestimmte Relation in der Berechnung der Verwandtheit haben soll:

\nospell{$$ v(c) = a_{id}v_{id}(c) + a_{br}v_{br}(c) + a_{nr}v_{nr}(c) + a_{in}v_{in}(c) + a_{out}v_{out}(c)  + a_{rel}v_{rel}(c) + a_{sim}v_{sim}(c) $$}

Die berücksichtigten Relationen aus dem Konzeptmodell (\rr{entwurf:lokales-datenmodell}, \rr{model:lokales-datenmodell}) sind die folgenden:
\begin{description}
  \item[\var{v_{id}}] ist der \nom{Identitätsvektor} des Konzeptes, also der Vektor, in dem nur für die Dimension, die das Konzept selbst definiert, eine 1 steht, und ansonsten 0. Die Verwendung dieses Vektors bedeutet, dass ein Konzept immer Teil seines eigenen Kontextes ist. \var{a_{id}} ist auf 2 festgelegt, da \emph{direkte} Beziehungen eines Konzeptes ein großes Gewicht bei der Bestimmung der Verwandtheit haben sollen.
  \item[\var{v_{br}}] enthält die übergeordneten Konzepte (\rr{sec:broader-table}). \var{a_{br}} ist auf 2 festgelegt, da eine gemeinsame Einordnung unter ein allgemeineres Konzept einen wichtigen Hinweis auf Verwandtschaft liefert. 
  \item[\var{v_{nr}}] enthält die untergeordneten Konzepte. Der Wert von \var{a_{nr}} ist 1, da die gemeinsame Zuordnung eines konkreteren Begriffes kein gutes Indiz für Verwandtheit ist.
  \item[\var{v_{in}}] enthält die Konzepte, die über einen Hyperlink auf das gegebene Konzept verweisen (\rr{sec:link-table}). \var{a_{in}} ist auf 2 festgelegt, da gemeinsames Auftreten  in einem Artikel ein gutes Indiz für Verwandtschaft ist.
  \item[\var{v_{out}}] enthält die Konzepte, auf die das gegebene Konzept per Hyperlink verweist. Der Wert von \var{a_{out}} ist 1, da Gemeinsamkeiten bezüglich referenzierter Artikel kein starkes Indiz für Verwandtheit sind.
  \item[\var{v_{rel}}] enthält die Konzepte, die im vorhinein als "`verwandt"' gekennzeichnet wurden --- diese Zuweisung basiert insbesondere auf der Relation \sqlid{bilink}, die Konzepte verbindet, die sich gegenseitig referenzieren (\rr{sec:relation-table}, \rr{p:finish-relations}). Der Wert von \var{a_{rel}} ist  -1; zwar ist diese Beziehung ein sehr deutliches Zeichen für Verwandtheit, dasselbe Konzept ist aber bereits durch \var{v_{in}} und \var{v_{out}} berücksichtigt; so ist es sogar notwendig, den Verwandtheitswert etwas zu dämpfen (siehe Rechenbeispiel unten).
  \item[\var{v_{sim}}] enthält Konzepte, die als "`ähnlich"' erkannt wurden, insbesondere auf Grund von Language-Links. \var{a_{sim}} ist auf 2 festgelegt, da ähnliche Konzepte natürlich auch stark verwandt sind. 
  
  Ein alternative Möglichkeit, \var{v_{sim}} zu verwenden, wäre es, die Featurevektoren aller ähnlichen Konzepte zu berechnen und zu dem Featurevektor des ursprünglichen Konzeptes hinzuzuaddieren --- diese Möglichkeit wurde hier nicht weiter verfolgt und verbleibt als Gegenstand künftiger Forschung\future{}.
\end{description}

Einige Beispiele dafür, wie viele "`Punkte"' sich auf diese Weise in typischen Fällen für den Verwandtheitswert \var{sim_{cos}} eines Paares von Konzepten ergeben:

\begin{itemize}
  \item Wenn A ein übergeordnetes Konzept von B ist, dann gilt \var{A \in v_{br}(B)} und \var{B \in v_{nr}(A)}, sowie natürlich immer \var{A \in v_{id}(A)} und \var{B \in v_{id}(B)}. Damit ergibt sich für das Skalarprodukt \var{v(A) \circ v(B)} eine Punktzahl von \var{2 \cdot 2 + 1 \cdot 2 = 6}.
  
  \item Wenn A und B ein gemeinsames übergeordnetes Konzept C haben, also bezüglich C \nom{kohyponym} sind, dann gilt \var{C \in v_{br}(A)} und \var{C \in v_{br}(B)}. Damit ergibt sich für \var{v(A) \circ v(B)} eine Punktzahl von \var{2 \cdot 2 = 4}.
  
  \item Wenn A und B ein gemeinsames untergeordnetes Konzept C haben, dann gilt \var{C \in v_{nr}(A)} und \var{C \in v_{nr}(B)}. Damit ergibt sich eine Punktzahl von \var{1 \cdot 1 = 1}.
  % Zum Beispiel ist das Konzept \wwconcept{Sachsenross} sowohl unter \wwconcept{Niedersachsen} als auch unter \wwconcept{Hauspferd} eingeordnet, was nicht bedeutet, dass \wwconcept{Niedersachsen} und \wwconcept{Hauspferd} einen hohen Grad an Verwandheit haben sollten.
  
  \item Wenn A per Hyperlink auf B verweist, dann gilt \var{A \in v_{in}(B)} und \var{B \in v_{out}(A)}, sowie natürlich immer \var{A \in v_{id}(A)} und \var{B \in v_{id}(B)}. Damit ergibt sich für das Skalarprodukt \var{v(A) \circ v(B)} eine Punktzahl von \var{2 \cdot 2 + 1 \cdot 2 = 6}.
  
  \item Wenn A und B beide von einem Konzept C per Hyperlink referenziert werden, also bezüglich C \nom{kookkurrent} sind, dann gilt \var{C \in v_{in}(A)} und \var{C \in v_{in}(B)}. Damit ergibt sich für \var{v(A) \circ v(B)} eine Punktzahl von \var{2 \cdot 2 = 4}.
  
  \item Wenn A und B beide per Hyperlink auf ein Konzept C verweisen, dann gilt \var{C \in v_{out}(A)} und \var{C \in v_{out}(B)}. Damit ergibt sich eine Punktzahl von \var{1 \cdot 1 = 1}.
 
   \item Wenn sich A und B gegenseitig per Hyperlink referenzieren, also im vorhinein über die \sqlid{bilink}-Relation als "`verwandt"' markiert wurden, dann gilt \var{A \in v_{out}(B)}, \var{B \in v_{out}(A)}, \var{A \in v_{in}(B)}, \var{B \in v_{in}(A)} sowie außerdem \var{A \in v_{rel}(B)} und \var{B \in v_{rel}(A)}. Damit ergibt sich eine Punktzahl von \var{2 \cdot (2+1-1) + (2+1-1) \cdot 2 = 8}.
  
  \item Wenn A und B einen Language-Link gemeinsam haben, sie im vorhinein also als "`ähnlich"' markiert wurden, dann gilt \var{A \in v_{sim}(B)} und \var{B \in v_{sim}(A)}. Damit ergibt sich eine Punktzahl von \var{2 \cdot 2 + 2 \cdot 2 = 8}.
\end{itemize}

Durch die Anpassung der Koeffizienten kann also das Gewicht bestimmt werden, das bestimmten Konstellationen von Konzepten bezüglich der im Datenmodell erfassten Relationen für die Bestimmung der Verwandtheit der Konzepte beigemessen werden soll. Die absoluten Werte spielen dabei allerdings keine Rolle, da bei der Bestimmung des Kosinus die Vektoren ja normiert werden. Nur die Verhältnisse bleiben erhalten.

%Damit ist vollständig beschrieben, wie jedem Konzept ein Featurevektor zugeordnet werden kann, der es erlaubt, aufgrund lokaler Eigenschaften die Verwandtheit zweier Konzepte zu bestimmen. 

Die Featurevektoren geben direkte Verknüpfungen in dem Graphen wieder, der durch die Beziehungen zwischen den Konzepten definiert wird. Diese direkten Kanten stellen Verbindungen von Konzepten zu ihrem Verwendungskontext dar, also zum Beispiel zu Kategorien, denen sie zugeordnet sind, oder Artikel, in denen auf sie verwiesen wird. Betrachtet man die Ähnlichkeit zwischen Featurevektoren, so werden dadurch Pfade der Länge zwei in diesem Graphen abgedeckt --- das entspricht gerade den Kookkurrenten der Konzepte, deckt also diejenigen Konzepte ab, die gemeinsam in einer Kategorie enthalten sind oder zusammen in einem Artikel referenziert werden. Der Vergleich von Featurevektoren deckt also \nom{syntagmatische} Beziehungen zwischen den Konzepten auf\footnote{Bezogen auf eine ganze Wiki-Seite als Kontext, nicht auf einen einzelnen Satz, wie es typischerweise bei der Analyse der Kookkurrenzen von Wörtern der Fall ist.}. Laut \q{conf/wise/NakayamaHN07} ist eine Suchtiefe von zwei Kanten für die Bestimmung semantischer Verwandtheit ausreichend, und \q{Strube2006} kommen zu dem Ergebnis, dass eine Beschränkung der Suchtiefe unter Umständen die Ergebnisse sogar verbessern kann, wenngleich dort eine Tiefe von maximal vier Kanten als optimal befunden wird.

Es wäre interessant, (signifikante) Kookkurrenten direkt mit in die Featurevektoren aufzunehmen --- damit würden auch Pfade der Länge drei und vier beim Vergleich der Vektoren berücksichtigt und es würden somit auch \nom{paradigmatische} Beziehungen zwischen den Konzepten gefunden \q{biemann2004lim}. Eine Untersuchung dieser Erweiterung des hier vorgeschlagenen Verfahrens geht jedoch über den Rahmen dieser Arbeit hinaus und bietet Gelegenheit für weitere Forschung\future{}.

\subsection*{Experiment}

\begin{table}[htbp]
\centering

	\begin{tabular}{|l|rr|}
	\hline                        
	\input{concept-relatedness-eval}
	\hline                        
	\end{tabular}
 \\ \dataTsv{concept-relatedness-eval}
	\caption{Evaluation der Verwandtheit von Konzepten}
	\label{table:concept-relatedness-eval}
\end{table}

\label{p:zg222}Die oben beschriebene Bestimmung der semantischen Verwandtheit von Konzepten wurde evaluiert, indem die auf diese Weise berechneten Verwandtheitswerte verglichen wurden mit der menschlichen Beurteilung von Verwandheit. Dazu wurde der Datensatz \someid{ZG222}\footnote{Verfügbar unter \uref{http://www.ukp.tu-darmstadt.de/data/semRelDatasets}.} \q{zesch2006acd} herangezogen: er enthält 222 Wortpaare und zu jedem Paar einen Wert zwischen 0 und 4, der aus den Urteilen von 24 Probanden berechnet wurde.

\label{p:zg222-manual} Jedem Wortpaar in \someid{ZG222} wurde nun manuell ein Paar von Konzepten aus der deutschsprachigen Wikipedia zugewiesen --- das war für 188 Paare möglich, in den restlichen Fällen gab es in der deutschsprachigen Wikipedia für mindestens eines der Wörter kein passendes Konzept. Das war insbesondere häufig der Fall für Adjektive wie \wwterm{angehend} oder \wwterm{neu}, Verben wie \wwterm{belieben} oder \wwterm{drängeln}, aber auch für sehr allgemeine Begriffe wie \wwterm{Übersicht} oder sehr spezielle wie \wwterm{Kursstätte}. Die Zuordnung von Konzepten zu dem Originaldatensatz ist in \rrr[Anhang]{daten:concept-relatedness-eval} wiedergegeben. 

Für jedes Paar von Konzepten wurde ein Verwandtheitswert bestimmt, nach dem oben beschriebenen Verfahren, jeweils einmal unter Verwendung des Kosinus-Maßes und einmal der gewichteten Tanimoto-Ähnlichkeit. Die so gewonnenen Verwandheitswerte wurden auf ihre statistische Korrelation mit den in \someid{ZG222} ermittelten Werten untersucht. Die Korrelation ist, der Literatur über semantische Verwandtheit in der Wikipedia folgend \qq{zesch2007sr}{Strube2006}, in der \rrr[Tabelle]{table:concept-relatedness-eval} als r-Wert nach Pearson angegeben. Die Korrelation wurde jeweils einmal für alle 188 Konzeptpaare bestimmt, und einmal für alle 113 Konzeptpaare, die zu Paaren von \emph{Substantiven} in \someid{ZG222} korrespondieren --- es ist nämlich zu erwarten, dass sich die Daten einer Enzyklopädie wie Wikipedia insbesondere zur Untersuchung von Substantiven eignen.

Zum Vergleich sind in der Tabelle zusätzlich einige Ergebnise aus \q{zesch2007sr} wiedergegeben, nämlich die Werte für \someid{PL+Avg} und \someid{PL+Best}. \someid{PL} basiert auf der \nom{taxonomischen Pfadlänge}, also der Anzahl von Kanten im Kategoriegraph, die die kürzeste Verbindung zwischen zwei Kategorien bilden. Dabei wird aus jeweils einer Kategorie jedes Konzeptes ein Paar gebildet, und der PL-Wert für dieses Paar von Kategorien berechnet. Der Wert \someid{PL+Avg} ergibt sich aus der durchschnittlichen Distanz für alle möglichen Kategoriepaare, \someid{PL+Best} verwendet die minimale Distanz, die für irgendein Paar von Kategorien gefunden wurde. Dieses Verfahren ist deutlich aufwändiger als das oben beschriebene, da unter Umständen der gesamte Kategoriegraph betrachtet werden muss, statt nur lokal definierte Featurevektoren zu vergleichen. Zudem werden kurze Pfade, die höchstens zwei Kanten lang sind, von den Featurevekoren mit abgedeckt.

Die Ergebnisse für Substantivpaare zeigen mit 0,43 für die Tanimoto-Ähnlichkeit eine deutliche, wenn auch nicht überragende Korrelation mit dem menschlichen Urteil, wie es in \someid{ZG222} wiedergegeben ist --- Zesch et. Al. erreichen für Paare von Nomen eine Korrelation von 0,49 mit dem aufwändigeren \someid{PL+Best}-Maß und 0,43 mit \someid{PL+Avg} \q{zesch2007sr}. 

Das Ergebnis über alle Konzeptpaare ist mit 0,30 für das Kosinus-Maß gerade noch als signifikant anzusehen (Zesch et. Al. erreichen hier 0,43 mit \someid{PL+Best} und 0,36 mit \someid{PL+Avg}). Interessant ist, dass das Ergebnis für die Tanimoto-Ähnlichkeit über alle Kozepte schlechter, für die Menge der Substantive aber deutlich besser ist. Diesen Umstand näher zu betrachten sowie die Effekte anderer Ähnlichkeitsmaße zu untersuchen, verbleibt aber als Gegenstand künftiger Forschung\future{}.

Ebenfalls auffällig ist, dass die Ergebnisse insgesamt schlechter sind als für den Fall einer automatischen Bedeutungszuweisung, wie weiter unten in \rr{sec:verwandtheit-zwischen-termen} beschrieben. Zwar war zu erwarten, dass diese aufgrund der Methode der Konzeptauswahl durch Maximierung der Verwandheit (\rr{sec:maximierung-der-kohaerenz}) insgesamt höhere Verwandheitswerte liefert, jedoch schien es ebenfalls wahrscheinlich, dass die Korrelation mit dem menschlichen Urteil unter falschen Zuordnungen, und damit überhöhten Verwandheitswerten, leiden würde. 

\label{p:zg222-implizite-konzepte} Es zeigt sich aber stattdessen, dass bei der manuellen Termzuordnung insgesamt häufig ein zu geringer Verwandheitswert errechnet wurde. Ein möglicher Grund hierfür ist, dass die in \someid{ZG222} von Menschen bestimmten Verwandtheitswerte auf einer unbekannten Zordnung von Konzepten basieren: zwar ist in \q{zesch2006acd} beschrieben, dass den Probanden als Hilfe für die Bewertung der Verwandheit Glossen und Synonyme der Terme vorgegeben wurden, so dass die zu bewertenden Bedeutungen eindeutig waren. Sogar ein Nachschlagen des Begriffes in der Wikipedia wurde dort angeboten, was impliziert, dass eine Zuordnung von Termen zu Wikipedia-Artikeln bereits vorgenommen wurde. Diese Zuordnung zu kennen wäre für die Evaluation von WikiWord ausgesprochen hilfreich gewesen, sie ist jedoch in dem bereitgestellten Datensatz nicht wiedergegeben. Daraus ergibt sich ein grundsätzliches Problem mit \someid{ZG222}: ein direkter Vergleich mit Verwandheitswerten, die für Konzeptpaare in WikiWord ermittelt wurden, beruht immer auf der Annahme, dass die Zuordnung von Konzepten zu Wörtern dort genau gleich erfolgte wie hier. Diese Annahme scheint in Anbetracht der relativ schlechten Korrelation insbesondere für Nicht-Substantive nicht in ausreichendem Maße gültig zu sein.

\later{nutze multilingualen thesaurus (mehr verknüpfungen, bessere verwandheit!)}

\section{Disambiguierung durch Maximierung der Kohärenz}
\label{sec:maximierung-der-kohaerenz}\label{sec:auto-disambig}
Die Verwandtheitsfunktion für Konzepte, \var{r_{sem}(c_1, c_2)}, kann nun verwendet werden, um einzelnen Termen aus einer vorgegebenen Menge eine Bedeutung zuzuweisen. Die Idee ist, dass sich die Terme gegenseitig disambiguieren: für jeden Term wird die Menge seiner möglichen Bedeutungen bestimmt und dann für jeden Term diejenige Bedeutung gewählt, die dazu führt, dass die paarweise Verwandtheit der gewählten Terme (die \nom{Kohärenz}) insgesamt maximal wird (vergleiche \qq{Ponzetto:2007}{zesch2007sr}). Genauer:

Sei \var{W = \{w_1, w_2, \ldots, w_n\}} eine Menge von Termen und \var{s(w) = \{c \quad|\quad S(w, c)\}} die Funktion, die zu einem Term \var{w} die Menge der Konzepte (Bedeutungen) liefert, die dem Term über die Bedeutungsrelation \var{S} zugeordnet sind (\rr{p:finish-meanings}, \rr{sec:meaning-table}). Dann ist \var{D_k = \{c_{1,k}, c_{2,k}, \ldots, c_{n,k}\}} eine \nom{Belegung} derart, dass \var{c_{i,k} \in s(w_i)} ist, also für jeden Term ein Bedeutung gewählt wurde. 

Der \lingo{Score} \var{g_r} einer Belegung \var{D_k} bezüglich der \nom{Kohärenz} ist gegeben durch die normierte Summe der paarweisen Verwandtheit der Konzepte: 

\nospell{ $$ g_r(D_k) = \frac{2 \cdot \sum_{i,j}^n r_{sem}(c_{i,k}, c_{j,k})}{n \cdot (n-1)} $$ }

Alternativ zur Verwandtheit der beiden Konzepte kann auch betrachtet werden, wie häufig ein Term als Bezeichnung für ein bestimmtes Konzept verwendet wird --- diese Frequenz der Termzuordnung ist gegeben durch \var{f(w_i, c_{i,k})}. Daraus lässt sich ein Wert für die \nom{Popularität} \var{pop(w_i, c_{i,k})} dieser Bedeutungszuweisung ableiten, mit der Eigenschaft, dass der Wert zwischen 0 und 1 liegt und mit wachsendem \var{f} monoton steigt:

\nospell{ $$ pop(w_i, c_{i,k}) = 1 - \frac{1}{\sqrt{f(w_i, c_{i,k})} + 1} $$ }

Der \lingo{Score} einer Belegung bezüglich der \nom{Popularität} der einzelnen Konzepte ergibt sich dann aus dem arithmetischen Mittel:

\nospell{ $$ g_f(D_k) = \frac{\sum_{i}^n pop(w_i, c_{i,k})}{n} $$ }

Diese Scores sind beide auf einen Wert zwischen 0 und 1 normiert und lassen sich linear über einen festen Koeffizienten \var{p} (den \lingo{Popularitäts-Bias} des Scores) kombinieren:

\nospell{ $$ g(D_k) = g_f(D_k) \cdot p + g_r(D_k) \cdot (1-p); 0 \leq p \leq 1 $$ }

Die gesuchte Disambiguierung ist die bezüglich des Scores \emph{beste} Belegung, \var{D_{max} = D_{k_{max}}}, wobei \var{k_{max} = \arg\max_k g(D_k)} ist. Es wird also diejenige Kombination von Bedeutungen für die Terme gewählt, die den besten Score ergibt.

Für die Implementation bedeutet das, dass alle Belegungen, also alle möglichen Kombinationen von Bedeutungszuweisungen, ausprobiert und bewertet werden müssen --- das sind \var{n^d} Belegungen und \var{\frac{n^2 - n}{2}} zu vergleichende Paare von Konzepten pro Belegung, wobei \var{n} die Anzahl der Terme und \var{d} die Anzahl von Bedeutungen pro Term ist. Für jeden Vergleich von zwei Featurevektoren fallen so viele Multiplikationen und Additionen an, wie Einträge in dem Feature-Vektor sind; Diese Größe hängt wesentlich von der Knotengradverteilung im Hyperlink-Graphen ab (\rr{sec:verteilungen}) und dürfte in der Größenordnung von 100 liegen\later{get mean, get median}. Für vier Terme mit jeweils fünf Bedeutungen ergeben sich \var{4^5 \cdot \frac{4^2 - 4}{2} = 1024 \cdot 6 = 6144} Vergleiche von Featurevektoren, also insgesamt etwa 614\thinspace400 Operationen. Für sechs Terme wären es schon 11\thinspace664\thinspace000, dieses Verfahren skaliert also nicht für große Mengen von Termen. Um es auf Fließtext anwenden zu können, würde sich ein \lingo{Sliding Window} von insgesamt drei bis fünf Termen anbieten.

\subsection*{Experiment}
\begin{table}[htbp]
\centering

   \subtable[Alle]{
	\centering

	\begin{tabular}{|lr|rrr|}
	\hline                        
	\input{sense-eval}
	\hline                        
	\end{tabular}
   }
   
   \subtable[Substantive]{
	\centering

	\begin{tabular}{|lr|rrr|}
	\hline                        
	\input{sense-eval-NN}
	\hline                        
	\end{tabular}
   }
    \\ \dataTsv{sense-eval} \bzw. \dataTsv{times-global-NN}
	\caption{Evaluation der automatischen Bedeutungszuweisung}
	\label{table:auto-disambig}
\end{table}

Zur Evaluation der automatischen Bedeutungszuweisung (\nom{Disambiguierung}) nach dem oben beschriebenen Verfahren wird wieder der Datensatz \someid{ZG222} nach \q{zesch2006acd} mit den manuell zugeordneten Konzeptpaaren (\rr{p:zg222-manual}, \rr{daten:concept-relatedness-eval}) herangezogen. \rrr[Tabelle]{table:auto-disambig} zeigt, wie sich die Ergebnisse der verschiedenen Möglichkeiten der automatischen Zuordnung zu den manuell zugewiesenen Konzepten verhalten. Die angegebenen Werte beziehen sich auf die 131 Wortpaare \bzw 92 Substantivpaare, für die sowohl manuell als auch automatisch beide Konzepte zugeordnet werden konnten. Die Spalte \someid{voll} gibt an, wieviel Prozent der Konzeptpaare genau den manuell ausgewählten Konzeptpaaren entsprechen, die Spalte \someid{teilw.} gibt an, bei wieviel Prozent mindestens eines der Konzepte übereinstimmt. Die letzte Spalte, \someid{Korr.}, ist die statistische Korrelation (r-Wert nach Pearson) mit den in \q{zesch2006acd} ermittelten Verwandtheitswerten.

Wünschenswert wäre eine hohe Übereinstimmung zwischen automatisch zugeordneten Konzepten mit den manuell zugewiesenen und gleichzeitig eine starke Korrelation mit den in \someid{ZG222} vorgegebenen Verwandheitswerten. Zunächst scheinen sich diese Werte aber gegenläufig zu entwickeln: Wird ausschließlich die Kohärenz betrachtet (\var{p=0}), ergibt sich ein relativ guter Korrelationskoeffizient von 0,4 (über alle Konzepte, bei Verwendung des Kosinus-Maßes) aber eine schlechte Übereinstimmung der gewählten Konzepte (37\% volle und 75\% teilweise Übereinstimmung). Wird dagegen nur die Popularität der Bedeutungen (also die Frequenz der Bedeutungszuweisung) beachtet (\var{p=1}), so ergibt sich eine geringe Korrelation von 0,26, aber eine größere Übereinstimmung der gewählten Konzepte (43\% voll und 91\% teilweise). Experimentell wurde ein Wert von 0,25 für \var{p} ermittelt, der einen guten Kompromiss darzustellen scheint: die Übereinstimmung der gewählten Konzepte bleibt hoch (41\% voll und 89\% teilweise) und der Korrelationskoeffizient steigt bis auf die Marke von 0,4. Die Verwendung der Tanimoto-Ähnlichkeit erweist sich hier als deutlich unterlegen: bei ähnlichen Werten für die Übereinstimmung der Konzepte ergeben sich deutlich schlechtere Werte für die Korrelation der Verwandtheitswerte. Betrachtet man die Werte nur für Paare von Substantiven, so ergeben sich erwartungsgemäß bessere Werte für die Übereinstimmung der Bedeutungszuordnung, aber überraschenderweise schlechtere Werte für die Korrelation der Verwandtheitswerte --- dieser Zusammenhang wird im nächsten Abschnitt \rr{sec:verwandtheit-zwischen-termen} genauer betrachtet.

Der Umstand, dass sich bei deutlich schlechterer Übereinstimmung mit den manuell gewählten Konzepten trotzdem eine gute Korrelation der Verwandtheitswerte erreichen lässt, scheint zunächst verwunderlich. Die Erklärung ist wohl darin zu suchen, dass in den Fällen, in denen das automatische Verfahren ein anderes Konzept gewählt hat als das, was manuell zugeordnet wurde, dieses Konzept selten ein \emph{völlig} anderes ist --- vielmehr fällt die automatische Wahl häufig auf ein Konzept, das dem manuell gewählten \emph{verwandt} ist. Die Verwandtheit zwischen den gewünschten und tatsächlich zugeordneten Konzepten zu messen und näher zu untersuchen bietet sich als Gegenstand künftiger Forschung an\future{}.

Bei der Betrachtung solcher Fehlzuordnungen ist insbesondere das Phänomen der \nom{Überspezialisierung} zu beobachten: da ja Konzeptpaare so gewählt werden, das die Konzepte eine möglichst große Verwandtheit miteinander aufweisen, kommt es vor, dass zwei sehr spezielle Bedeutungen gewählt werden. Zum Beispiel wurde für das Wortpaar \wwterm{Struktur} und \wwterm{Entwicklung} bei ausschließlicher Verwendung des Kohärenzwertes (\var{p = 0}) das Konzeptpaar \wwconcept{Herz\#Struktur} und \wwconcept{Herz\#Entwicklung} gewählt --- diese beiden Konzepte sind natürlich stark verwandt und haben die gesuchte Bezeichnung. Da auch im Original-Datensatz die Verwandtheit von \wwterm{Struktur} und \wwterm{Entwicklung} überdurchschnittlich bewertet war, trägt diese Wahl zu einer guten Korrelation der Verwandtheitswerte bei. Die gewählten Konzepte entsprechen aber natürlich nicht denen, die den Termen manuell zugeordnet wurden, nämlich die allgemeinen Konzepte  \wwconcept{Struktur} und \wwconcept{Entwicklung}. Wird aber die Frequenz der Bedeutungszuordnung, also die Popularität der Bedeutungen, berücksichtigt (und sei es nur mit dem Faktor 0,25), so wählt das automatische Verfahren die korrekten Konzepte --- die allerdings als weniger stark (wenn auch immer noch deutlich) verwandt angegeben werden, was der Korrelation der Verwandtheitswerte abträglich ist.

Ein weiteres Problem sind sehr allgemeine Konzepte wie \wwconcept{Beschreibung}: dem Term \wwterm{Beschreibung} sind zwar im WikiWord-Datensatz eine Vielzahl von Bedeutungen zugeordnet, diese sind aber alle sehr speziell. Das allgemeine Konzept \wwconcept{Beschreibung} wird in der Wikipedia nicht behandelt, daher muss die automatische Bedeutungszuweisung hier fehlschlagen. 

Zu untersuchen wäre, wie sich verschiedene Cutoff-Verfahren (\rr{export:cutoff}) auf die Ergebnisse der automatischen Disambiguierung auswirken, insbesondere auch in Hinblick auf das Problem der Überspezialisierung. 

Desweiteren macht sich auch hier wieder das Problem bemerkbar, das schon in \rr{p:zg222-implizite-konzepte} angesprochen wurde: welche Konzepte (Bedeutungen der Terme) die Evaluatoren in \q{zesch2006acd} tatsächlich vorgegeben bekamen, als sie die Verwandtheit beurteilen sollten, ist unbekannt. Deshalb sind die Verwandheitswerte, die für die hier vorgenommene manuelle Zuordnung von Konzeptpaaren bestimmt wurden, nur bedingt mit denen aus dem Originaldatensatz vergleichbar. Es wäre daher angebracht, weitere Untersuchungen auf einer Datenbasis durchzuführen, die direkt auf die Evaluation von Systemen zur automatischen Disambiguierung zugeschnitten ist, wie zum Beispeil \nom{Senseval} \q{mihalcea2004sel}\future{}.

\section{Semantische Verwandtheit zwischen Termen}
\label{sec:verwandtheit-zwischen-termen}

In der Praxis ist es häufig verlangt, die semantische Verwandtheit von zwei oder mehr \emph{Termen} zu bestimmen --- diese Aufgabe lässt sich als Kombination von Disambiguierung und Bestimmung der Verwandtheit von Konzepten verstehen: da Terme keine semantischen, sondern lexikalische Einheiten sind, muss den Termen zunächst eine Bedeutung zugewiesen werden, bevor ihre Verwandtheit bestimmt werden kann. Diese Art, die Verwandtheit zweier Terme zu messen, bietet sich insbesondere bei der Verwendung des oben beschriebenen Verfahrens zur Disambiguierung an, da es den entsprechenden Wert für die Verwandtheit bereits als \var{g(D_{max})} liefert.

\subsection*{Experiment}
Die Evaluation der Bestimmung der semantischen Verwandtheit von Termen nach dem oben beschriebenen Verfahren entspricht genau der Evaluation für das Disambiguierungsverfahren (\rr{sec:auto-disambig}), nur dass ein anderer Aspekt des Ergebnisses im Vordergrund steht, nämlich die Korrelation der Verwandtheitswerte. Die \lingo{Scores} \var{g(D_{max})}, die bei der Disambiguierung für das beste Konzeptpaar berechnet wurden, werden als Maß für die Verwandtheit der betreffenden Terme interpretiert und mit den in \q{zesch2006acd} ermittelten Verwandtheitswerten für die Termpaare in \someid{ZG222} verglichen, indem ihre statistische Korrelation (r-Wert nach Pearson) bestimmt wird. 

Das beste Ergebnis wird dabei, wie in \rrr[Tabelle]{table:auto-disambig} zu sehen ist, mit 0,41 für alle Konzepte unter Verwendung des Kosinus-Maßes erzielt. Das ist interessanterweise besser als das Ergebnis von 0,30, das in \rr{sec:verwandtheit-zwischen-konzepten} für die manuell gewählten Konzeptepaare erzielt wurde, aber noch etwas schlechter als das Ergebnis von 0,43, das mit dem aufwändigen PL-Verfahren erzielt wurde \q{zesch2007sr}. Überraschenderweise sind die Ergebnisse für Substantivpaare hier erheblich schlechter, der beste Wert von 0.39 liegt deutlich unter dem Ergebnis von 0,43, das für manuell gewählte Terme erzielt werden konnte, und erst recht unter dem Ergebnis für das PL-Maß mit 0,49. Das ist insbesondere deshalb überraschend, da die Übereinstimmung mit den manuell gewählten Konzepten für Substantivpaare besser ist, und diese manuell gewählten Paare für Substantivpaare die besseren Werte geliefert hatten \rr{sec:verwandtheit-zwischen-konzepten}. Weshalb die Ergebnisse der automatischen Disambiguierung ausgerechnet für Substantivpaare schlechter sind, obwohl das die Wortart ist, über die Wikipedia vorwiegend Informationen bietet, scheint einer näheren Untersuchung zu bedürfen\future{}.

In ähnlichen Experimenten zur Disambiguierung und Bestimmung der semantischen Verwandtheit auf Basis von Informationen aus der Wikipedia, mit etwas anderen Verfahren und auf anderen Datensätzen, wurden vergleichbare Korrelationen zwischen 0.32 und 0.57 gegenüber dem menschlichen Urteil erreicht \qq{Strube2006}{Ponzetto:2007}.

Insgesamt zeigt sich, dass die Daten von WikiWord grundsätzlich geeignet sind, als Datenbasis für die Bestimmung der semantischen Verwandtheit von Termen und Konzepten sowie für die automatische Disambiguierung von Wörtern im Kontext zu dienen. Es wird aber auch deutlich, dass einerseits die betrachteten Verfahren weiter verfeinert werden können, andererseits die zur Evaluation verwendete Datenbasis nicht optimal war, da zu den Wortpaaren keine Zuordnung von Konzeptpaaren bereitgestellt wurde und damit unklar blieb, auf welche Konzepte sich die vorgegebenen Verwandtheitswerte bezogen. 

Auch wurden Probleme mit den von WikiWord gewonnenen Daten deutlich: einerseits das zu erwartende Fehlen von Informationen zu Adjektiven und Verben, andererseits das Problem der Überspezialisierung bei der Disambiguierung und das Fehlen von Artikeln über allgemeine Konzepte. Hier zeigt sich noch einmal, dass die von WikiWord aus der Wikipedia gewonnenen Daten weniger einen Ersatz für als vielmehr eine Ergänzung zu den Daten aus klassischen Wörterbüchern und Thesauri darstellen.


\chapter{Zusammenfassung}
\label{ch:Zusammenfassung}

In der vorliegenden Diplomarbeit wurde die Extraktion eines multilingualen Thesaurus aus den Daten der Wikipedia behandelt. Zunächst wurden einige Grundlagen über Wikipedia und Thesauri erörtert (\rr{ch:grundlagen}) und der Stand der Forschung auf diesem Gebiet evaluiert (\rr{ch:Einordnung}). Dann wurde eine Methode entworfen, mit der die relevanten Informationen aus dem Wiki-Text extrahiert werden können, sowie ein Schema zur Interpretation dieser Informationen zum Aufbau eines Thesaurus entworfen (\rr{ch:ablauf}). Desweiteren wurde ein Prototyp (\nom{WikiWord}) entwickelt, der diese Methode implementiert (\rr{ch:analyse} und \rr{ch:import}) und die gewonnenen Daten in einer geeigneten Struktur in einer relationalen Datenbank speichert (\rr{ch:datenbank}). Für den so entstandenen Thesaurus wurde ein Verfahren entwickelt, mit dem er in ein Austauschformat exportiert werden kann, das auf den Standards RDF und SKOS beruht (\rr{ch:export}). WikiWord umfasst insgesamt über 31\thinspace000 Zeilen Programmcode in fast 300 Klassen (\rr{ch:quellcode}).

Der Prototyp wurde verwendet, um die Daten einiger Wikipedia-Projekte zu importieren und aus ihnen einen multilingualen Thesaurus zu erzeugen. Dieser wurden in Hinblick auf seine Validität sowie seine Nützlichkeit für verschiedene Aufgaben aus dem Bereich der automatischen Sprachverarbeitung sowie des Information Retrieval evaluiert (\rr{ch:evaluation}).

\section{Besonderheiten}
Das WikiWord-System, das in der vorliegenden Arbeit beschrieben ist, implementiert eine "`\lingo{end-to-end}-Lösung"' für die Aufgabe der automatischen Erstellung eines multilingualen Thesaurus, wobei es auf die Daten der Wikipedia zurückgreift. Dabei werden vor allem Informationen verwendet, die durch die Verknüpfungsstruktur sowie die Kategorisierung und die Verwendung von Vorlagen in den Wiki-Seiten kodiert sind. Eigenschaften, die WikiWord von den in \rr{ch:Einordnung} beschriebenen Systemen und Verfahren abgrenzt, sind insbesondere:

\begin{itemize}
  \item Zur Bestimmung der Bezeichnungen für die durch Artikel repräsentierten Konzepte wurde unter anderem der Link-Text von Wiki-Links verwendet, die auf diese Artikel verweisen (siehe \rr{sec:analyzer:terme}). Dabei wurde auch die Frequenz dieser Zuordnungen gespeichert. Die Verwendung des Link-Textes ist zwar in der Literatur durchaus bereits untersucht worde, jedoch in der Regel nicht im Kontext einer Thesaurus-Struktur, sondern nur in Bezug auf Disambiguierungssysteme, insbesondere für die \lingo{Named Entity Recognition} (vergleiche \rr{sec:stand:disambig} und \rr{sec:stand:thesaurus}).
  \item Zur Bestimmung der Bezeichnungen für Konzepte wurden, neben den gängigen Quellen wie Seitentitel und Weiterleitungen sowie den zum Teil ebenfalls schon untersuchten Begriffsklärungsseiten, zusätzliche Quellen erschlossen, insbesondere die bei der Kategorisierung angegebenen \lingo{Sort-Keys} sowie die Verwendung der \lingo{Magic Words} \wikitext{DISPLAYTITLE} und \wikitext{DEFAULTSORT} (siehe \rr{sec:import-aus-wikitext}).
  \item Für die Verarbeitung von Begriffsklärungsseiten wurde ein Algorithmus entwickelt (\rr{sec:analyzer:disambig}, \rr{ch:eval-bkl}), der deutlich über das hinaus geht, was in bisherigen Arbeiten zu dem Thema beschrieben wurde (vergleiche \rr{sec:stand:disambig}). 
  \item Es wurde ein Verfahren entwickelt, das zu Kategorien einen "`Hauptartikel"' bestimmt, und Kategorie und Artikel dann auf dasselbe Konzept im Thesaurus abbildet (\rr{sec:cat-alias}). Dieses Verfahren ist insbesondere sprachunabhängig und basiert nicht auf einer Stammformreduktion. Ein solches Verfahren ist in den einschlägigen Arbeiten bisher nicht beschrieben worden.
  \item Es wurde auf der Basis verschiedener Merkmale, wie den verwendeten Kategorien und Vorlagen, eine Klassifikation von Seiten und Konzepten vorgenommen (siehe \rr{sec:ressourcenklassifikation} und \rr{sec:konzeptklassifikation}). Eine solche Klassifikation von Konzepten wurde zwar zuvor im Rahmen der \lingo{Named Entity Recognition} beschrieben, aber nicht mit einem Thesaurus kombiniert.
  \item Die Nutzung von Language-Links zur Bestimmung der semantischen Ähnlichkeit zwischen Konzepten wurde erstmals untersucht (siehe \rr{p:finish-relations}). Überhaupt gibt es zwar eine große Zahl von Arbeiten zur Bestimmung von semantischer \emph{Verwandtheit} unter Verwendung der Wikipedia (vergleiche \rr{sec:stand:disambig}), semantische \emph{Ähnlichkeit} wird jedoch kaum behandelt. 
  \item Die Kombination der Daten aus mehreren Wikipedias durch Zusammenfassen äquivalenter Konzepte aus den verschiedenen Sprachen, identifiziert aufgrund ihrer Language-Links, wurde ebenfalls zuvor nicht beschrieben. Lediglich \q{auer2007dnw} nutzt die Language-Links, um Glossen in mehreren Sprachen anzubieten. Dabei dient allerdings die englische Wikipeda als Basis für die Datenstruktur, während WikiWord alle Sprachen gleichberechtigt behandelt. Auch wird die Strukturinformation aus anderen Wikipedias nicht verwendet. In \q{hammwohner:iaw} wird zwar der Abgleich von Kategoriestrukturen verschiedener Wikis mit Hilfe der Language-Links vorgeschlagen, eine Vereinigung der Strukturen wird jedoch nicht betrachtet.
  \item WikiWord berücksichtigt Konzepte, die im Wiki nur als Abschnitte von Artikeln, nicht als eigenständige Artikel, repräsentiert sind (\rr{sec:anker}).  
  \item Außerdem werden Konzepte berücksichtigt, auf die zwar verwiesen wird, die aber keinen eigenen Artikel haben. Obwohl zu solchen Konzepten wenig Informationen vorliegen, können sie \zB zur Indexierung von Dokumenten dennoch nützlich sein. 
  \item Die von WikiWord erstellte Datenstruktur ist konzeptorientiert und abstrahiert weitgehend von den Strukturen der Wikipedia. Insbesondere werden, im Unterschied zu \q{zesch2007aaw}, Kategorien gar nicht direkt und Wiki-Seiten nur als Hilfskonstrukt gespeichert.
  \item Die Bereitstellung einer Abbildung auf RDF/SKOS, wie in \rr{ch:export} beschrieben, erlaubt eine unmittelbare Weiternutzung der erzeugten Daten in bestehenden Systemen zur Verarbeitung von Wissensnetzen. Einen ähnlichen Ansatz verfolgen vor allem \q{GregorowiczKramer2006}. \q{auer2007dnw} bietet zwar auch eine solche Abbildung, allerdings in Hinblick auf die Repräsentation von Konzepteigenschaften und semantisch starken Beziehungen zwischen Konzepten, wie sie typischerweise aus Infoboxen extrahiert werden, nicht in Hinblick auf eine Thesaurus-Struktur. \q{assem2006cts} untersuchen die Repräsentation von Thesauri in SKOS, beschränken sich aber auf manuell gewartete Thesauri wie MeSH.
  \item WikiWord verwendet keine automatische Sprachverarbeitung. Textuelle Inhalte als solches wurden bei der Verarbeitung ignoriert, mit Ausnahme der Extraktion des ersten Satzes als Definition (Glosse) des Konzeptes. Die verwendeten Verfahren sind weitgehend sprachunabhängig. Projektspezifische Muster, die Konventionen und Eigenheiten der betreffenden Wikipedias wiederspiegeln, können über einen Satz von Konfigurationsvariablen angepasst werden. 
  \item Es wurde nicht versucht, konkrete semantische Beziehungen zwischen Konzepten oder Eigenschaften und Werte von Artikelgegenständen zu ermitteln. Die Verarbeitung solcher \nom{strukturierten Daten} ist nicht Gegenstand dieser Arbeit.
\end{itemize}

WikiWord berücksichtigt also eine Vielzahl von Informationsquellen im Wiki-Text, von denen einige bislang völlig oder doch weitgehend übergangen wurden. Dadurch entsteht nicht nur ein Thesaurus, der für gängige Aufgaben wie Indexierung, Disambiguierung und Bestimmung von semantischer Ähnlichkeit und Verwandtheit verwendet werden kann. Die so gewonnenen Daten bieten auch eine reichere Datenbasis, auf die die verschiedenen in der Literatur beschriebenen Verfahren zur Nutzung und Analyse der Wikipedia angewendet werden können.

\section{Ergebnis und Ausblick}

Die Evaluation der mit WikiWord erzeugten Daten zeigt, dass WikiWord eine sehr breite Datenbasis liefert, die den in \rr{ch:anforderungen} definierten Anforderungen entspricht. Die Qualität der verschiedenen extrahierten Daten ist befriedigend bis gut, und in einigen Fällen wurden Verfahren angegeben, mit denen die Präzision der Daten auf Kosten der Abdeckung verbessert werden kann.

Evaluiert wurden insbesondere die Bedeutungsrelation (in \rr{sec:eval-termzuordnung}) sowie die Bestimmung der semantischen Verwandtheit von Konzepten und die automatische Bedeutungszuweisung (in \rr{ch:eval:disambig}). Die Qualität der Zusammenfassung der Konzepte aus unterschiedlichen Sprachen zum Aufbau eines multilingualen Thesaurus wurde ebenfalls betrachtet und für gut befunden (\rr{sec:eval:thesaurus}), hier scheinen aber weitergehende Untersuchungen und insbesondere ein Vergleich mit alternativen Verfahren sinnvoll.

Weitere Forschung verdient auch die Frage, inwieweit die teilweise unklaren oder fehlerhaften Kategoriestrukturen, wie sie in einigen Wikipedias vorliegen, durch geschickte Kombination der Informationen aus mehreren Wikis verbessert werden können, wie in \q{hammwohner:iaw} vorgeschlagen.

Ein Punkt, für den die Evaluation der Praxistauglichkeit noch weitgehend aussteht, ist der Export nach RDF/SKOS (\rr{ch:export}). Zwar bieten diese Standards eine Orientierungshilfe in Bezug darauf, welche Inhalte wichtig sind und in welcher Form sie zu repräsentieren sind \q{skosth2005}, Integrationstests mit einem oder mehreren realen Systemen, die SKOS-Daten verarbeiten können, wären jedoch angezeigt. Projekte, die vermutlich von den von WikiWord bereitgestellten Daten profitieren könnten, und die sich daher für einen Integrationstest anbieten, sind unter anderem DBpedia \qq{auer2007dnw}{DBpedia}, Wortschatz \qq{quasthoff1998pdw}{Wortschatz}, Freebase \q{Freebase} sowie das freie Wörterbuchprojekt OmegaWiki \qq{vanmulligen2006oow}{OmegaWiki}.

Die Frage, inwieweit der von WikiWord erstellte multilinguale Thesaurus als Basis für ein Übersetzungssystem geeignet ist, wäre ebenfalls noch zu untersuchen. Insbesondere eine Evaluation des Nutzens der Informationen aus diesem Thesaurus für ein bestehendes System wäre aufschlussreich.
\later{Web-Interface, Dienst; Kontinuierliche integration}

%\parbox{\textwidth}{
Die vorliegende Diplomarbeit beschreibt Methoden zur Extraktion von Wissen über Beziehungen von Konzepten zueinander sowie über die Bezeichnungen, die für Konzepte verwendet werden. Es wurde ein funktionsfähiger Prototyp entwickelt und auf die Daten einiger Wikipedias angewendet. Es konnte gezeigt werden, dass die beschriebenen Methoden die gestellten Anforderungen befriedigend erfüllen, und es wurde eine Anzahl von Ansätzen für weiterführende Untersuchungen aufgezeigt. Der Autor verbleibt in der Hoffnung, mit dieser Arbeit einen Beitrag dazu geleistet zu haben, Systeme zur automatischen Sprachverarbeitung und \nospell{Information Retrieval} dadurch zu verbessern, dass sie Zugang zu einer großen Menge detaillierten lexikalisch-semantischen Weltwissens erhalten. 
%Denn Wissen ist, in Anlehnung an \person{B. G. Buchanan}, Macht\footnote{Wie bereits eingangs in \rr{ch:grundlagen} zitiert: \txt{\nospell{The power of an intelligent program to perform its task well depends primarily on the quantity and quality of knowledge it has about that task.}} \q{buchanan1982f}}.
\nopagebreak[4]\vspace{1cm}
\begin{quote}
\begin{center}
{\large\it
Wissen ist nicht genug. Wir müssen es anwenden. \\*
\nopagebreak[4]\vspace{0.4cm}
--- \person{J.W. Goethe}
}
\end{center}
\end{quote} 
%}
