\chapter{Idee}
\label{ch:idee}\label{sec:idee}\label{ch:entwurf}

Das zu erstellende Softwaresystem WikiWord soll in effizienter Weise die für einen multilingualen, konzeptorientierten Thesaurus benötigten Relationen aus dem Wiki-Text extrahieren (für eine detaillierte Aufstellung von Anforderungen, siehe \rr{ch:anforderungen}). Die Grundidee ist dabei, die Extraktion im Wesentlichen auf die unterschiedlichen Arten von Hyperlinks, die in Wikipedia-Artikeln vorkommen, zu beschränken (\rr{sec:wikitext:links}): 
\begin{itemize}
  \item Einfache Wiki-Links liefern Informationen über den semantischen Kontext von Konzepten --- sie können unter anderem verwendet werden, um semantische Verwandtheit zu bestimmen (vergleiche \rr{sec:stand:disambig}, \rr{sec:stand:thesaurus} und insbesondere \q{GregorowiczKramer2006}). 
  \item Der Link-Text liefert zudem Informationen über Bezeichnungen, die für das Konzept (das Link-Ziel) verwendet werden (vergleiche \rr{sec:stand:disambig} und besonders \qqq{Mihalcea2007}{Eiron2003at}{Kraft2004at}).
  \item Kategorisierungs-Links liefern die Subsumtionsrelation (vergleiche \rr{sec:stand:disambig} und  \rr{sec:stand:thesaurus}, insbesondere \q{Ponzetto2007tax})
  \item Language-Links verbinden Beschreibungen des gleichen Konzeptes in unterschiedlichen Sprachen --- aus ihnen kann auf die semantische Ähnlichkeit von Konzepten geschlossen werden, sowohl innerhalb einer Sprache als auch zwischen verschiedenen Sprachen. Sie können daher verwendet werden, um einen multilingualen Thesaurus aufzubauen, indem ähnliche Konzepte aus unterschiedlichen Sprachen zu sprachübergreifenden Konzepten zusammengefasst werden (siehe \rr{entwurf:zusammenfuehren}). Dieser Ansatz wurde in den eingangs erwähnten Arbeiten noch nicht untersucht.
\end{itemize}

Neben den Links können noch weitere Eigenschaften betrachtet werden, zum Beispiel die auf einer Seite verwendeten Vorlagen. Sie können zur Klassifikation von Seiten und Konzepten (\rr{sec:ressourcenklassifikation} \bzw \rr{sec:konzeptklassifikation}) verwendet werden, vergleiche \rr{sec:stand:named-entities}. Weiterleitungen und Begriffsklärungsseiten sowie bestimmte \lingo{Magic Words} können verwendet werden, um Konzepten zusätzliche Terme (Bezeichnungen) zuzuweisen (siehe \rr{sec:analyzer:terme} und \rr{sec:analyzer:disambig} sowie \rr{sec:import-aus-wikitext}).

Dieser Ansatz, der sich auf Wiki-Links und andere Markup-Elemente konzentriert, umgeht eine Anzahl von Schwierigkeiten, die bei den klassischen Methoden der automatischen Thesaurusgenerierung auftreten (vergleiche \q{conf/aina/NakayamaHN07}): insbesondere findet keine Analyse natürlicher Sprache statt und selbst auf der lexikalischen Ebene werden problematische Aufgaben wie Stammformreduktion (\lingo{Stemming}) vermieden. Zudem wird anstelle von statistischen Verfahren und Heuristiken vor allem direkt menschliches Wissen genutzt, das über Regeln und Konventionen in den Wikipedia-Seiten kodiert ist (vergleiche \rr{p:wp-features}, \rr{transform:analyse}, \rr{sec:import-aus-wikitext}).

\chapter{Ablauf}
\label{ch:prozess}\label{ch:ablauf}

\begin{figure}[thbp]
  \centering
  \includegraphics[height=7cm]{prozessstruktur} 
  \caption{Transformationen}
  \label{abb:transformationen}
\end{figure}

Das Vorgehen von WikiWord lässt sich als eine Folge von Datentransformationen betrachten: In \rrr[Abb.]{abb:transformationen} ist eine Aneinanderreihung von Datenmodellen und Verarbeitungsschritten dargestellt, in der jeweils ein Transformationsschritt die Daten von einem Modell in ein anderes überführt\footnote{die grafische Aufteilung in mehrere Spalten erfolgt lediglich aus Platzgründen.}. Die Implementation von WikiWord  folgt grob dieser Struktur (\rr{sec:import-achitektur}), in der konkreten Umsetzung wurden allerdings einige der Schritte verschachtelt und parallelisiert (\rr{sec:pipeline}).

Die einzelnen Transformationen sowie die resultierenden Datenmodelle sind im Folgenden beschrieben.

\section{Analyse von Wiki-Text}  
% \begin{figure}[htbp]
%   \centering
\later{fig: Page: Type, Title, Definition, Links, Templates, Kategories...}
%   \caption{Ressourcenmodell}
%   \label{abb:ressourcenmodell}
% \end{figure}

\label{entwurf:analyse}
Die erste Transformation ist die Analyse des Wiki-Textes (\rr{model:wikitext}) aus dem XML-Dump (vergleiche \qq{WM:DOWNLOAD}{MW:XML}). Hierbei werden die relevanten Informationen aus dem Wiki-Text extrahiert und in das \nom{Ressourcenmodell} überführt, das die Wiki-Seite repräsentiert und direkten Zugriff auf Eigenschaften dieser Seite bietet. Dabei entfällt ein Großteil des textlichen Inhalts, die Seite wird als eine ungeordnete Sammlung von \lingo{Features} wie Wiki-Links, Kategorien, Vorlagen und so weiter betrachtet.

\label{entwurf:ressourcenmodell}

Das Ressourcenmodell bietet insbesondere Zugang zu folgenden Eigenschaften der Wiki-Seite:

\begin{itemize}
	\item der \textbf{Titel} der Seite, sowie der Namensraum, zu dem die Seite gehört.
	\item der \textbf{Text} der Seite, in verschiedenen Verarbeitungsstufen, vom unveränderten Wiki-Text bis zu reinem Fließtext ohne Markup, siehe \rr{sec:analyzer:bereinigen}.
	\item alle \textbf{Wiki-Links}, also alle Wiki-Seiten, auf die diese Seite verweist, mitsamt dem Link-Text jedes Verweises. Der Mechanismus zur Extraktion der Wiki-Links ist in \rr{sec:analyzer:links} beschrieben.
	
	Manche Wiki-Links haben eine spezielle Semantik (siehe \rr{sec:wikitext:links}) und werden daher auch von WikiWord gesondert interpretiert. Solche besonderen Wiki-Links definieren:
	\begin{itemize}
		\item die \textbf{Kategorien}, denen die Seite zugeordnet ist.
		\item die \textbf{Language-Links}, die auf der Seite definiert sind.
	\end{itemize}
	\item alle \textbf{Abschnitte} (Überschriften) der Seite.
	\item die \textbf{Vorlagen}, die auf der Seite verwendet werden, samt den Parametern ihrer Verwendung (\rr{sec:wikitext:vorlagen}). Das Verfahren, mit dem die Vorlagen extrahiert werden, ist in \rr{sec:analyse:vorlagen} beschrieben.
\end{itemize}

Diese Informationen werden größtenteils durch einfaches \lingo{Pattern-Matching} auf Basis des Wiki-Textes gewonnen. Auf Grund dieser Basisinformationen werden (ebenfalls im Wesentlichen durch \lingo{Pattern-Matching}) weitere, speziellere Eigenschaften bestimmt:

\begin{itemize}
	\item der Typ der Seite. Diese Eigenschaft bestimmt, wie die Seite weiter verarbeitet wird. Mögliche Typen von Seiten sind: \nom{Artikel}, \nom{Weiterleitung}, \nom{Begriffsklärung}, \nom{Liste} sowie \nom{Kategorie}. Details dieser Klassifikation sind in \rr{sec:ressourcenklassifikation} beschrieben.
	\item der Typ des Konzeptes, das die Seite beschreibt, falls sie ein Artikel ist. Diese Klassifikation hat keinen Einfluss auf die weitere Verarbeitung der Daten, kann aber bei der Verwendung des Thesaurus nützlich sein, insbesondere für die Aufgabe der \lingo{Named Entity Recognition}. Mögliche Typen von Konzepten sind: \nom{Ort}, \nom{Person}, \nom{Organisation}, \nom{Name}, \nom{Zeitpunkt}, \nom{Zahl}, \nom{Lebensform} und \nom{sonstige}. Details der Konzeptklassifikation sind in \rr{sec:konzeptklassifikation} beschrieben.
	\item eine Menge von Termen, die als Bezeichnung für das Konzept direkt aus der Seite selbst, insbesondere aus ihrem Titel, abgeleitet werden können (für Details, siehe \rr{sec:analyzer:terme}).
	\item der erste Satz des Textes der Seite, zur Verwendung als Definition (\nom{Glosse}) für das Konzept, das der Artikel beschreibt. Für das Verfahren zur Extraktion des ersten Satzes, siehe \rr{sec:analyzer:glossen}.	
	\item Bedeutungslinks, also Wiki-Links auf einer Begriffsklärungsseite, die auf eine der möglichen Bedeutungen des zu klärenden Begriffs zeigen. Der Algorithmus zur Extraktion von Bedeutungslinks ist in \rr{sec:analyzer:disambig} beschrieben.
	\item das Ziel der Weiterleitung, falls die Seite eine Weiterleitung ist.
\end{itemize}

Die verwendeten Muster zur Erkennung bestimmter Informationen im Wiki-Text sind zum Teil Wiki-spezifisch. Zu beachten ist, dass sie zum größten Teil nicht \lingo{ad hoc} bestimmt wurden, sondern die vorgegebene Syntax des Wiki-Markups (\rr{ch:wikitext}) oder explizite Konventionen und Richtlinien der einzelnen Wiki-Projekte nachbilden (vergleiche \qqq{WP:ARTIKEL}{WP:KAT}{WP:BKL}). 

Die Verfahren, die verwendet werden werden, um die einzelnen Eigenschaften der Wiki-Seite zu bestimmten, wird in \rr{transform:analyse} beschrieben. Das Ressourcenmodell selbst ist in \rr{model:ressourcenmodell} definiert.

\section{Aufbau des lokalen Datenmodells}
\label{entwurf:import}\label{entwurf:lokales-datenmodell}
 
\begin{figure}[htbp]
  \centering
  \subfigure[Relationen]{
    \includegraphics[height=4cm]{datamodel}
  }
  \qquad \qquad 
  \subfigure[Struktur]{
    \includegraphics[height=4cm]{datenstruktur} 
  }
  \caption{Datenmodell}
  \label{abb:datenmodell}
\end{figure}

Die zweite Transformation ist die Verarbeitung der Informationen aus dem Ressourcenmodell, also der Import in das lokale Datenmodell (das \nom{Konzeptmodell}). In diesem Schritt werden die Informationen aus der Wikipedia als Elemente eines Thesaurus \emph{interpretiert} (\rr{transform:import}). 

Das lokale Datenmodell definiert die Struktur eines monolingualen, konzeptorientierten Thesaurus. Konkrete lokale Datensätze, also konkrete monolinguale Thesauri, werden in dieser Struktur gespeichert. Das Datenmodell ist ein Term-Konzept-Netzwerk (\rrr[Abb.]{abb:datenmodell}), es enthält Beziehungen zwischen Termen und Konzepten (die \nom{Bedeutungsrelation}\index{Bedeutungsrelation}) und zwischen verschiedenen Konzepten (zum Beispiel  \nom{Subsumtion}\index{Subsumtion} oder \nom{Verwandtheit}\index{Verwandtheit}), wie in \rrr[Abb.]{abb:datenmodell}(a) dargestellt. Beziehungen zwischen Termen ergeben sich implizit. Dieses Modell ähnelt den Strukturen, die in der Literatur für ähnliche Zwecke vorgeschlagen wurden, insbesondere \zB in \q {GregorowiczKramer2006} und anderen Arbeiten, die in \rr{sec:stand:thesaurus} vorgestellt wurden. Die Umsetzung dieses Modells als Schema für ein relationales Datenbanksystem ist in \rr{model:lokales-datenmodell} beschrieben. 

Im Einzelnen besteht das Modell aus den folgenden Elementen: 

\begin{description}
 \item[Terme:] Terme (in \rrr[Abb.]{abb:datenmodell}(b) als Kreise dargestellt) sind lexikalische Einheiten: Wörter, Wortformen, Wortgruppen, Phrasen, Namen und so weiter. Jeder Term existiert nur einmal in einem Datensatz (also höchstens einmal pro Sprache). Terme sind \emph{Bezeichnungen} für Konzepte.
 
 \item[Konzepte:] Konzepte (in \rrr[Abb.]{abb:datenmodell}(b) eckige Kästchen) sind logische Einheiten: sie repräsentieren (abstrakte oder konkrete) Dinge. Konzepte sind \emph{Bedeutungen} von Termen.
 
 Zu jedem Konzept werden neben seiner Identität weitere Eigenschaften gespeichert, unter anderem ein Name zur Anzeige in einer Benutzerschnittstelle und der Typ des Konzeptes (wie oben im Abschnitt über das Ressourcenmodell beschrieben), sowie weitere sekundäre Eigenschaften wie ein IDF-Wert (\rr{sec:BuildStatistics}).
 
 \item[Bedeutungsrelation:] Die \nom{Bedeutungsrelation} (in \rrr[Abb.]{abb:datenmodell}(b) als durchgezogene Linien dargestellt) verbindet Terme und Konzepte, zum Beispiel die Terme \someid{a}, \someid{b} und \someid{c} mit Konzept \someid{A}. Dabei können beliebig viele Terme einem Konzept und beliebig viele Konzepte einem Term zugeordnet sein. Die Bedeutungsrelation dient der Überbrückung der \lingo{Semantic Gap} zwischen dem Text als Folge von Wörtern und dem Wissen über Konzepte (siehe dazu auch \q{suchanek2007ycs} und wieder \q{GregorowiczKramer2006}). Die Bedeutungsrelation ist gewichtet, konkret wird angegeben, wie oft welche Bezeichnung für welches Konzept verwendet wurde.

 Die gepunkteten Verbindungen in der Abbildung ergeben sich implizit aus der Bedeutungsrelation: Sie zeigt \nom{Synonymie} zwischen zwei Termen, die beide über die Bedeutungsrelation mit demselben Konzept verbunden sind (zum Beispiel \someid{a} und \someid{b} wegen ihrer Verbindung zu \someid{A}) und \nom{Homonymie} zwischen Konzepten, die über die Bedeutungsrelation mit demselben Term verbunden sind (zum Beispiel zwischen \someid{A} und \someid{C} wegen ihrer Verbindung zu \someid{b} und \someid{c})\footnote{Der Übersichtlichkeit halber wurden nicht alle Beziehungen, die sich so ergeben, in der Abbildung dargestellt.}.
 
 \item[Subsumtionsrelation:] Die \nom{Subsumtionsrelation} (in \rrr[Abb.]{abb:datenmodell}(b) als Pfeil dargestellt) verbindet allgemeinere mit spezielleren Konzepten. Sie ist irreflexiv und antisymmetrisch, sowie konzeptionell transitiv, und bildet auf der Menge der Konzepte einen gerichteten azyklischen Graphen. Idealerweise (aber nicht notwendigerweise) sind alle Konzepte von einer einzigen "`Wurzel"' aus erreichbar. Die konkrete Semantik der Subsumtion bleibt unbestimmt, die Relation beinhaltet so unterschiedliche Beziehungen wie \nom{Abstraktion} (\lingo{subtype}), \nom{Instanziierung} (\lingo{is-a}), \nom{Aggregation} (\lingo{part-of}) und gelegentlich auch \nom{Attribution} (\lingo{property-of}); siehe dazu \qqq{Voss2006tt}{Ponzetto2007tax}{Hammwoener2007Prem} sowie weitere Arbeiten, die in \rr{sec:stand:thesaurus} erwähnt wurden. Diese Relation entspricht der Hyponymiebeziehung zwischen Termen, also der BT/NT-Beziehung nach ISO \q{ISO:2788}.
 
 \item[Verwandtheit und Ähnlichkeit:] Die semantische \nom{Verwandtheit} und \nom{Ähnlichkeit} von Konzepten (in \rrr[Abb.]{abb:datenmodell}(b) eine gestrichelte Linie) ist eine symmetrische Beziehung. Sie ist unter anderem für die automatische \nom{Disambiguierung} von Termen sowie für die Aufgabe der \lingo{Query Expansion} nützlich (vergleiche dazu die Arbeiten, die in \rr{sec:stand:disambig} vorgestellt wurden, insbesondere \q{zesch2007sr} und \q{Strube2006}).
\end{description}

Lokale Datensätze werden in einer relationalen Datenbank abgelegt (siehe \rr{model:lokales-datenmodell}), für die programmatische Verwendung einzelner Konzepte gibt es aber auch eine objektorientierte Repräsentation als \nom{Transferobjekte} der \nom{Datenzugriffsschicht} (siehe \rr{sec:DAO}). Jedes Konzept wird als Objekt dargestellt, das Zugriff auf die Eigenschaften des Konzeptes bietet, unter anderem auf alle Bezeichnungen für das Konzept sowie auf verwandte und untergeordnete Konzepte (\rr{sec:transferobjekte}). 
%Der durch einen lokalen Datensatz repräsentierte monolinguale Thesaurus kann auch direkt zur Weiterverarbeitung in eine externe Repräsentation exportiert werden (siehe \rr{model:thesaurus}).

Die Beziehungen des lokalen Datenmodells werden aus dem Ressourcenmodell aufgebaut, das heißt, die in den einzelnen Ressourcen (Wiki-Seiten) enthaltenen Informationen werden als Beziehungen im lokalen Datenmodell (also im Thesaurus) \emph{interpretiert} und dann als solche gespeichert. Insbesondere werden folgende Interpretationen vorgenommen:

\begin{itemize}
  \item Seiten, die keine Weiterleitungen, Begriffsklärungen, Listen, Kategorien oder andere besondere Seiten sind, werden als \nom{Artikel} betrachtet, das heißt, es wird angenommen, dass sie genau ein Konzept beschreiben. Entsprechend wird für jeden Artikel ein Konzept im lokalen Datensatz angelegt, mit dem Konzepttyp, den das Ressourcenmodell für diese Seite bestimmt hat; das entspricht dem Vorgehen in der Literatur, wie in den Arbeiten in \rr{sec:stand:disambig} und \rr{sec:stand:thesaurus} beschrieben.
  \item die Subsumtionsrelation wird direkt aus den Kategorien abgeleitet, denen eine Seite zugeordnet ist. Dabei wird nicht zwischen Kategorieseiten und Artikeln unterschieden, das heißt, Kategorien sind ebenfalls einfach Konzepte (\rr{p:import:kategorisierung}). Auch das entspricht im Wesentlichen dem, was laut \rr{sec:stand:thesaurus} das übliche Vorgehen ist.
  \item die Verwandtheit von Konzepten wird aufgrund von Querverweisen (Wiki-Links) zwischen Artikeln bestimmt: wenn zwei Artikel sich gegenseitig über Wiki-Links referenzieren, wird davon ausgegangen, dass die Konzepte, die diese Artikel beschreiben, miteinander verwandt sind \q{GregorowiczKramer2006}, siehe \rr{p:finish-relations}.
%   wird aufgrund sekundärer Beziehungen bestimmt (\rr{p:finish-relations}), konkret aufgrund von Querverweisen (Wiki-Links) zwischen Artikeln sowie auf der Basis  von Language-Links (beide in der Abbildung nicht weidergegeben). Auch hier bleibt die konkrete Semantik der Beziehung unspezifiziert
  \item die Ähnlichkeit von Konzepten wird über die Language-Links bestimmt: wenn zwei Artikel über Language-Links denselben Artikel in einer anderen Sprache referenzieren, so werden die Konzepte, die diese beiden Artikel beschreiben, als ähnlich angesehen. Der Grund ist, dass Language-Links immer auf ähnliche (oder, idealerweise, äquivalente) Artikel verweisen \q{WP:INTERLANG}, und die Ähnlichkeitsbeziehung als transitiv und symmetrisch betrachtet wird. Language-Links wurden in \q{hammwohner:iaw} untersucht, der Ansatz, sie zur Bestimmung von semantischer Ähnlichkeit zu verwenden, scheint jedoch noch nicht verfolgt worden zu sein.
  \item die Bezeichnungen (Terme) für ein Konzept werden aus einer Vielzahl von Quellen bestimmt, unter anderem:
	\begin{itemize}
      \item aus dem Titel des Artikels, sowie der Verwendung des \lingo{Magic Words} \wikitext{DISPLAYTITLE}. Letzteres wurde in der Literatur bislang nicht betrachtet.
      \item aus den Titeln von Weiterleitungen, die auf den Artikel verweisen. Weiterleitungsseiten werden von so gut wie allen Arbeiten zur Struktur von Wikipedia betrachtet, vergleiche \rr{sec:stand:disambig} und \rr{sec:stand:thesaurus}.
      \item aus den Titeln von Begriffsklärungsseiten, die auf den Artikel verweisen. Begriffsklärungsseiten werden in der Literatur ebenfalls häufig berücksichtigt, vergleiche \zB \q{Ponzetto:2007}.
      \item aus dem Link-Text von Wiki-Links, die auf den Artikel verweisen. Diese Information wurde bei der Analyse der Wikipedia bislang kaum genutzt (mit der Ausnahme von \q{Mihalcea2007} sowie einigen Arbeiten zur \lingo{Named Entity Recognition}, siehe \rr{sec:stand:named-entities}), obwohl sie für das Information Retrieval sehr wertvoll sein kann (vergleiche \qq{Eiron2003at}{Kraft2004at}).
      \item aus \lingo{Sort-Keys}, die bei der Kategorisierung des Artikels angegeben wurden, sowie der Verwendung des \lingo{Magic Words} \wikitext{DEFAULTSORT}. Diese Quellen für alternative Bezeichnungen wurden in der Literatur bisher nicht untersucht.
    \end{itemize}
\end{itemize}

Die Interpretation von Informationen aus dem Wiki-Text ist in \rr{sec:import-aus-wikitext} näher beschrieben. Nach dem Import der Daten aus den einzelnen Seiten der Wikipedia findet eine Nachbereitung statt (\rr{sec:import-nachbereitung}). Dabei werden insbesondere Weiterleitungen und Kategorisierungs-Aliase aufgelöst (siehe \rr{p:finish-aliases} und \rr{sec:cat-alias}) sowie die Verwandtheit und Ähnlichkeit von Konzepten berechnet (\rr{p:finish-relations}). Das Ergebnis ist ein lokaler Datensatz, der einen monolingualen Thesaurus repräsentiert.
 
\section{Zusammenführen}
% \begin{figure}[htbp]
%   \centering
   \later{make pic}
%   \caption{Globale Struktur}
%   \label{abb:globale-struktur}
% \end{figure}

\label{entwurf:zusammenfuehren}\label{entwurf:globales-datenmodell}\label{p:globale-struktur}

 Die dritte Transformation ist das Zusammenführen der einzelnen lokalen Datensätze zu einem globalen Datensatz: Gruppen von untereinander ähnlichen Konzepten aus unterschiedlichen Sprachen werden zu jeweils einem sprachunabhängigen Konzept vereinigt. Eine solche Methode zum Aufbau eines multilingualen Thesaurus wurde in den eingangs erwähnten Arbeiten nicht beschrieben.
 
 Das globale Datenmodell enthält vor allem Informationen darüber, welche Konzepte aus den einzelnen sprachspezifischen Datensätzen zu einem sprachunabhängigen Konzept zusammengefasst wurden und wie die Beziehungen zwischen den lokalen Konzepten auf die globalen Konzepte abgebildet wurden (siehe \rr{model:globales-datenmodell}). Zusammen mit den lokalen Datensätzen, auf die er sich bezieht, bildet der globale Datensatz eine \nom{Kollektion}, die einen multilingualen Thesaurus repräsentiert.

Jedes Konzept im globalen Datensatz ist eine Menge von lokalen Konzepten, die aus jeder Sprache (höchstens) ein Konzept enthält. Sprachspezifische Eigenschaften (insbesondere Terme und Glossen) werden in dem globalen Datensatz nicht noch einmal abgelegt --- statt dessen werden sie bei Bedarf dem betreffenden lokalen Datensatz entnommen.

Die Hauptaufgabe beim Aufbau des globalen Datensatzes ist es also, Gruppen von Konzepten aus unterschiedlichen Sprachen (also lokalen Datensätzen) zu finden, die sich möglichst ähnlich sind, \bzw idealerweise zueinander äquivalent. Dabei ist die unter Umständen sehr unterschiedliche Granularität und Abdeckung der Wikipedias in den einzelnen Sprachen zu berücksichtigen. Der hierfür verwendete Algorithmus lässt sich wie folgt zusammenfassen:

\begin{enumerate}
  \item Nimm alle Konzepte aus allen Sprachen der Kollektion vorläufig in den multilingualen Thesaurus auf.
  \item Bestimme, welche Konzepte über einen Language-Link direkt auf ein anderes Konzept in dem multilingualen Thesaurus, der ja Konzepte aus unterschiedlichen Sprachen enthält, verweisen. Auf diese Weise werden Paare von ähnlichen Konzepten im multilingualen Thesaurus markiert.
  \item Bestimme, welche Paare von Konzepten sich auf diese Weise \emph{gegenseitig} referenzieren. Da die über einen Language-Link referenzierten Konzepte im Allgemeinen entweder äquivalent oder allgemeiner sind als das betreffende Konzept selbst, ist davon auszugehen, dass zwei Konzepte, die sich gegenseitig auf diese Weise referenzieren, äquivalent sind oder sich zumindest stark ähneln. Dieses Vorgehen ist analog zu der Methode, die \q{GregorowiczKramer2006} folgend zur Bestimmung verwandter Konzepte innerhalb einer Sprache verwendet wurde.
  \item Vereinige Paare solcher Konzepte, wobei alle Eigenschaften und Relationen der beiden Konzepte zusammengefasst werden. Dabei wird mitgeführt, welche Sprachen das vereinigte Konzept abdeckt. Jede Sprache darf in dem resultierenden sprachübergreifenden Konzept höchstens einmal vorkommen. 
  \item Vereinige so lange, bis kein solches Paare von Konzepten mehr vorhanden ist, das vereinigt werden kann. Sind zwei Konzepte zwar durch gegenseitige Language-Links verbunden, aber die Mengen der von ihnen bereits abgedeckten Sprachen überlappen sich, so stehen diese beiden Konzepte in \nom{Konflikt} zueinander und können nicht vereinigt werden. Solche Konzepte sind sich in der Regel sehr ähnlich (siehe auch \rr{sec:eval:thesaurus}).
\end{enumerate}
 
Dieses Verfahren ist in \rr{transform:zusammenfuehren} genauer beschrieben. Auf das eigentliche Zusammenführen folgt auch hier eine Nachbereitungsphase zur Konsolidierung der Daten (\rr{sec:global-nachbreitung}). Dabei werden aufgrund der neu bestimmten Beziehungen zwischen den sprachübergreifenden Konzepten die Verwandtheit und Ähnlichkeit der Konzepte neu berechnet.

\section{Export}
 Die vierte und letzte Transformation ist der Export der lokalen und globalen Datensätze in eine extern weiterverwendbare Form, nämlich das Thesaurus-Modell (siehe \rr{transform:export}). Es repräsentiert die aus der Wikipedia extrahierten Beziehungen in einer standardisierten, für andere Softwaresysteme nützlichen Form, nämlich RDF/SKOS (\rr{model:thesaurus}). Die Modellierung der Thesaurusdaten in RDF/SKOS folgt insbesondere \qqq{GregorowiczKramer2006}{assem2006cts}{skosth2005}.


