\chapter{Daten}
\section{Wiki-Dumps}
\label{daten:eingabe}\label{daten:wikidumps}

\subsection*{Wikipedia-Dumps}

Wikipedia-Dumps \q{MW:XML}, die die Grundlage für die Experimente in \rr{ch:evaluation} bilden, stehen auf den Servern der Wikimedia Foundation zur Verfügung \q{WM:DOWNLOAD}:

\begin{itemize}
  \item Der Dump der aktuellen Artikelversionen der englischsprachigen Wikipedia (\someid{en}) vom 3. Januar 2008, \uref{http://download.wikimedia.org/enwiki/20080103/enwiki-20080103-pages-articles.xml.bz2} (3,2 GB komprimiert, MD5: \hex{c04f8a1474a88ddfa3c6965fc5169208}).
  \item Der Dump der aktuellen Artikelversionen der deutschsprachigen Wikipedia (\someid{de}) vom 20. März 2008, \uref{http://download.wikimedia.org/dewiki/20080320/dewiki-20080320-pages-articles.xml.bz2} (1,1 GB komprimiert, MD5: \hex{28f939fee350eac9c7a98c820fe0140e}).
  \item Der Dump der aktuellen Artikelversionen der französischsprachigen Wikipedia (\someid{fr}) vom 23. März 2008, \uref{http://download.wikimedia.org/frwiki/20080323/frwiki-20080323-pages-articles.xml.bz2} (783,5 MB komprimiert, MD5: \hex{7776cfdd7f237f8522a6606110f155c9}).
  \item Der Dump der aktuellen Artikelversionen der niederländischsprachigen Wikipedia (\someid{nl}) vom 10. März 2008, \uref{http://download.wikimedia.org/nlwiki/20080310/nlwiki-20080310-pages-articles.xml.bz2} (315,0 MB komprimiert, MD5: \hex{2e7e2fb9a3e2d77a68b32d4dc895c9d8}).
  \item Der Dump der aktuellen Artikelversionen der norwegischsprachigen Wikipedia (\someid{no}) vom 11. März 2008, \uref{http://download.wikimedia.org/nowiki/20080311/nowiki-20080311-pages-articles.xml.bz2} (120,9 MB komprimiert, MD5: \hex{f61d04b1505ba97f4f0ee2bc9484105a}).
  \item Der Dump der aktuellen Artikelversionen der Wikipedia in einfachem Englisch (\someid{simple}) vom 16. März 2008, \uref{http://download.wikimedia.org/simplewiki/20080316/simplewiki-20080316-pages-articles.xml.bz2} (22,3 MB komprimiert, MD5: \hex{9f78f72ffc00b73d817df240806fa806}).
  \item Der Dump der aktuellen Artikelversionen der plattdeutschen Wikipedia (\someid{nds}) vom 19. März 2008, \uref{http://download.wikimedia.org/ndswiki/20080319/ndswiki-20080319-pages-articles.xml.bz2} (7,2 MB komprimiert, MD5: \hex{3c3b30ec70c66a8d9bcee1df75bc9427}).
\end{itemize}

Die Inhalte der Dumps stehen unter der \name{GNU Free Documentation License} \q{GFDL}, die Liste der jeweiligen Autoren kann den betreffenden Wikipedia-Seiten entnommen werden.

\subsection*{Thematische Auszüge aus der Wikipedia}
\label{daten:themendumps}
Als übersichtliche Datenbasis für Experimente wurden fünf thematische Auszüge aus jeweils vier bis sechs Wikipedias erstellt. Ziel war es, die Themen so zu wählen, dass die Abdeckung in den einzelnen Wikipedias in etwa vergleichbar ist. Unter \reporef{wikidumps/} sind Dumps für die folgenden Themen abgelegt:

\begin{description}
  \item[\someid{animals}:] Seiten zum Thema \emph{Haustier} (\bzw \emph{Nutztier}). Die englischsprachige Wikipedia fehlt hier, da die entsprechende Kategorie nicht hinreichend abgegrenzt ist. Die norwegischsprachige fehlt ebenfalls, da dort keine entsprechende Kategorie existiert.
  \item[\someid{color}:] Seiten zum Thema \emph{Farbe}. Bei diesem Thema ist die Korrelation der Artikel recht gut, die in den verschiedenen Wikipedias behandelten Konzepte entsprechen einander weitgehend.
  \item[\someid{logic}:] Seiten zum Thema \emph{Logik}. Welche Konzepte zum Thema Logik gehören, differiert stark zwischen den Projekten.
  \item[\someid{mountains}:] Seiten zum Thema \emph{Berge}. Hier zeigt sich ein starker geografischer Bias: es werden vor allem Berge behandelt, die sich im Sprachgebiet der betreffenden Wikipedia befinden.
  \item[\someid{popes}:] Seiten zum Thema \emph{Päpste}. Ähnlich wie bei Farben ergibt sich hier eine gute Abgrenzung und starke Korrelation zwischen den Wikis.
\end{description}

Wie bereits oben erwähnt stehen die aus der Wikipedia stammenden Inhalt unter der \name{GNU Free Documentation License} \q{GFDL}.

\section{Datenbank-Dumps}
\label{daten:db-dumps}

\subsection*{SQL-Dumps von Thesauri für thematische Auszüge}
Für die Thesauri, die aus den oben genannten thematischen Auszügen (\rr{daten:themendumps}) erzeugt wurden, stehen unter \reporef{sqldumps/} SQL-Dumps zur Verfügung:

\begin{description}
  \item[\someid{animals}:] \someid{wikiword-animals.sql.bz2},    9.4\thinspace{}MB
  \item[\someid{color}:]   \someid{wikiword-color.sql.bz2}, 4.4\thinspace{}MB
%  \item[\someid{wikiword-full.sql.bz2}:] 	  11.0G
  \item[\someid{logic}:]     \someid{wikiword-logic.sql.bz2}, 	  19.7\thinspace{}MB
  \item[\someid{mountains}:] \someid{wikiword-mountains.sql.bz2}, 58.2\thinspace{}MB
  \item[\someid{popes}:]     \someid{wikiword-popes.sql.bz2},      7.9\thinspace{}MB
\end{description}

Die Konventionen für die Tabellennamen sowie die Struktur der einzelnen Tabellen sind in \rr{ch:datenbank} beschrieben.
  	
\subsection*{SQL-Dumps für die aus der Wikipedia erstellten Thesauri}
\label{daten:db-dumps:wikipedia}
Dieselben Daten stehen noch einmal unter \uref{http://aspra27.informatik.uni-leipzig.de/~dkinzler/sqldumps/} zur Verfügung, dort ist jedoch auch die Datei \someid{wikiword-full.sql.bz2} enthalten: sie ist 11\thinspace{}GB groß und enthält die Thesaurus-Daten, die aus den Wikipedias gewonnen wurden. Alle Thesaurusdaten stehen berechtigten Benutzern auch in der Datenbank \someid{dkinzlerdb} auf \domain{aspra5.informatik.uni-leipzig.de} zur Verfügung. Die Konventionen für die Tabellennamen sowie die Struktur der einzelnen Tabellen sind in \rr{ch:datenbank} beschrieben. In der Datenbank befinden sich zum Beispiel die folgenden Tabellen:

\begin{description}
  \item[\sqlid{full_de_*}] sind die Tabellen, die den monolingualen Thesaurus enthalten, der aus der deutschsprachigen Wikipedia extrahiert wurde (Datensatz \someid{de} in der Kollektion \someid{full}). Die Tabelle \sqlid{full_de_meaning} zum Beispiel enthält die Bedeutungsrelation dieses Thesaurus, sie assoziiert Konzepte mit ihren Bezeichnungen.
  \item[\sqlid{full_en_*}] sind die Tabellen, die den monolingualen Thesaurus enthalten, der aus der englischsprachigen Wikipedia extrahiert wurde (Datensatz \someid{en} in der Kollektion \someid{full}). Die Tabelle \sqlid{full_en_broader} zum Beispiel enthält die Subsumtionsrelation dieses Thesaurus, sie setzt allgemeinere mit spezielleren Konzepten in Beziehung.
  \item[\sqlid{full_thesaurus_*}] sind die Tabellen, die den multilingualen Thesaurus enthalten, der aus allen monolingualen Thesauri in der Kollektion erstellt wurde (Datensatz \someid{thesaurus} in der Kollektion \someid{full}). Die Tabelle \sqlid{full_thesaurus_relation} zum Beispiel enthält verschiedene assoziative Beziehungen zwischen Konzepten, zum Beispiel Ähnlichkeit (in den Feldern \sqlid{langmatch} und \sqlid{langref}) sowie Verwandtheit (im Feld \sqlid{bilink}).
  \item[\sqlid{full_top3_*}] sind die Tabellen, die den multilingualen Thesaurus enthalten, der aus den Thesauri \sqlid{en}, \sqlid{de} und \sqlid{fr} erstellt wurde (Datensatz \someid{top3} in der Kollektion \someid{full}). Die Tabelle \sqlid{full_top3_degree} zum Beispiel enthält verschiedene Scores und Rangangaben, insbesondere in Bezug auf Knotengrade.
\end{description}

\uniDataWarning

\section{RDF-Dumps}
\label{daten:thesauri}\label{ch:daten:RDF}\label{sec:wikiword.rdf}

Die Thesauri, die zur Erprobung von WikiWord und für die in \rr{ch:evaluation} beschriebene Evaluation erzeugt wurden, stehen auch als RDF-Dateien zur Verfügung. Die Repräsentation der Thesauri als RDF ist in \rr{ch:export} beschrieben, die Dateien sind im \lingo{Turtle}-Format \q{Turtle} serialisiert und mit \lingo{BZip2} komprimiert.

Die Dateinamen geben wieder, mit welchen Optionen für \cli{ExportRdf} die Dumps erzeugt wurden: Dateien mit der Endung \someid{ww.n3.bz2} wurden mit der Default-Einstellung, also unter Verwendung des WikiWord-Vokabulars und ohne Cutoff, erzeugt. \someid{ww2.n3.bz2} verwendet einen Cutoff-Wert von 2, \someid{skos.n3.bz2} wurde ohne Cutoff erzeugt und verwendet nur das SKOS-Vokabular.

Das RDF-Schema \q{W3C:RDFS} für das WikiWord-Vokabular mit der URI \uref{http://brightbyte.de/vocab/wikiword} ist unter \reporef{WikiWord/WikiWord/src/main/wikiword.rdf} verfügbar.


\subsection*{RDF-Dumps von Thesauri für thematische Auszüge}
Für die Thesauri, die aus den oben genannten thematischen Auszügen (\rr{daten:themendumps}) erzeugt wurden, stehen unter \reporef{rdfdumps/} RDF-Dumps zur Verfügung. 

\subsection*{RDF-Dumps für aus der Wikipedia erstellten Thesauri}
\label{daten:rdf:wikipedia}
Dieselben Daten stehen noch einmal unter \uref{http://aspra27.informatik.uni-leipzig.de/~dkinzler/rdfdumps/} zur Verfügung, dort sind jedoch auch die RDF-Dateien für die Thesauri enthalten, die aus den Wikipedias gewonnen wurden. Die Dateinamen dieser Dumps beginnen mit \someid{full_}, gefolgt vom Namen des Korpus \bzw Thesaurus: 

\begin{itemize}
  \item Monolinguale Thesauri: \someid{full_en_}, \someid{full_de_}, \someid{full_fr_}, \someid{full_nl_}, \someid{full_no_}, \someid{full_nds_} und \someid{full_simple_} sind die Präfixe für die Thesauri, die direkt aus den entsprechenden Wikipedias erstellt wurden.
  \item Multilinguale Thesauri: \someid{full_thesaurus_} ist der Präfix für den Thesaurus, der aus allen oben genannten lokalen Thesauri erstellt wurde; \someid{full_top3_} ist der Präfix für den Thesaurus aus den drei größten Wikipedias (\someid{en}, \someid{de}, \someid{fr}) und \someid{full_top5_} für den Thesaurus aus den fünf "`reifen"' Wikipedias aus der obigen Liste(\someid{en}, \someid{de}, \someid{fr}, \someid{nl}, \someid{no}). Die RDF-Dumps der multilingualen Thesauri sind jeweils zwischen 900 und 1\thinspace300 Megabyte groß.
\end{itemize}

\uniDataWarning

\subsection*{Beispiele für RDF-Daten}
\label{sec:rdf-beispiele}

Ein Beispiel für die Darstellung eines Konzeptes, nämlich \wwconcept{Karpfen}, mit Hilfe von RDF/SKOS und dem WikiWord-Vokabular: 

\lstset{language=bash,showspaces=false,showtabs=false}
\lstset{numbers=none}
{\scriptsize
\begin{lstlisting}
@base <http://brightbyte.de/vocab/wikiword/concept/from/http://de.wikipedia.org/wiki/> .
@prefix : <http://brightbyte.de/vocab/wikiword/concept/from/http://de.wikipedia.org/wiki/> .
@prefix dewiki: <http://de.wikipedia.org/wiki/> .
@prefix skos: <http://www.w3.org/2004/02/skos/core#> .
@prefix ww: <http://brightbyte.de/vocab/wikiword#> .
@prefix wwct: <http://brightbyte.de/vocab/wikiword/concept-type#> .

:Karpfen rdf:type skos:Concept ;
	skos:altLabel "Cyprinus carpio"@de ;
	skos:altLabel "Karpfen"@de ;
	skos:altLabel "Karpfens"@de ;
	skos:altLabel "Lederkarpfen"@de ;
	skos:altLabel "Nacktkarpfen"@de ;
	skos:altLabel "Schuppenkarpfen"@de ;
	skos:altLabel "Spiegelkarpfen"@de ;
	skos:altLabel "Wildkarpfen"@de ;
	skos:altLabel "Zeilkarpfen"@de ;
	skos:definition "Der Karpfen ist eine Fischart aus der Familie der Karpfenfische."@de ;
	skos:definition dewiki:Karpfen ;
	skos:inScheme <http://brightbyte.de/vocab/wikiword/dataset/*/animals:de> ;
	skos:broader :Haustier ;
	skos:broader :Karpfenartige ;
	skos:broader :Speisefisch_und_Meeresfrucht ;
	ww:displayLabel "Karpfen"@de ;
	ww:idfRank 16210 ;
	ww:idfScore 7.77359446736019 ;
	ww:inDegree 8.0 ;
	ww:inRank 772 ;
	ww:lhsRank 16204 ;
	ww:lhsScore 0.293862558415189 ;
	ww:linkDegree 77.0 ;
	ww:linkRank 111 ;
	ww:outDegree 69.0 ;
	ww:outRank 82 ;
	ww:similar :Koi ;
	ww:type wwct:LIFEFORM .
\end{lstlisting}
}

% \subsection*{Schafe, deutsch, SKOS}
% \later{monoling, skos}
% 
% \subsection*{Schafe, multilingual, WikiWord-RDF}
% \later{multiling, ww}
% 
% \subsection*{Schafe, multilingual, SKOS}
% \later{multiling, skos}

\section{Bewertungsdaten und Statistiken}
\label{daten:survey}\label{daten:stats}

Zur Evaluation von WikiWord wurden verschiedene Stichproben (\lingo{Batches}) gewählt und dann einzelne Eigenschaften und Aspekte der Elemente in den Stichproben manuell bewertet. Diese Bewertungen wurden für die statistische Auswertung in \lingo{Survey}-Tabellen gespeichert. Diese stehen in \reporef{sqldumps/} als Tab-separierte Liste (\nom{TSV}) mit Namen der Form \cli{*\_survey.tsv} zur Verfügung. Die einzelnen Stichproben und Bewertungen sind im Folgenden beschrieben.

Alle Survey-Tabellen haben die folgenden Felder:
%timestamp	concept	batch	concept_name	value	seq	property	assessment
\begin{description}
  \item[\sqlid{timestamp}:] Zeitpunkt, zu dem die Bewertung vorgenommen wurde.
  \item[\sqlid{batch}:] Name der Stichprobe oder des Satzes von Bewertungen.
  \item[\sqlid{seq}:] Sequenznummer der Bewertung innerhalb des Satzes.
  \item[\sqlid{property}:] Bewertete Eigenschaft.
  \item[\sqlid{value}:] Bewerteter Wert, wie von WikiWord vorgegeben.
  \item[\sqlid{assessment}:] Bewertung. Die möglichen Werte sind je nach bewerteter Eigenschaft unterschiedlich.
\end{description}

Die einzelnen Survey-Tabellen können zusätzliche Felder haben, die die Einträge in der Bewertungstabelle mit Einträgen in der Datenstruktur von WikiWord verbinden.

\subsection*{Bewertung der Konzepteigenschaften: \sqlid{concept_survey}}
\label{daten:concept_survey}\label{daten:eval-termzuweisung}

Die Tabelle \sqlid{concept_survey} dient der Erhebung von Bewertungen von Konzepteigenschaften, wie sie in \rr{ch:eval-konzepte} besprochen wurden. Sie hat die folgenden zusätzlichen Felder:
\begin{description}
  \item[\sqlid{concept}:] Die ID des bewerteten Konzeptes, als Verweis in die Tabelle \sqlid{concept} (\rr{sec:concept-table}).
  \item[\sqlid{concept_name}:] Der Name des bewerteten Konzeptes, als Verweis in die Tabelle \sqlid{concept}.
\end{description}

In dieser Tabelle befinden sich für lokale Datensätze Bewertungen für die folgenden Eigenschaften: 

\begin{description}
  \item[\someid{terms}:] Bewertung der Termzuordnung, wie in \rr{sec:eval-termzuordnung} besprochen. Die möglichen Bewertungen sind dort aufgezählt.
  \item[\someid{type}:] Bewertung der Termzuordnung, wie in \rr{sec:eval-klassifikation} besprochen. Die möglichen Bewertungen sind dort aufgezählt.
  \item[\someid{gloss}:] Bewertung der Termzuordnung, wie in \rr{ch:eval-glossen} besprochen. Die möglichen Bewertungen sind dort aufgezählt.
  \item[\someid{broader} und \someid{narrower}:] Bewertung der Termzuordnung, wie in \rr{sec:eval-subsumtion} besprochen. Die möglichen Bewertungen sind dort aufgezählt.
  \item[\someid{related} und \someid{similar}:]  Bewertung der Termzuordnung, wie in \rr{sec:eval-verwandtheit} und \rr{sec:eval-aehnlichkeit} besprochen. Die möglichen Bewertungen sind dort aufgezählt.
\end{description}

Konkret sind diese Informationen in den Dateien \cli{full\_de\_concept\_survey.tsv} (für den deutschsprachigen Thesaurus) und \cli{full\_en\_concept\_survey.tsv} (für den englischsprachigen Thesaurus) enthalten, die unter der oben genannten URL verfügbar sind.

\label{daten:concept_survey:merging}Für globale Datensätze dagegen wird nur eine Eigenschaft von Konzepten bewertet: 
\begin{description}
  \item[\someid{merging}:] Bewertung der Konzeptzusammenfassung, wie in \rr{sec:eval:thesaurus} besprochen. Die möglichen Bewertungen sind: 
	\begin{description}
	  \item[\someid{OPTIMAL}:] Bestmögliche Kombination von sprachspezifischen Konzepten.
	  \item[\someid{FUZZY}:] Bestmögliche Kombination von sprachspezifischen Konzepten, enthält aber Konzepte, die nur "`fast"' zu den anderen passen.
	  \item[\someid{LONE}:] Das globale Konzept besteht nur aus einem einzigen lokalen Konzept, und es gibt auch keine Kandidaten für eine Vereinigung (also keine ähnlichen Konzepte).
	  \item[\someid{LACKING}:] Die Kombination von sprachspezifischen Konzepten ist korrekt, es wurden aber ähnliche Konzepte übergangen, die mit aufgenommen werden sollten.
	  \item[\someid{BAD}:] Die Menge von sprachspezifischen Konzepten enthält mindestens ein Konzept, das falsch zugeordnet wurde und nicht zu den anderen passt.
	\end{description}
\end{description}

Konkret sind diese Informationen in der Datei \cli{full\_thesaurus\_concept\_survey.tsv} enthalten, die unter der oben genannten URL verfügbar ist.

\subsection*{Bewertung der Analyse von Begriffsklärungsseiten: \sqlid{resource_survey}}
\label{daten:resource_survey}

Die Tabelle \sqlid{concept_survey} dient der Erhebung von Bewertungen von Ressourceneigenschaften, wie sie in \rr{ch:eval-bkl} besprochen wurden. Sie hat das folgende zusätzliche Feld:

\begin{description}
  \item[\sqlid{resource_name}:] Der Name der bewerteten Wiki-Seite, als Verweis in die Tabelle \sqlid{resource} (\rr{sec:resource-table}).
\end{description}

Für die Evaluation der Analyse von Begriffsklärungsseiten wurde die Eigenschaft \someid{link} bewertet, die angibt, ob ein Wiki-Link auf der Begriffsklärungsseite auf eine der Bedeutungen der Begriffsklärung zeigt und ob dies korrekt erkannt wurde. Die möglichen Bewertungen sind in \rr{ch:eval-bkl} definiert.

Konkret sind diese Informationen in den Dateien \cli{full\_de\_resource\_survey.tsv} (für den deutschsprachigen Thesaurus) und \cli{full\_en\_resource\_survey.tsv} (für den englischsprachigen Thesaurus) enthalten, die unter \reporef{sqldumps/} verfügbar sind.

\subsection*{Bewertung der automatischen Disambiguierung und Bestimmung der semantischen Verwandtheit}
\label{daten:relatedness_survey}\label{daten:concept-relatedness-eval}

Die Tabelle \sqlid{relatedness_survey} dient der Bewertung von Bedeutungszuweisungen und Verwandtheitswerten, wie sie in \rr{ch:eval:disambig} besprochen wurden. Sie hat die folgenden zusätzlichen Felder:

\begin{description}
  \item[\sqlid{term_a} und \sqlid{term_b}] sind die beiden Terme, deren Verwandtheit bestimmt werden soll.
  \item[\sqlid{concept_a} und \sqlid{concept_b}] sind die Konzepte, die den beiden obigen Termen zugeordnet wurden, manuell oder automatisch. Darf auch \sqlid{NULL} sein, falls ein Konzept nicht gefunden wurde.
  \item[\sqlid{is_nn}] ist 1, falls beide Terme Substantive sind. Paare von Substantiven werden bei der Evaluation (auch) getrennt betrachtet.
  \item[\sqlid{found}] ist 1, falls für beide Terme Konzepte gefunden wurden.
  \item[\sqlid{relatedness}] ist ein Wert für die Verwandtheit der beiden Terme \bzw der beiden Konzepte, nach irgendeinem Bewertungsverfahren, auf irgendeiner Skala.
  \item[\sqlid{score}] ist eine normierte Version des Werte im Feld \sqlid{relatedness}: 
  \nospell{$r' \gets \frac{r - \bar{r}} / \sigma_r $}. Vom Originalwert wird also der Mittelwert abgezogen und das Ergebnis durch die Standardabweichung geteilt. So ergeben sich Werte, die unabhängig von der Bewertungsskala und einer eventuellen systematischen Verzerrung direkt verglichen werden können, zumindest bezüglich ihres Vorzeichens, das angibt, ob die Verwandtheit zweier Terme \bzw Konzepte für "`überdurchschnittlich"' oder "`unterdurchschnittlich"' befunden wurde.
\end{description}

Die Evaluation des in \rr{sec:verwandtheit-zwischen-konzepten} vorgestellten Verfahrens zur automatischen Disambiguierung und Bestimmung der semantischen Verwandtheit wurde auf der Basis eines Vergleichsdatensatzes durchgeführt, der von \name{Zesch} und \name{Gurevych} erstellt wurde: Der Datensatz \someid{ZG222}\footnote{Verfügbar unter \uref{http://www.ukp.tu-darmstadt.de/data/semRelDatasets}.} \q{zesch2006acd} enthält 222 Wortpaare, die von 24 Probanden in Hinblick auf ihre semantische Verwandtheit auf einer Skala von 0 bis 4 bewertet wurden.

Die folgende Tabelle zeigt, was für Bewertungssätze (\lingo{Batches}) auf dieser Basis erstellt wurden:

\begin{description}
  \item[\someid{ZG222}] enthält die Originaldaten aus \q{zesch2006acd}, lediglich das \sqlid{score}-Feld wurde berechnet. Dieser Satz enthält keine Bedeutungszuweisung, \sqlid{concept_a} und \sqlid{concept_b} sind leer.
  \item[\someid{ZG222-manual}] enthält manuelle Konzeptzuweisungen zu den Termen in \someid{ZG222}, vorgenommen durch den Autor. Diese Zuweisungen sollten möglichst denen ähnlich sein, die von den Probanden bei der Erstellung von \someid{ZG222} implizit vorgenommen wurden. Ob dies gelungen ist, ist allerdings kaum zu prüfen. Dieser Umstand wurde in \rr{p:zg222-implizite-konzepte} noch näher betrachtet.
  \item[\someid{ZG222-manual-concepts-*}] sind Datensätze, die die semantische Verwandtheit der manuell gewählten Konzepte enthalten, berechnet mit unterschiedlichen Parametern (siehe unten).
  \item[\someid{ZG222-coherence-*}] sind Datensätze, in denen die Bedeutungszuweisung aufgrund einer Maximierung der Verwandtheit der Konzepte (\nom{Kohärenz}), bestimmt unter Verwendung unterschiedlicher Parameter, durchgeführt wurde (siehe \rr{sec:auto-disambig}). 
  \item[\someid{ZG222-popularity-*}] sind Datensätze, in denen immer die meist verwendete Bedeutung für jeden Term verwendet wurde, und dann die Verwandtheit der Konzepte unter Verwendung unterschiedlicher Parameter bestimmt wurde. 
\end{description}

Die Parameter, die zur Bestimmung der semantischen Verwandtheit von Konzepten verwendet wurden, sind in den Namen der Datensätze wiedergegeben:

\begin{description}
   \item[\someid{*-cosine}] sind Datensätze mit Verwandtheitswerten, die unter Verwendung des Kosinus-Maßes zum Vergleich der Featurevektoren der beiden Konzepte berechnet wurden.
   \item[\someid{*-tanimoto}] sind Datensätze mit Verwandtheitswerten, die unter Verwendung einer gewichteten Tanimoto-Ähnlichkeit (\rr{sec:verwandtheit-zwischen-konzepten}) zum Vergleich der Featurevektoren der beiden Konzepte berechnet wurden.
   \item[\someid{*-weighted-*}] sind Datensätze, bei denen die Einträge in den Featurevektoren für die Bestimmung der Verwandtheit nach IDF- \bzw LHS-Werten der Konzepte gewichtet wurden. Die Ergebnisse diese Verfahrens sind durchweg schlechter als die, die mit ungewichteten Featurevektoren erzielt wurden. Daher wurden diese Daten in \rr{sec:verwandtheit-zwischen-konzepten} nicht weiter erwähnt.
   \item[\someid{*-unweighted-*}] sind Datensätze, bei denen die Einträge in den Featurevektoren für die Bestimmung der Verwandtheit ohne Gewichtung vorgenommen wurden.
   \item[\someid{-pop=\textit{p}-}] sind Datensätze, bei denen bei der Bestimmung der Verwandtheit der Konzepte die Frequenz berücksichtigt wurde, mit der der betreffende Term für dieses Konzept verwendet wurde. \var{p} ist also der \lingo{Popularitäts-Bias}, wie in \rr{sec:maximierung-der-kohaerenz} beschrieben.
\end{description}

Dateien mit verschiedenen Kombinationen dieser Eigenschaften stehen in \reporef{sqldumps/} zur Verfügung.

\section{Daten für Grafiken und Tabellen}
\label{daten:grafiken}\label{daten:tabellen}

Die Daten, die für die Erstellung von Grafiken und Tabellen in dieser Arbeit (insbesondere im Evaluationsteil) verwendet wurden, stehen unter \reporef{WikiWord/WikiWordThesis/Diplomarbeit/Daten/} zur Verfügung. Die folgenden Datenformate wurden verwendet:

\begin{description}
  \item[\someid{R}:] Skriptdatei für GNU-R \q{GNU-R}. Solche Skripte werden verwendet, um eine Grafik im PDF-Format zu erzeugen, die im Allgemeinen bis auf die Dateiendung denselben Namen trägt. Als Datenbasis wird eine \someid{*.data}-Datei verwendet. 
  
  \item[\someid{data}:] Tabellen im TSV-Format (\lingo{Tab-Separated Values}), also als Textdateien, wobei Zeilen der Tabelle als Textzeile in der Datei gespeichert sind und die einzelnen Werte durch Tabulatoren (ASCII-Code 0x09) getrennt sind. Texte sind in UTF-8 kodiert. 
  
  \item[\someid{tsv}:] Ebenfalls Tabellen im TSV-Format, wie oben beschrieben. Allerdings enthalten diese Dateien zum Teil kein "`reines"' TSV: sie können TeX-Markup enthalten sowie Hinweise auf horizontale Trennlinien in der Form von Zeilen, die nur eine Folge von "`{--}\thinspace{--}"' enthalten. Solche Dateien werden mit Hilfe des Skriptes \cli{tsv2tex}, das beim Rendern dieses Dokumentes automatisch angesprochen wird, in TeX-Dateien umgewandelt. 
\end{description}

