Mittlerer Abstand zwischen Wörtern

 

In den bislang vorgestellten Rechenvorschriften wurde davon ausgegangen, daß die Berechnung von Assoziationen auf der Basis der Kookkurrenzhäufigkeiten von Wörtern in Textfenstern einer festgelegten Größe erfolgen soll. Eine alternative Möglichkeit besteht darin, den mittleren Abstand zwischen Stimulus und potentieller Response im Textkorpus zu bestimmen. Wichtig ist hierbei, daß als Abstand zwischen Stimulus und Response ausgehend vom Stimuluswort die Distanz zur nächstgelegenen Auftretensposition der Response gewählt wird. Für Wörter, die häufig zusammen auftreten, müßte sich für den mittleren Abstand ein kleiner Wert ergeben.

Die Formel für die Berechnung des mittleren Abstandes zwischen zwei Wörtern i und j kann wie folgt angegeben werden:

 

Hierbei ist der Abstand zwischen der m-ten Auftretensposition des Wortes i und der nächstgelegenen Auftretensposition des Wortes j. H(i) ist die Korpushäufigkeit des Wortes i.

Abb.  zeigt für die Auftretenspositionen zweier Wörter i und j, welche Abstände bei der Berechnung des mittleren Abstandes eingehen. Für dieses Beispiel ergibt sich nach Gleichung :

  
Abbildung: Auftretenspositionen der Wörter i und j in einem Korpus und für die Berechnung von relevante Abstände.

Die so berechneten mittleren Abstände können nicht direkt als Assoziationsstärken verwendet werden, da sie stark von den Korpushäufigkeiten der beteiligten Wörter abhängen. Der Einfluß der Korpushäufigkeiten kann mit den folgenden beiden Vorgehensweisen unterdrückt werden:

• Vergleich mit einer Referenzgruppe. Hierbei wird der mittlere Abstand zwischen zwei Wörtern der Häufigkeiten H(i) und H(j) mit einem Abstandshistogramm  verglichen, das sich ergibt, wenn die mittleren Abstände aller möglichen Wortpaare berechnet werden, bei denen eines der beteiligten Wörter die Häufigkeit H(i), das andere die Häufigkeit H(j) hat. Diese Vorgehensweise ist analog zu der im Abschnitt  beschriebenen. Die Assoziationsstärke ergibt sich als Prozentsatz der Wortpaare, die einen niedrigeren mittleren Abstand aufweisen.
• Vergleich mit dem theoretischen Erwartungswert. Der sich für zwei Wörter der Häufigkeiten H(i) und H(j) ergebende mittlere Abstand wird mit dem Erwartungswert des Abstandes verglichen, der sich für zwei Wörter dieser Häufigkeiten ergibt, indem der Quotient aus dem tatsächlich gemessenen Wert durch den Erwartungswert gebildet wird. Der Erwartungswert müßte sich unter der Annahme einer Zufallsverteilung der Wörter rechnerisch bestimmen lassen. Auf eine solche analytische Lösung wurde allerdings verzichtet und stattdessen zur Bestimmung des Erwartungswertes eine Simulation mit einem Zufallsgenerator vorgenommen, der Wörter der Häufigkeiten H(i) und H(j) zufällig im Korpus plazierte. Dieser Vorgang wurde so oft wiederholt, bis sich eine ausreichende statistische Absicherung des erhaltenen mittleren Abstandes ergab. Dabei wurde auch die Varianz  der sich ergebenden Werte bestimmt.

Naturgemäß weisen die mittleren Abstände, die sich für Wörter niedriger Korpushäufigkeiten ergeben, eine sehr hohe Varianz auf. Diese hohen Varianzen führen in vielen Fällen zu wenig brauchbaren Simulationsergebnissen. Da sich das Korpus aus einer Vielzahl kurzer Texte in meist zufälliger Reihenfolge zusammensetzt, ist es nicht sinnvoll, mittlere Abstände zu unterscheiden, die größer sind als die Längen der Texte. Eine Möglichkeit, dieses Problem zu lösen, besteht darin, in Gleichung  für ein Maximum festzusetzen. Alternativ wäre es denkbar, kleinen Abständen ein höheres Gewicht zu geben als großen. Diese Überlegungen zielen allerdings letztlich in eine ähnliche Richtung wie ein nach Form und Größe optimiertes Fenster gemäß Abschnitt .