Wolkige Worte

Vermutlich sind die meisten schon mal über sogenannte "Tag Clouds" gestolpert. Wenn nicht: Flickr hat ein ziemlich gutes Beispiel. Dabei handelt es sich um ein recht intuitives Verfahren, Begriffe und ihre relativen Häufigkeiten z.B. innerhalb einer Website übersichtlich darzustellen. Natürlich musste ich ausprobieren, ob ich sowas nicht auch für mein Blog hinbekomme. Eine klassische tag-basierte Auswertung wäre aber in diesem Fall nicht so spannend gewesen, da die Anzahl der von mir verwendeten tags (bei mir "Kategorien") recht überschaubar ist, und die zugehörige Statistik von Blogger sowieso schon erstellt wird. Aber vielleicht verstecken sich ja im Volltext meiner Beiträge irgendwelche Tendenzen, von denen ich bisher selber nichts geahnt habe. Da es Tag Clouds sowieso nicht mit richtigen Text-Analyse- und Data-Mining-Techniken aufnehmen können, wie sie etwa im Projekt "Wortschatz" der Universität Leipzig demonstriert werden, fand ich es gerechtfertigt, mit einer recht einfachen Heuristik für die Erstellung meiner Wort-Wolke anzufangen. Nachbessern kann man ja immer noch. Das Ergebnis ist nun in der Navigationsleiste meines Blogs zu sehen. Zumindest, wenn man es direkt liest, und nicht über einen RSS-Reader. Und wenn man einen geeigneten Browser verwendet. Firefox und Opera stellen die Wort-Wolke korrekt dar, der Internet Explorer leider nicht. Und die von ihm angezeigte "Fehlermeldung" (die Anführungszeichen sind noch geschmeichelt) trägt nicht im geringsten dazu bei, die Ursache dafür zu finden. Zunächst wollte ich die Auswertung durch ein CGI-Skript machen lassen, das die Wort-Wolke generiert hätte. Das Problem war, das Ergebnis einzubinden. Egal, ob dies über einen inline frame oder per object-Element erfolgt wäre, man hätte im Voraus die Größe der Wolke kennen müssen. Die Methode, per JavaScript die Größe nachträglich anzupassen, gefiel mir überhaupt nicht. Das Ergebnis des CGI-Skripts per XMLHttpRequest (also Ajax) einzubinden, scheiterte an der Same Origin Policy von JavaScript. Also blieb als einzige Möglichkeit, die Sache komplett in JavaScript und Client-seitig zu realisieren. Dabei wird Ajax verwendet, die Rohdaten für die Auswertung zu holen, nämlich einfach den oben schon erwähnten RSS-Feed. Derzeit ist die Verarbeitung nicht ganz so elegant, wie ich mir das gewünscht hätte. Vor allem analysiere ich den reinen Text, und verwende nicht die XML-Struktur der RSS-Daten. Dadurch geht mir z.B. die Verknüpfung eines Begriffs zu seinem Artikel verloren. Daher verweisen die in der Wolke angezeigten Begriffe auf die Suchfunktion von Blogger. Warum dann bei einer Suche auch Artikel angezeigt werden, in denen der Begriff garnicht vorkommt, kann ich aber nicht sagen. Für einen ersten Versuch kann ich aber mit dem Ergebnis leben. Ein kleiner Vorteil ist, dass man die Lösung durch drei Zeilen HTML-Code in jedes andere Blogger-Blog einbauen könnte. Aber es gibt noch diverse Stellen, die verbessert werden müssten. Derzeit werden nur freistehende Worte berücksichtigt, die also rechts und links von Leerzeichen umgeben sind. Dadurch gehen natürlich vor allem Worte in Überschriften verloren, die direkt hinter einem öffnenden Tag stehen. Dann könnten Variationen von Worten zu Wortstämmen zusammengefaßt werden. Ich könnte mir vorstellen, über den longest common prefix die meisten Pluralformen herausfiltern zu können. Optimal wäre es natürlich, Begriffe identifizieren zu können, die aus mehreren Worten zusammengesetzt sind. Das bei mir recht häufig vorkommende "Google Maps" wird in "Google" und "Maps" zerlegt. Derzeit kann ich aber nicht abschätzen, ob das gleichzeitig in JavaScript und halbwegs performant realisiert werden kann. Update: Was verlasse ich mich auch auf die Angaben von SELFHTML bezüglich der Funktion split? Ein Blick in die Spezifikation zeigt, dass man sehr wohl eine regular expression zur Trennung eines Strings verwenden kann. Und wenn man dann noch ein wenig bastelt, dann werden auch die Umlaute mitgenommen. Die Wort-Wolke sollte jetzt etwas realistischer sein. Das Problem mit den Wort-Varianten besteht aber nach wie vor.