Markow-Ketten

In meinem Studium der Psychologie hat ein Buch eine zentrale Rolle gespielt: Ulric Neisser: „Cognitive Psychology“  1967, auf deutsch „Kognitive Psychologie“ 1974. Das Buch hat die kognitive Wende in der Psychologie mit einem Computer-Paradigma eingeleitet, das damals fasziniert hat:  Das Gehirn als Hardware, der Geist als Software. Das Gehirn verarbeitet mit Programmen Daten durch Wahrnehmen, Denken, Erinnern, Begriffsbildung usw.: Eingabe, Speicherung, Abruf. Diese Computermetapher war eine radikale Absage an den Black-Box-Behaviorismus, weil hier geistige Prozesse untersucht werden.

Auf der Seite 321 des Buches wird kurz die Markow-Grammatik dargestellt und als völlig unzutreffend abgelehnt. Der Russe Andrei Andrejewitsch Markow war ein Statistiker, der sich vor allem mit Wahrscheinlichkeitsrechnung befasst hat. 1913 berechnete er Buchstabensequenzen in der russischen Literatur (bei Puschkin) und bewies, dass die Wahrscheinlichkeit für den nächsten Buchstaben stark vom vorherigen Buchstaben abhängt. Beispiel: in der Buchstabenkette „natür…“ ist es sehr wahrscheinlich, dass ein „l“ folgt, aber unwahrscheinlich, dass es ein „w“ ist.

Derartige Wahrscheinlichkeiten kann man auch von Wortfolgen berechnen. Beispiel: Nach „Die Leute…“ kann man z. B. „sind“, „von“, „die“ erwarten, aber kaum „Wagen“, „bin“, „sehr“. Das Prinzip: Ein wahrscheinliche Vorhersage ist von dem vorhandenen Wort aus möglich.

Daraus könnte man eine Grammatik entwickeln, die sogenannte Links-rechts-Grammatik, die Regeln der folgenden Art enthalten würde: Nach „die Leute“ fahre fort mit x y z, aber nicht mit a b c. Intuitiv wird jedem klar werden, dass diese Grammatik aus ein Unzahl komplizierter Regeln bestehen müsste, die kein Mensch je erlernen könnte. Diese sog. Markow-Grammatik wurde deshalb von allen Linguisten abgelehnt.

Aber siehe da: nach dem Prinzip von Markow funktioniert die generative KI: Ein Large Language Model  berechnete die Wahrscheinlichkeit für das nächste Wort ausschließlich basierend auf dem bereits vorhandenen Text. Einziger Unterschied: Nicht das letzte Wort, sondern ein größeres  vorangegangenes Kontextfenster bildet die Basis der Wahrscheinlichkeitberechnung: Der nächste Zustand ist der alte Text plus das neu generierte Wort!

Ein schönes Beispiel, dass Ideen, die zunächst als abstrus abgelehnt werden, später eine unerwartete theoretische oder praktische Bedeutung bekommen können. Wissenschaft schreitet eben nicht linear und kumulativ voran.  (07.08.2026)