Markow-Ketten

In meinem Studium der Psychologie hat ein Buch eine zentrale Rolle gespielt: Ulric Neisser: „Cognitive Psychology“  1967, auf deutsch „Kognitive Psychologie“ 1974. Das Buch hat die kognitive Wende in der Psychologie mit einem Computer-Paradigma eingeleitet, das damals fasziniert hat:  Das Gehirn als Hardware, der Geist als Software. Das Gehirn verarbeitet mit Programmen Daten durch Wahrnehmen, Denken, Erinnern, Begriffsbildung usw.: Eingabe, Speicherung, Abruf. Diese Computermetapher war eine radikale Absage an den Black-Box-Behaviorismus, weil hier geistige Prozesse untersucht werden.

Auf der Seite 321 des Buches wird kurz die Markow-Grammatik dargestellt und als völlig unzutreffend abgelehnt. Der Russe Andrei Andrejewitsch Markow war ein Statistiker, der sich vor allem mit Wahrscheinlichkeitsrechnung befasst hat. 1913 berechnete er Buchstabensequenzen in der russischen Literatur (bei Puschkin) und bewies, dass die Wahrscheinlichkeit für den nächsten Buchstaben stark vom vorherigen Buchstaben abhängt. Beispiel: in der Buchstabenkette „natür…“ ist es sehr wahrscheinlich, dass ein „l“ folgt, aber unwahrscheinlich, dass es ein „w“ ist.

Derartige Wahrscheinlichkeiten kann man auch von Wortfolgen berechnen. Beispiel: Nach „Die Leute…“ kann man z. B. „sind“, „von“, „die“ erwarten, aber kaum „Wagen“, „bin“, „sehr“. Das Prinzip: Ein wahrscheinliche Vorhersage ist von dem vorhandenen Wort aus möglich.

Daraus könnte man eine Grammatik entwickeln, die sogenannte Links-rechts-Grammatik, die Regeln der folgenden Art enthalten würde: Nach „die Leute“ fahre fort mit x y z, aber nicht mit a b c. Intuitiv wird jedem klar werden, dass diese Grammatik aus ein Unzahl komplizierter Regeln bestehen müsste, die kein Mensch je erlernen könnte. Diese sog. Markow-Grammatik wurde deshalb von allen Linguisten abgelehnt.

Aber siehe da: nach dem Prinzip von Markow funktioniert die generative KI: Ein Large Language Model  berechnete die Wahrscheinlichkeit für das nächste Wort ausschließlich basierend auf dem bereits vorhandenen Text. Einziger Unterschied: Nicht das letzte Wort, sondern ein größeres  vorangegangenes Kontextfenster bildet die Basis der Wahrscheinlichkeitberechnung: Der nächste Zustand ist der alte Text plus das neu generierte Wort!

Ein schönes Beispiel, dass Ideen, die zunächst als abstrus abgelehnt werden, später eine unerwartete theoretische oder praktische Bedeutung bekommen können. Wissenschaft schreitet eben nicht linear und kumulativ voran.  (07.08.2026)

2 Responses to Markow-Ketten

  1. SP Ballstaedt 22. August 2026 at 16:12 #

    Ich möchte meinen Satz doch verteidigen. Skinner und die Hard-core-Behavioristen haben tatsächlich innere Prozesse nicht geleugnet, aber sie aus der wissenschaftlichen Forschung ausgeschlossen, da sie nicht untersubjektiv beobachtbar sind. Vielen Dank aber für die Ergänzung!

  2. MN 20. August 2026 at 16:43 #

    Lieber Herr Ballstaedt,

    erlauben Sie mir eine kleine terminologische Anmerkung: Man könnte Ihren Beitrag so lesen, als sei der »Black-Box-Behaviorismus« DER Behaviorismus. Der radikale Behaviorismus Skinners lehnt innere Vorgänge keineswegs ab, sondern die mentalistischen Scheinerklärungen dieser Vorgänge. Die Verhaltensursachen sind hiernach auch bei »privaten« Ereignissen in den Bedingungszusammenhängen der Umwelt zu suchen.

    Tatsächlich ist das LLM ein unbequemer Zeuge für den Kognitivismus, wie er in Neissers Lehrbuch vertreten wird. Denn was ein LLM kann, lernt es mithilfe einer sprachblinden Mechanik zunächst allein aus der Textoberfläche. Die anschließende Feinabstimmung (Reinforcement Learning aus menschlichem Feedback) ist der Sache nach operante Konditionierung in großem Maßstab.

    Herzliche Grüße und vielen Dank für Ihren immer wieder inspirierenden Blog

Schreibe einen Kommentar