Es lässt sich darüber streiten, ob er früher oder später vor Erreichen des Ziels an eine gläserne Decke stoßen wird. Doch es ist kaum zu leugnen, dass mit einem neuen1 Ansatz rasante Fortschritte in Richtung einer allgemeinen Künstlichen Intelligenz (AGI) erzielt wurden. Diesen Ansatz kennt man unter verschiedenen Namen – bekannt geworden ist er vor allem unter dem Markennamen ChatGPT, allgemeiner auch unter Large Language Models (LLMs), generative artificial intelligence (genAI), oder auch autoregressive models (ARMs) oder eben – inzwischen von mir bevorzugt verwendet, weil der Multimodalität aktueller Modelle gerecht werdend – als Foundation Models (FMs). Erst kürzlich hat OpenAI mit o1-preview und o1-mini zwei neue Modelle für seine zahlenden Kunden (zu denen ich aufgrund meines Jobs zähle) zugänglich gemacht, die bei Aufgaben, mit denen Vorgängermodelle erhebliche Schwierigkeiten hatten, beachtliche Ergebnisse erzielen. Die Reflexion dieser Entwicklung passt recht gut zu einem Impulsvortrag, den ich vor kurzem für unseren Instituts-Retreat vorbereitet hatte, so dass ich hier gerne daran anknüpfen würde.
Der Erfolg von FMs bei der Lösung vieler Aufgaben, die wir bis vor wenigen Jahren ausschließlich Menschen zugetraut hatten, ist beeindruckend und mitunter sicherlich auch beängstigend. Auf der anderen Seite scheiterten sie – zumindest bis vor ein paar Tagen – an relativ simplen Aufgaben, die für die meisten Menschen kein Problem darstellen sollten (bspw. an der Zählung von Buchstaben in Wörtern, Shin & Kaneko 2024) oder an solchen, für die Computer eigentlich geschaffen wurden (bspw. an der Multiplikation größerer Zahlen) oder an solchen, für die logisches Denken substanziell ist (bspw. bei der Berechnung der Anzahl von Geschwistern, Nezhurina et al. 2024).
Die Frage, die sich nun aufdrängt ist: Weshalb ist das so? Nun wäre eine einfache Antwort, dass FMs einfach immer nur das nächste Token für den gegebenen Input vorhersagen und deswegen nichts mit wirklichem Verständnis zu tun hätten. So einfach scheint es aber nicht zu sein, weil sich ja durchaus Verhaltensweisen beobachten lassen, die weit über eine lineare Vorhersagemaschinerie hinausgehen. Helfen uns bei der Beantwortung der Frage vielleicht gewonnene Einsichten in die menschliche Psychologie?
Zwei Systeme des Denkens (Kahneman 2011)
Der Name Daniel Kahneman und seine Unterscheidung zwischen schnellem und langsamem Denken kam mir zwar schon früher unter, wirklich beschäftigt hatte ich mich damit aber noch nicht. Das änderte sich, als ich vor ein paar Monaten die sehr empfehlenswerte Einführung in die Arbeitsweise von LLMs von Andrej Karpathy sah, in der er eben diese Arbeitsweise mit einem der Kahneman’schen Systeme – nämlich dem für schnelles Denken – assozierte. Ein paar Wikipedia-Einträge später hatte ich mir “Thinking, Fast and Slow” in der deutschen Ausgabe auf mein Kindle geladen und mit großem Gewinn gelesen.2
Weil auch ich ja nur semi-informiert über Kahnemans psychologische Arbeit war, sollte ich hier wohl einmal kurz ausholen: Den Unterschied zwischen schnellem und langsamen Denken sieht Kahneman darin begründet, dass sich in der menschlichen Kognition zwei Arbeitsweisen unterscheiden lassen, die er System-1 und System-2 nennt.
- System-1 ist beim Menschen quasi die gesamte Zeit über online, es ist schnell und arbeitet automatisch, was heißt, dass es nicht bewusst gesteuert werden muss. Es basiert auf Emotionen und Intuitionen aus erlernten Mustern und ist dadurch stark abhängig von Kontext und Erfahrung. Daher ist dieses System bei verschiedenen Menschen auch unterschiedlich ausgeprägt bzw. spezialisiert. Die meisten Menschen werden eine schnelle Antwort auf “Was ergibt 2+2?” haben, weil sie das Ergebnis aus einem Speicher abrufen können, ohne eine Rechnung anzustellen. Die Antwort zu “Was ergibt 17*24” dagegen erfordert arithmetische Operationen und Konzentration – Komponenten, über über die das schnelle System-1 nicht verfügt. Ein:e Schachgroßmeister:in hat wahrscheinlich die Fähigkeit, im Vorbeigehen an einem Brett, das sich nahe am Endspiel befindet, die minimale Anzahl von Zügen, die zum Matt nötig sind, vorherzusagen, ohne tiefer darüber nachzudenken. Den meisten anderen Menschen dürfte dies nicht gelingen (mangelnde Erfahrung / Skills). Ein intuitives Urteil darüber, ob ein Sofapreis von 700€ ein Schnäppchen ist, fällt eher positiv aus, wenn kurz vorher nur Sofas über 1200€ gesehen wurden, als wenn die Preise zwischen 500€ und 1000€ lagen (unmittelbare Kontextabhängigkeit, Ankereffekt).
- System-2 ist bei Kahneman komplementär zu System-1. Es arbeitet analytisch, langsam und bewusst. Es wird dann eingesetzt, wenn sorgfältiges Nachdenken, bewusste Entscheidungsfindung und die Lösung komplexer Aufgaben nötig wird. Wir wissen alle, dass dies zwar bisweilen mal Spaß macht, es aber anstrengend ist, weil es viel mehr kognitive Ressourcen erfordert als das sparsame, superschnelle System-1. Dieser Ressourcenverbrauch ist auch tatsächlich gut an körperlichen Signalen (z.B. Pupillenerweiterung, Pulsschlag) erkennbar. Mir ist beim Lesen auch klar geworden, dass ich dieses System-2 bisweilen einsetze, wenn ich Schlafprobleme habe – ich versuche, komplexere Sachverhalte zu durchdringen oder rechne bisweilen auch nur ein wenig vor mich hin. Das beruhigt einerseits den Lärm, dem ich durch das Intuitionsfeuerwerk von System-1 ausgesetzt bin (wenn es ein spannender Tag war oder ein solcher auf mich wartet); andererseits macht mich der Ressourcenverbrach auch müde, so dass das Einschlafen leichter fällt.
Kahneman erklärt das Zusammenspiel der Systeme so, dass System-1 dem bewussten System-2 fortwährend Verhaltens- oder Handlungsvorschläge macht, das dieses entweder durchwinkt (also sich daran hält), zurückweist (um einen neuen zu bekommen) oder selbst tätig wird, wenn es zu dem Schluss kommt, dass der gegenwärtigen Situation mehr Beachtung geschenkt werden müsste. System-2 ist allerdings faul (oder besser: ressourcenschonend – immerhin scheint das evolutionär gesehen ja ganz o.k. gewesen zu sein) und daher schaltet es sich nur ein, wenn es dies auch wirklich für nötig hält.
Ist ein Foundation Model ein System-1 in silico?
Meine kurze Darstellung kann nicht einmal einen Bruchteil der Evidenz anführen, mit der Kahneman seine Hypothese über die beiden Systeme begründet. Auf dieser basiert auch seine Arbeit zur Verhaltensökonomik, für die er 2002 den Wirtschaftsnobelpreis bekam (und die er größtenteils zusammen mit dem vor der Verleihung verstobenen Amos Tversky geleistet hat). Hier sei noch einmal die Lektüre seines Buches empfohlen, die für mich hinsichtlich mehrerer Fragen sehr fruchtbar war (sie erklärt bspw. auch einen guten Teil bestimmter Verhaltensweisen meiner Mitmenschen auf Social Media und im realen Leben, mit denen ich schon länger hadere).
Im Kontext dieses Blogartikels möchte ich aber auf FMs zurückkommen und welche Parallelen sich zwischen ihnen und dem von Kahneman postulierten Sytem-1 ausmachen lassen. Das sind auf den ersten Blick schon eine ganze Reihe: Beide arbeiten schnell und offenbar, ohne dass ein Bewusstsein eingreifen muss, beide basieren auf erlernten Mustern und kommen – je nach Kontext – zu unterschiedlichen Antworten. Beide geben stets spontane, aber bisweilen falsche (herbeihalluzinierte) Antworten und beide sind eher schlecht, was analytisches Denken angeht. Für besonders lesenswert halte ich in diesem Zusammenhang den Beitrag von Gordana Dodig-Crnkovic “How GPT Realizes Leibniz’s Dream and Passes the Turing Test without Being Conscious”, in dem diese Parallelen und mögliche Implikationen weiter ausgeführt werden.
Auch ich halte es für gar nicht so unplausibel, dass wir den Teil des menschlichen kognitiven Apperates, den Kahneman unter System-1 fasst, durch ein in-silico-System wie ChatGPT simulieren können, denn sowohl für die Architektur (Neuronale Netzwerke / Transformer), als auch für das Training / Finetuning (Embeddings / Reinforcent Learning on Human Feedback) wurde die menschliche Kognition zum Vorbild genommen. Vieles von dem, was ChatGPT gut kann, lässt sich mit einem System-1 erklären, das mit allen aufzutreibenden Daten gefüttert und dessen Verhalten durch menschliches Feedback geschliffen wurde (RLHF). Vieles von dem, was ChatGPT falsch macht, ließe sich durch das Fehlen eines bewussten, hinterfragenden, logisch-analytisch arbeitenden System-2 erklären.
Wenn man auf dieser Hypothese aufbauen will, ergeben sich zwei Wege, wie man FMs wie ChatGPT näher an eine allgemeine, mit dem Menschen vergleichbare Intelligenz heranbringen kann: Das eine ist, FMs mit logisch-analytisch arbeitenden Systemen zusammenzubringen (denen man bisher allerdings auch noch kein Bewusstsein einpflanzen konnte). In Richtung solcher hybriden Modelle argumentieren z.B. so bekannte Wissenschaftler wie Joshua Bengio und Stephen Wolfram. Ein Alternativvorschlag kommt aus der konnektionischen Ecke, z. B. dieser hier aus dem Dunstkreis von von Google DeepMind (einer der Päpste des Konnektionismus, James L. McClelland ist Mitautor des Artikels), in dem letztlich behauptet wird, dass man FAs in ihrer bestehenden Architektur auch so etwas wie Logik und analytisches Schließen beibringen könnte, wenn man es ihnen nur lang genug einbläute (weil dann Muster daraus erkannt würden). Die Ansicht mag gewiefte Logiker jetzt überraschen, aber das scheint tatsächlich der Schritt gewesen zu sein, den OpenAI hin zu den neuen Modellen gemacht hat. Wir sollten also mal einem Blick darauf werfen.
Das GPT Modell o1 “strawberry”
Mitte September 2024 veröffentliche OpenAI zwei neue Modelle o1-preview und o1-mini und nannte beide “Strawberry”, womit aufgegriffen wurde, dass Vorgängermodelle Probleme hatten, Buchstaben in den Wörtern zu erkennen und zu quantifizieren (siehe Abb. 1). Ich könnte jetzt hier einen längeren Exkurs über die zweifache Gliederung sprachlicher Zeichen einfügen und weshalb ich diese als essentiell betrachte und weshalb FMs dieses Konzept abgeht und was das für Folgen haben könnte, aber das muss ich auf ein andermal verschieben.

Wenn OpenAI sein Modell nach dem Wort benennt, das Vorgängermodelle ins Straucheln gebracht hat, ist das ja schon einmal eine Ansage, dass das Buchstabenzählproblem behandelt und womöglich gelöst wurde. Tatsächlich ist es mir bisher nicht gelungen, falsche Zählantworten bei den o1-Modellen auszulösen. Interessant wird es, wenn man liest, wie OpenAI das gelöst haben will, nämlich indem sie den Denkprozess verlangsamten / vertieften und dem System die Chance geben, die eigenen Antworten zu hinterfragen und verschiedene Lösungsstrategien zu testen. Dabei wird keine neue analytische Komponente eingesetzt, sondern es wird (salopp ausgedrückt) ein tieferes Selbstgespräch innerhalb des Modells geführt, indem versucht wird, das Problem in möglichst viele Kleinprobleme aufzuteilen, auf dass sich eine Musterlösung für jedes dieser Kleinprobleme im Wissensfundus finden lasse. Das Verfahren wird auch Chain of Thought (CoT) genannt und konnte in Vorläufermodellen auch durch geschicktes Prompting ausgelöst werden. Die knappe Erläuterung zur Umsetzung in o1 hier (Vorsicht, GIF!) finde ich ganz gelungen. Im Kontext der oben genannten Lösungsvorschläge, wie ein fehlendes System-2 zu ersetzen ist wird hier also der Weg gewählt, System-1 einfach mehrfach hintereinander anzuschmeißen und es am Ende die Ergebnisse der Assoziationsketten dann wieder zusammensetzen zu lassen (also das von McClelland mit vorgeschlagene Verfahren).
Tatsächlich beträgt die Wartezeit nach Anfragen an o1 nun nicht mehr ein paar wenige Sekunden(bruchteile), bevor die Antwort angeneriert wird, sondern es kann auch schonmal fast eine Minute dauern. Im Durchschnitt habe ich auf die Antworten zu meinen Fragen (die auch für zahlende Kunden nur sehr begrenzt zur Verfügung stehen) etwa 15 Sekunden gewartet, genaueres zeigen auch die Screenshots unten. Während dieser Wartezeit wird man allerdings durch Schlagwörter darüber informiert, über welchen Teilschritt ChatGPT gerade “nachdenkt”, am Ende kann man sich diese intern generierte Kommunikation (in Auszügen?) auch anschauen. Erste Meldungen überschlugen sich darin, wie viel besser das neue Modell gegenüber den alten performt, zumindest, wenn es um die bekannten Schwachstellen geht. Was mich dann natürlich auch auf den Plan rief.
Tests im Kaninchenbau
Wenn man ein neues Verfahren (bzw. hier: ein neues Modell) erproben will, muss man eigentlich zunächst Tests standardisieren, die man dann Benchmarks nennt. Ein solches Testset ist z.B. ZeroEval von Ben Yuchen Lin, das Wissensverarbeitung, logisches Schließen sowie mathematische und programmiertechnische Fähigkeiten eines Systems bewertet. In einem Leaderboard auf HuggingFace lassen sich die Werte aller möglichen Modelle bezüglich dieser Tests vergleichen und hier sieht man, dass die beiden neuen o1-Modelle von OpenAI deutlich in Führung gegangen sind. Man kann hier vielleicht sogar von einem Quantensprung sprechen, da das Modell auf Platz 3 (Gemini pro von Google) über 15 Prozentpunkte hinter den beiden o1 liegt (65 vs. 80 bzw. 85%), während die Plätze 3-6 weniger als 5 Prozentpunkte trennen (siehe Abb. 2).

Ein weiterer Benchmark ist der vom Keras-Gründer François Collet mit ins Leben gerufene und mit 600.000$ dotierte ARC Price zum Erreichen von allgemeiner künstlicher Intelligenz (AGI). In diesem Vergleich ordnet sich o1 nicht ganz vorne ein, führt aber die Liste vergleichbarer Modelle klar an.
Yuntian Deng konnte zeigen, dass die arithmetischen Operationen bei o1 viel besser als bei den Vorgängern performten, allerdings zum Preis eines horrenden Rechenaufwandes, den Menschen, jedenfalls solche mit Stift und Papier ausgerüstete, nicht benötigen (Abb. 3).

Zusammengenommen sollte es kaum Zweifel daran geben, dass FMs durch die iterative Anwendung einer CoT-Technologie bei Aufgaben, die normalerweise Problemlösekompetenzen erfordern, besser abschneiden. Wie schon angedeutet, wird ein hoher Preis dafür in Kauf genommen – es dauert eine Zeit, bis die Antworten kommen und – was weit schwerer wiegt – in dieser Zeit verbraucht das System unentwegt Energie.
Ich habe mich oben auch darum herumgedrückt, meine Stellung bezüglich der Frage zu beziehen, ob es überhaupt ein lauteres Verfahren ist, Logik durch brachiales Einprügeln von dafür relevanten Mustern zu behandeln. Ich will dies auch hier nicht beantworten, aber vielleicht dadurch Stellung beziehen, dass ich nachfolgend ein paar Tests durchgeführt habe, die sich jenseits genormter (und damit ausgetretener und damit wieder in Muster eingepasste) Pfade befinden, um zu sehen, wie sich o1 darin schlägt – denn manchmal ist es nicht nur wichtig zu beurteilen, was ein System gut kann, sondern woran genau es scheitert (vgl. dazu auch Sher 2023).
Tests im abgelegenen Kaninchenbau
Das Ziegenproblem (Monty Hall)
Oben hatte ich schon einmal angedeutet, dass ich zur Beruhigung meines zur Aufregung neigenden Gemüts gerne Probleme durchdenke. Eines meiner liebsten war einmal das Ziegenproblem, zu dem Gero von Randow auch ein sehr empfehlenswertes Buch geschrieben hat. Es geht um eine Gewinnshow mit einer Moderatorin, einem Kandidaten und drei Toren, hinter denen sich Nieten oder Gewinne befinden. Im Original finden sich hinter zwei Toren Ziegen (die Nieten) und hinter einem ein Auto (der Gewinn, heutzutage mag man das vielleicht andersrum sehen). Der Kandidat soll sich für ein Tor entscheiden, die Moderatorin macht ein anderes auf, hinter dem man eine Ziege meckern sieht. Nun darf der Kandidat entscheiden, ob er bei seinem Tor bleiben oder wechseln will. Es mag vielleicht kontaintuitiv erscheinen, aber ein Wechsel erhöht die Gewinnchancen von 1/3 auf 2/3. Das liegt daran, dass die Moderatorin eine Niete hinter den beiden nicht gewählten Toren eliminiert hat. Wer mir nicht glaubt, lese bei Wikipedia oder gleich bei von Randow weiter.
Wenn es bei Wikipedia steht, weiß es auch ChatGPT, nimmt man richtig an, deshalb habe ich die Fragestellung leicht abgewandelt: Es gibt jetzt nicht nur einen Gewinn, sondern zwei und dafür nur eine Ziege. Die Moderatorin öffnet ein Tor mit Sportwagen. Und jetzt?
ChatGPT 4o (Achtung: Das Vorgängermodell!) gibt genau die Antwort, die man von einem halbinformierten System-1 erwarten würde: Irgendwo hat man schon einmal was von dem Problem gelesen, da muss man aufpassen, die richtige Antwort ist kontraintuitiv und lautet: Wer wechselt gewinnt.

Das ist natürlich Quatsch, weil die Gewinnwahrscheinlichkeit durch meine Modifikation der Fragestellung umgedreht wurde. Bleibt man bei seinem Tor, hat man zu 2/3 ein Auto gewonnen, wechselt man, sinkt diese Wahrscheinlichkeit auf 1/3 (trust me!). Auf Nachfrage sieht das dann tatsächlich auch GPT4o ein, der gesamte Chat lässt sich hier verfolgen.
Was macht das Nachfolgermodell o1-preview daraus? Es überlegt 17 Sekunden, hat zwischendrin auch den richtigen Ansatz (Überprüfen aller alternativen Spielmöglichkeiten), verbaselt den dann aber (probiert nur eine Alternative durch statt drei). Das Ergebnis:

Auch hier korrigiert sich das Modell wieder, wenn man interveniert und noch viel mehr Energie verbraucht, das lässt sich hier im Gesamtchat nachlesen. Es scheint also eine gute Strategie zu sein, auch bei o1 noch einmal nachzuhaken. Doch kommen wir zum nächsten Test:
Verwandschaftslogik
Ein klassische Aufgabe des wissensbasierten Schließens ist die Frage nach der Zahl von Schwestern oder Brüdern bestimmter Personen. Wenn bspw. Kati drei Brüder und eine Schwester hat, hat ihr Bruder Kai zwei Schwestern und zwei Brüder. Für uns ist das total einsichtig, Sprachmodelle vor o1 machten dabei aber eine Menge Fehler (s.o.).
Ich bin direkt mit einer etwas komplexeren Aufgabe eingestiegen, die o1-preview mir tatsächlich auch gelöst hat. Doch auch hier musste ich erst wieder intervenieren:

Man könnte jetzt als Lehre aus meinem bescheidenen Beispielset ziehen, dass man sich eben nicht mit der ersten Antwort zufrieden geben darf, sondern diese wegschmeißen und eine neue erbitten sollte. Ganz so einfach ist es aber leider auch nicht:
Geometrie für Gehirnakrobaten.
Im Gegensatz zu K2, der in diesen Wochen mit seinem Physikstudium anfängt, war ich in der Schule nie eine große Leuchte in Mathematik. Trotzdem nahm ich eine Aufgabe, die ich unter Sonderaufgaben ohne Lösungsangabe im Mathebuch fand, mit auf eine meiner Einschlafübungen. Es ging darum, sich vorzustellen, was übrig bleibt, wenn man von einem Tetraeder an jeder Ecke einen Tetraeder mit halber Kantenlänge entfernt. Damals gab es noch kein Internet und Leute, die ich konsultiert habe, haben sich nicht dafür interessiert. Ich musste also allein im Bett nur in Gedanken dieses Problem lösen, was mir schließlich auch gelang. In weiteren Nächten dachte ich dann auch oft an die Gestalt des entstehenden regelmäßigen Oktaeders, das mir sehr gefiel und das ich inzwischen oft nachgebaut habe.
Dass o1 die Lösung sofort hatte, liegt vielleicht auch daran, dass da oft drüber geschrieben wurde. Allerdings legt der offengelegte CoT-Prozess nahe, dass zumindest der richtige Ansatz gewählt wurde. Aber dann habe ich eine neutrale Nachfrage gestellt (“Bist du sicher?”) und das Unheil nahm seinen Lauf:

Zu allem Überfluss wird damit auch der Denkprozess, der mich bei der ersten Antwort noch fasziniert hatte, vollkommen ad absurdum geführt, da er in einer völligen Quatschantwort resultiert.

Auch hier wieder aus Transparenzgründen der gesamte Chatverlauf, der hintenraus sogar noch ein Stück bizarrer wird, was man nach der zwischenzeitlichen Würfelantwort wirklich nicht hätte annehmen können.
Ein Fazit, auch das noch?
Ja, aber nur kurz. Man möge mir diesen langen Blogartikel verzeihen, vielleicht war er aber ja für die eine oder den anderen amüsant oder lehrreich oder beides. Was am Ende übrig bleiben soll ist nicht, dass ich FMs für dummes Zeug halte, im Gegenteil bin ich noch immer überzeugt davon, dass die Technologie eine der bedeutendsten Entwicklungen seit geraumer (man lasse mich hier bewusst unklar bleiben) Zeit ist.
Was ich tatsächlich wahnsinnig interessant finde, ist die Teil-Anthropomorphisierung von FMs durch die Vergleiche mit dem Kahneman’schen System-1. Ich halte dies auch weiterhin für überaus plausibel, System-1 scheint auch nicht nur menschlichen Lebewesen vorbehalten zu sein.
Was mich dabei mit fasziniert, ist die Abwesenheit des System-2 und die Versuche, es durch trickreiche Prozesse über System-1 zu simulieren, wie es OpenAI mit o1 vollbracht hat. Ich konnte durch meine Tests zeigen, dass dies an mehreren Stellen nicht besonders überzeugend gelingt, auch wenn diese Stellen sich eher in bizarren Gegenden finden, in die mein Geist sich gerne entführen lässt, wenn er Schlaf sucht. Es kann auch gut sein, dass es OpenAI schafft, durch Musterprügel all diese bizarren Ecken auszumerzen (was ich aber nicht glaube). Bemerkenswert ist auch, wie schnell auch die neuen Modelle die Flinte ins Korn werfen und eine gegebene Antwort sofort revidieren, wenn man Zweifel anmeldet. Mein assoziatives System-1 führt das auf die Ergebnisse des von OpenAI inflationär eingesetzten RLHF zurück, aber das müsste mal jemandes System-2 genauer durchdenken, denn dieser Blogpost endet hier. “Bist du sicher?”
Erwähnte Literatur
Dodig-Crnkovic, Gordana (2023). How GPT Realizes Leibniz’s Dream and Passes the Turing Test without Being Conscious. Computer Sciences & Mathematics Forum, 8(1), Article 1. https://doi.org/10.3390/cmsf2023008066
Hermes, Jürgen (2023). Durch neuronale Netze zur Lingua Franca. Wie Algorithmen unsere Kommunikation bestimmen. In Wissen ordnen und entgrenzen? Vom analogen zum digitalen Europa? Bd. Band 141 (S. 47–66). Vandenhoeck & Ruprecht. https://doi.org/10.13109/9783666302312.47
Nezhurina, M., Cipolina-Kun, L., Cherti, M., & Jitsev, J. (2024). Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models (arXiv:2406.02061). https://doi.org/10.48550/arXiv.2406.02061
Kahneman, David (2011). Thinking, Fast and Slow; Farrar, Straus and Giroux: New York, NY, USA.
Lampinen, A. K., Dasgupta, I., Chan, S. C. Y., Sheahan, H. R., Creswell, A., Kumaran, D., McClelland, J. L., & Hill, F. (2024). Language models, like humans, show content effects on reasoning tasks. PNAS Nexus, 3(7), pgae233. https://doi.org/10.1093/pnasnexus/pgae233
Sher, Shlomi (2023, April 21). On Artifice and Intelligence. Medium. https://medium.com/@shlomi.sher/on-artifice-and-intelligence-f19224281bee
Shin, A., & Kaneko, K. (2024). Large Language Models Lack Understanding of Character Composition of Words (arXiv:2405.11357). arXiv. https://doi.org/10.48550/arXiv.2405.11357
- Dieser “neue” Ansatz resultiert auf einer Reihe von Entwicklungen, die ich schon einmal in einem Sammelbandbeitrag skizziert habe, schon kurz vor der Veröffentlichung von ChatGPT. Die Grundlagen von ChatGPT wurden nämlich auch bei der neuralen maschinellen Übersetzung verwendet, um die es in dem Beitrag geht (Hermes 2023). ↩︎
- Die deutsche Übersetzung ist machmal etwas schräg ist. Wenn man englisch genauso schnell wie deutsch lesen kann, sollte man wohl auf das Original setzen, dieses habe ich mir inzwischen aus der Universitätsbibliothek ausgeliehen. ↩︎
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Jürgen Hermes (23. September 2024). Wie man auch GPT4-o1-preview noch ins Stolpern bringt. TEXperimenTales. Abgerufen am 20. März 2025 von https://doi.org/10.58079/12ccn