Kategorien
Artikel

Lehre am Puls der Zeit: Sprachmodelle

Nächste Woche startet (bizarrerweise wieder einmal parallel zu den Osterferien) das Sommersemester an den Universitäten in NRW und durch eine Umstellung unseres Studienplans, speziell der Inhalte des computerlinguistischen Anteils, unterrichte ich das erste Mal seit 20 Jahren (oh mein Gott!) nicht den Kurs “Computerlinguistische Grundlagen Teil 2”, sondern stattdessen eine “Einführung in die Statistik”. Wie in den letzten 7 Jahren auch, werde ich wieder einer der Gastgeber:innen des Digital Humanities Kolloquium sein (dazu bald mehr) und eine zusätzliche Master-Übung zum Thema Sprachmodelle (oder Large Language Models / LLM) übernehmen, die ja zur Zeit relativ engagiert in Wissenschaft und Öffentlichkeit diskutiert werden.

Ein Stück Freiheit in Forschung und Lehre

Während das Programm meiner Pflichtseminare durch das jeweilige Thema relativ stark fixiert ist, kann ich die Übungen meist an meinen eigenen aktuellen Interessen ausrichten. Dabei versuche ich meist auch, der Öffentlichkeit einen Einblick in die Lehrveranstaltungen zu geben, über eine offene Lehrmaterial-Seite, eine Projektseite und / oder ein GitHub-Repository für den erzeugten Code. Die folgende Tabelle gibt einen kleinen Überblick zu den entsprechenden Veranstaltungen in den letzten Semestern:

OberthemaLehrveranstaltungGitHub
Public Humanities(Fake) News Monitoring (WiSe 2019) projekt ODRA odra-scraper
Public HumanitiesPublic Humanities Tools (WiSe 2021)(Mehrere)
Covid-19-PandemieDie Pandemie in Sprache & Schrift (SoSe 2021)(Mehrere)
Covid-19-PandemieDatenanalyse mit R (SoSe 2022)R-covid-tools
Textpro-zessierungVoynich Manuskript (WiSe 2020) Projektseitevoynichsc
Textpro-zessierungAnatomie der Schriftsysteme (WiSe 2022)R-voynich-stats

Den Themenbereich Textprozessierung habe ich schon zu Zeiten meiner Dissertation verfolgt, Public Humanities sind spätestens seit der Gründung unseres Instituts für Digital Humanities hinzugekommen. Die beiden Übungen, die sich (inhaltlich) mit der Covid-19-Pandemie beschäftigten, waren deren aktuellen Stattfinden geschuldet, das Thema wurde mit Audio- und Text- bzw. mit Datenanalysemethoden und softwaretechnologischen Umsetzungen kombiniert.

Persönliche Verankerung im Thema Sprachmodelle

Auch die Übung im nächsten Semester greift mit Sprachmodellen ein aktuelles Thema auf, das nun allerdings einen zentralen Bereich meiner wissenschaftlichen Arbeit betrifft und mithin auch dem Bereich Textprozessierung zugeordnet werden könnte. In meiner Dissertation sah ich 2012 die Möglichkeit, Analysemethoden zwischen Daten aus völlig unterschiedlichen Domänen (Literatur, Genetik, Programmierung, Musik, Kryptologie) zu übertragen, wenn man sie als unterschiedliche Ausprägungen der Gattung Text betrachtet:

Definition 1 (Text): Ein Text ist eine konkrete Instanz einer Sequenz diskreter Einheiten aus einem endlichen Alphabet. 

Hermes 2012: 25

Dass es nun, knapp 10 Jahre später, eine Methode gibt, die fähig ist, Texte aus diesen unterschiedlichen Domänen in Strukturen zu überführen, die ineinander übersetzt werden können, habe ich allerdings damals so (natürlich) nicht vorhergesehen, auch wenn wichtige Vorarbeiten zu diesem Ansatz bereits geleistet waren. Denn eine solche Übersetzung ist ungefähr das, auf was sich die enorme Leistungsfähigkeit der generativen Sprachmodelle in völlig unterschiedlichen Bereichen zurückführen lässt. Das hat Haomiao Huang in seinem Essay aus dem Januar 2023 sehr treffend in Worte gefasst:

As long as there’s a way to represent something with a structure that looks a bit like a language, together with the data sets to train on, transformers can learn the rules and then translate between languages. Github’s Copilot has learned to translate between English and various programming languages, and Google’s Alphafold can translate between the language of DNA and protein sequences. Other companies and researchers are working on things like training AIs to generate automations to do simple tasks on a computer, like creating a spreadsheet. Each of these are just ordered sequences.

Huang 2023

Insofern habe ich mit Sprachmodellen ein aktuell in der Öffentlichkeit breit diskutiertes Thema für meine Übung gewählt, kann aber zugleich auch an Arbeiten anknüpfen, die ich eine Weile lang eher vernachlässigt habe.

Programm (und Sinn?) der Übung

Zur Vorbereitung auf die Übung habe ich mir natürlich zuerst die relevante Literatur gesichtet und in Zotero gesammelt. Dabei sind bisher knapp 90 Beiträge zusammengekommen, welche die gesamte Bandbreite von Expert:inn:eninterviews auf Newsseiten über Verlautbarungen von Ethikräten, Meinungsartikeln, technischen Reports bis hin zu peer-reviewten Beiträgen in Fachzeitschriften reicht. Bemerkenswert ist, dass der weit überwiegende Anteil der Beiträge aus dem noch jungen Jahr 2023 stammt. Das unterstreicht eindrucksvoll die Dynamik, die den Bereich ergriffen hat, welche eine Semesterplanung, die die nächsten 3,5 Monate abdecken sollte und die Erstellung einer Literaturliste, nicht gerade einfacher macht.

Auszug aus meiner Zotero-Collection zu “Large Language Models”. Ausgewählte Literaturhinweise finden sich auf der Webseite zu meiner Übung.

Ich habe mich trotzdem daran versucht und einen Plan veröffentlicht, der gegebenenfalls im Laufe des Semesters noch einmal angepasst werden muss. Da die Übung in mehreren MA-Studiengängen angeboten wird (Informationsverarbeitung, Medieninformatik, Linguistik, Computerlinguistik, Informatik) muss ich mit einem sehr heterogenen Publikum rechnen und kann, außer allgemeinen Kompetenzen, die man mit einem BA-Abschluss in den genannten Fächern erwirbt, keine Vorkenntnisse erwarten. Aus dem Ozean der aktuellen Literatur zum Thema habe ich daher diejenigen Beiträge ausgewählt, die mir hilfreich erscheinen, auch mit wenig bis keiner Erfahrung im Bereich Natural Language Processing ins Thema einzusteigen und dieses mit mir und den anderen Studierenden zu diskutieren. Gerade weil der Bereich eine so dynamische Entwicklung nimmt, werde ich wohl größtenteils auf frontalen Unterricht verzichten und eher die Literatur zusammen mit den Teilnehmer:innen erörtern. Die Texte, die ich den jeweiligen Terminen zugeordnet habe, müssen also gelesen, und der Seminarraum sollte regelmäßig aufgesucht werden. Dem topmodernen Thema wird also mit einem relativ althergebrachten Unterrichtsstil begegnet (was in den letzten Semestern eher anders war). Ich hoffe, dass dies noch gut funktioniert, bin aber guter Dinge.

Ein weiteres Element werden Präsentationen der Teilnehmer:innen sein. Diese sollen sich in Gruppen einteilen und (kurz) ein Interface zu einem Sprachmodell vorstellen, das zur Zeit öffentlich verfügbar ist (also so etwas wie ChatGPT oder Bing) sowie (länger) die Potentiale eines ausgewählten Modells hinsichtlich unterschiedlicher Aufgaben erproben, dokumentieren und vortragen. Vorgegeben sind Aufgaben aus dem Bereich Programmierung, Problemlösung und Texterstellung, prinzipiell bin ich aber auch für weitere Vorschläge offen.

Meine eigenen Versuche, über die Interfaces chatGPT (GPT3.5) und Bing (angeblich GPT4) an sensationelle Ergebnisse zu gelangen, waren eher von bescheidenem Erfolg gekrönt, aber durchaus mit Komik durchsetzt, was ich unvollständig und ein wenig launig in einem Twitter-Thread kommentiert habe:

Tipps zum Einstieg

Für die verschiedenen Themen habe ich ausgewählte Literatur in den Seminarplan aufgenommen. In der ersten inhaltlichen Sitzung soll es darum gehen, was Sprachmodelle aus technischer Perspektive ausmacht. Dafür habe ich gleich vier verschiedene Beiträge ausgewählt, die sich dem Thema aus unterschiedlichen Richtungen annähern, meiner Meinung nach alle überaus lesenswert sind und eine gute Grundlage für den weiteren Verlauf der Lehrveranstaltung legen.

Der Nature-Artikel von Anil Ananthaswamy aus dem März 2023 bietet eine kompakte und allgemeine Einführung in die aktuellen Entwicklungen von Large Language Modells und lässt dabei durchaus beunruhigende Seiteneffekte (gesellschaftlicher Impact, Konsequenzen emergenter Effekte, Energiebilanz) nicht außer Acht.

Eine sehr gut nachvollziehbare Herleitung der aktuellen Sprachmodelle als Konsequenz aus den Entwicklungen zur Repräsentation von Sprache in Rechnern und neueren Architekturansätzen neuronaler Netzwerke findet sich im oben schon zitieren Essay von Haomiao Huang aus dem Januar 2023 im Blog Ars Technica.

Das technische 101 von Sprachmodellen wie ChatGPT wird meines Erachtens sehr nachvollziehbar, wenngleich auch etwas länger im Beitrag aus dem Februar 2023 “What is ChatGPT Doing … and Why Does it Work?” von Stephen Wolfram auf seinem Blog erklärt. Besonders hervorzuheben ist, dass sich dort auch Erklärungsansätze dafür finden, weshalb wir bestimmte Fähigkeiten in Sprachmodellen finden, die wir eben noch nicht erklären können. Spannend wird auch sein, ob die dort angedeutete Kombination aus Sprachmodellen und Wolframs symbolischer Berechnungsmaschinerie WolframAlpha gelingen werden.

Der letzte empfohlene Beitrag, ein Preprint (Dezember 2022) vom DeepMind-Wissenschaftler Murray Shanahan vom Imperial College London, setzt sich auch mit dem Innenleben von LLMs auseinander und analysiert sie auch im Verhältnis zu unseren (menschlichen) kognitiven Fähigkeiten. Ich tendiere inzwischen dazu, diesen Artikel erst für die zweite inhaltliche Stunde als Pflichtlektüre zu setzen, da er schon in Richtung der philosophischen Perspektive auf Sprachmodelle weist (stochastic parrots? blurry jpegs?) und diese erst am 20.4. verhandelt werden soll. Lesenswert ist er aber allemal!

Ich denke, mit dem Plan lässt sich erst einmal ins Semester starten, spätere Anpassungen sind ja nicht ausgeschlossen. Jüngst sprachen sich ja eine Reihe von Wissenschaftler:innen und Unternehmer:innen für ein Moratorium aus, welches das Training noch größerer LLMs betreffen soll. Zwar finden sich einige Knallchargen unter den Unterzeichnenden, aber eben auch durchaus respektable Wissenschaftler:innen aus dem Bereich. Mal sehen. Ich freue mich auf jeden Fall sehr, dass mein Job einen Freiraum bietet, innerhalb dessen ich auch meine aktuellen Interessen verfolgen kann (wobei der Job natürlich froh sein kann, dass meine Interessen immer so gut ins Programm passen 😃).

Erwähnte Literatur

Ananthaswamy, A. (2023). In AI, is bigger always better? Nature, 615(7951), 202–205. https://doi.org/10.1038/d41586-023-00641-w

Hermes, J. (2012): “Textprozessierung – Design und Applikation.” Dissertation thesis, Universität zu Köln. Link

Huang, H. (2023, Januar 30). The generative AI revolution has begun—How did we get here? Ars Technica. https://arstechnica.com/gadgets/2023/01/the-generative-ai-revolution-has-begun-how-did-we-get-here/

Shanahan, M. (2023). Talking About Large Language Models (arXiv:2212.03551). arXiv. https://doi.org/10.48550/arXiv.2212.03551

Wolfram, S. (2023, Februar 14). What Is ChatGPT Doing … and Why Does It Work? Stephen Wolfram Writings. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

Beitragsbild: Output von Dall-e (https://openai.com/product/dall-e-2) auf die Eingabe “Stochastic Parrots”



Diesen Blogbeitrag zitieren
Jürgen Hermes (2023, 30. März). Lehre am Puls der Zeit: Sprachmodelle. TEXperimenTales. Abgerufen am 21. April 2024, von https://doi.org/10.58079/uq74

Von Jürgen Hermes

Arbeitet als Wissenschaftler und Geschäftsführer am Institut für Digital Humanities an der Universität zu Köln.

2 Antworten auf „Lehre am Puls der Zeit: Sprachmodelle“

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search