Generative Künstliche Intelligenz (Generative Artificial Intelligence; GenAI) ist eine Künstliche Intelligenz, die mithilfe von generativen Modellen Medien (beispielsweise Texte oder Bilder) generieren kann. GenAI-Modelle lernen die Muster und Strukturen ihrer Trainingsdaten und generieren dann neue Daten mit ähnlichen Eigenschaften. Chatbots wie ChatGPT oder Text-zu-Bild-Generatoren wie Midjourney und DALL-E sind Beispiele für solche Systeme.

LLMs sind ein Beispiel für Generative KI. Im Grunde sind LLMs Vorhersagemaschinen, die auf Grundlage ihres Inputs eine Wortsequenz generieren. Ein LLM hat die Aufgabe, jeweils das nächste Wort in der Sequenz vorherzusagen – mehr nicht. Wenn man auf dem Smartphone einige Buchstaben eingibt, und das Gerät ein Wort vorschlägt, das zur jeweiligen Eingabe passt, ist das ein Beispiel für ein Language Model, das anhand des Kontexts (also anhand der bereits eingegebenen Zeichen) das Endergebnis (das Wort, das geschrieben werden soll) vorhersagt.

Diese Modelle zeichnen sich durch sehr intuitive und häufig unbewusste „kognitive Fähigkeiten“ aus. Aktuell verfügen sie nicht über echte kognitive Fähigkeiten – diese würden bewusste, langsamere und analytische Denkprozesse voraussetzen. Diese Einschränkung unterstreicht die Tatsache, dass LLMs zwar logische Texte generieren können, aber nicht zu tiefgründigen Gedanken oder Überlegungen fähig sind. Daher sind Aufgaben, bei denen Schlussfolgerungen und schrittweise Analysen notwendig sind, für LLMs eine große Herausforderung, an der jedoch aktiv geforscht wird.

Außerdem ist anzumerken, dass LLMs keine Suchmaschinen sind. Sie haben keine Echtzeit-Verbindung mit dem Internet oder externen Datenbanken. Ihr Wissen ist auf die Daten beschränkt, mit denen sie trainiert wurden. Den Modellen fehlen daher häufig aktuell verfügbare Informationen oder sie haben bestimmte Tendenzen aus den Daten übernommen, mit denen sie trainiert wurden. Um diese Einschränkungen zu umgehen, kann das Modell mit sogenannten „Plug-ins“ ausgestattet werden, die Tools wie eine Internet-Suchmaschine oder einen Rechner zur Verfügung stellen. Diese können das Modell bei der Erstellung seiner Antworten unterstützen.

LLMs werden außerdem als eine Möglichkeit zur Demokratisierung von KI angesehen, da sie Menschen und Unternehmen die Möglichkeit bieten, ohne tiefgreifende technische Vorkenntnisse leistungsstarke Künstliche Intelligenz zu nutzen. Schließlich ist die „Programmiersprache“ für diese leistungsfähigen KI-Systeme einfach Sprache! Zudem wird das im riesigen Trainings-Korpus enthaltene Wissen auf eine wesentlich intuitivere, persönlichere und kontextspezifischere Weise für jeden zugänglich.

Das Prompting ist ein wichtiger Aspekt bei der Verwendung von LLMs. Ein Prompt ist die ursprüngliche Eingabe an das Modell. Auf dessen Grundlage generiert es seine Antwort. Scheinbar synonyme Eingaben können zu deutlich verschiedenen Ergebnissen führen. Die Kunst, diese Prompts so zu formulieren, dass sie zu den gewünschten Ergebnissen führen, wird als „Prompt Engineering“ bezeichnet. Das ist besonders wichtig, wenn das LLM eine spezifische Aufgabe verlässlich erfüllen soll – beispielsweise bei der Sentiment Analysis.

Aktuell werden LLMs häufig ins Backend anderer Anwendungen integriert. Die Anwendung verwendet dann Prompt Templates, die mit Benutzerdaten angepasst werden, um die entsprechenden Aufgaben auszuführen. Da sie keine Prompts formulieren müssen, wird den Benutzer:innen nicht einmal bewusst, dass sie hinter den Kulissen mit einem LLM interagieren.

Im Kontext von LLMs bezieht sich Training auf den Prozess, bei dem ein Modell aus einer riesigen Menge von Textdaten lernt, um Sprachmuster zu verstehen und darauf basierend Texte zu generieren oder Fragen zu beantworten. Hierbei wird das Modell nicht explizit programmiert, komplexe Sprachaufgaben auszuführen; es lernt vielmehr, diese Aufgaben durch Analyse der Beziehungen zwischen Wörtern und Satzstrukturen in den Trainingsdaten selbständig zu bewältigen.

Während des Trainingsprozesses wird dem LLM eine umfangreiche Datenbank mit Texten vorgestellt, die sowohl die Eingabetexte als auch die gewünschten Ausgaben umfassen kann. Durch die Verarbeitung dieser Daten passt das Modell seine internen Gewichte an, um die Nuancen der menschlichen Sprache so genau wie möglich nachzubilden.

Ziel ist es, ein Modell zu entwickeln, das fähig ist, auf Basis der gelernten Muster und Strukturen nicht nur auf den Trainingsdaten, sondern auch auf neuen, unbekannten Texten präzise und kohärent zu reagieren.

Pre-Training ist ein spezieller Schritt im Trainingsprozess von GenAI, insbesondere bei Large Language Models. Hierbei wird das Modell zunächst auf einer umfangreichen, generischen Datensammlung trainiert, bevor es für spezifische Aufgaben weiter trainiert wird. Dieser vorbereitende Schritt ermöglicht es dem Modell, ein tiefes Verständnis der Sprache, ihrer Strukturen und Muster zu erlangen.

Im Feintuning wird das vorab trainierte Modell mit einem spezifischeren Datensatz weiter trainiert, um es auf eine ganz bestimmte Aufgabe oder Domäne anzupassen. Während des Feintunings werden die Gewichte und Parameter des Modells leicht angepasst, um die Performance bei spezifischen Aufgaben wie Chat, Textklassifikation, Sentiment-Analyse oder Frage-Antwort-Systemen zu optimieren. Das Feintuning erlaubt es, das umfangreiche Vorwissen, das das Modell während des Pre-Trainings erworben hat, effektiv für engere Anwendungsfälle zu nutzen.

Das Ziel des Alignments bei LLMs ist es, sicherzustellen, dass die Ausgaben des Modells nicht nur technisch präzise, sondern auch ethisch verantwortungsvoll und im Einklang mit den Zielen und Werten der Nutzer:innen und der Gesellschaft sind. Bei LLMs erfordert dies eine sorgfältige Überwachung und Anpassung der Trainingsdaten, Modelleinstellungen und Ausgabeüberprüfungen, um Verzerrungen, unerwünschte Inhalte und ethisch problematische Antworten zu vermeiden.

Tokens sind die grundlegenden Einheiten der Verarbeitung in einem LLM. Ein Token kann ein Wort, ein Teil eines Wortes oder sogar ein Satzzeichen sein. Die Zerlegung von Text in Tokens ist ein wichtiger Schritt, um den Eingabetext für das Modell verarbeitbar zu machen. Diese Tokenisierung ermöglicht es dem LLM, eine Eingabe zu analysieren und basierend auf dem während des Trainings und Pre-Trainings erlernten Kontext sinnvolle Ausgaben zu generieren.

Eine der größten Herausforderungen für LLMs sind „Halluzinationen“: Dabei enthält die Antwort des Modells falsche oder irreführende Informationen, die jedoch als Fakten dargestellt werden. Das passiert üblicherweise, weil LLMs darauf trainiert werden, plausibel klingende Texte auf Grundlage bestimmter Muster zu generieren – und nicht darauf, den Wahrheitsgehalt der Informationen zu überprüfen.

Aktuell wird dieses Problem mithilfe der sogenannten Retrieval-Augmented Generation (RAG) angegangen. Kurz gesagt stellt man dabei dem Modell Dokumente zur Verfügung, die zur Beantwortung einer Anfrage verwendet werden können. Genauer gesagt: Wenn Nutzer:innen eine Anfrage schreiben, durchsucht das System zunächst seine aktuelle Datenbank nach Passagen, die wahrscheinlich helfen können, die Anfrage zu beantworten. Das LLM generiert dann auf Grundlage der gefundenen Passagen eine Antwort auf die Anfrage. Diese Vorgehensweise hat den zusätzlichen Vorteil, dass die Quelldokumente verlinkt und nach dem ursprünglichen Training als hinzugefügte Informationen zur Verifizierung verwendet werden können. Dabei können individuelle Zugriffsrechte für die jeweiligen Dokumente berücksichtigt werden.