Was ist ChatGPT?

Dr. Sebastian Schönnenbeck

ChatGPT ist ein im November 2022 vom US-amerikanischen Unternehmen OpenAI entwickelter Chatbot. Nutzer:innen können mit diesem Chatbot über textbasierte Nachrichten kommunizieren, um sich bspw. Fragen beantworten zu lassen. Das Besondere daran ist, dass die Antworten mit Hilfe von Machine Learning (ML) generiert werden und wie natürliche Antworten eines Menschen wirken.

GPT steht dabei für „Generative Pretrained Transformer“. Dies ist eine Ausprägung eines Large Language Models, welches OpenAI bereits 2018 entwickelt und seitdem weiterentwickelt hat. Die jeweiligen Versionen werden durch Nummerierung gekennzeichnet, z. B. GPT-4, die Version, auf der die kostenpflichtige Version von ChatGPT aktuell basiert.

GPT-3, GPT-4, GPT-n: Was können neue Versionen?

Im März 2023 – weniger als sechs Monate nach dem Release von ChatGPT auf Basis von GPT-3 – hat OpenAI mit GPT4 bereits eine neue Version ihrer Reihe von Sprachmodellen vorgestellt. Es gab vor allem zwei große Neuerungen:

• Zum einen handelt es sich bei GPT-4 um das erste multimodale Modell der Reihe. Das heißt konkret, dass GPT-4 neben Text auch Bilder als Input verarbeiten kann, beispielsweise zum Beantworten von Fragen zum Inhalt oder auch zum Abgleichen von Bildern und Beschreibungen (potenziell interessant in der Betrugsbekämpfung).
• Zum anderen hat GPT-4 eine deutlich größere Kontextlänge von jetzt bis zu 32.768 Tokens (entspricht rund 25.000 Wörtern). Frühe Transformer-basierte Modelle hatten oft einen Kontext von 256 bis 512 Tokens; eine Länge, die heute von vielen einzelnen ChatGPT-Antworten schnell übertroffen wird. Der größere Kontext von GPT-4 führt dazu, dass es deutlich längere Texte verarbeiten und in einem Chat-Kontext auch weit zurückliegende Antworten noch nutzen sowie automatisch zusammenfassen kann.

Selbst für ein Feld, das sich in den vergangenen Jahren so schnell weiterentwickelt hat wie Künstliche Intelligenz, fühlen sich die Fortschritte im Bereich textverarbeitender, generativer Modelle derzeit rasant an. Es ist daher davon auszugehen, dass in kurzer Zeit weitere Versionen folgen, die noch mehr Features bieten – nicht zuletzt, weil weitere LLM-Lösungen den Wettbewerb erhöhen.

Was ist GenAI?

Inzwischen gibt es eine Vielzahl von Lösungen, die auf verschiedenen GPT-Versionen basieren und neben Large Language Models auch Bild, Ton und Video verarbeiten. Während vor einigen Monaten ChatGPT noch als Synonym für diese Lösungen genutzt wurde, findet sich inzwischen vermehrt der Begriff Generative KI bzw. Generative AI oder kurz GenAI. Damit wird dem Faktum Rechnung getragen, dass neben OpenAI viele weitere Anbieter in den Markt eintreten und diese weitaus mehr als Textverarbeitung umfassen.

Generative AI vs. Datenschutz & -sicherheit – Was sollte man bedenken?

Dr. Jan Ciupka

Wer sich mit der Nutzung von GenAI-Modellen wie ChatGPT beschäftigt, kommt unweigerlich auch an den Punkt, sich mit den Datenschutz- und Datensicherheitsaspekten dieser Technologien auseinandersetzen zu müssen. Diese Aspekte lassen sich grob in zwei Bereiche aufteilen:

• Datenschutz bei direktem oder indirektem Trainieren eines KI-Modells
• Datenschutz bei der Nutzung eines „fertigen“ Modells

Direktes Trainieren eines KI-Modells

Beim direkten Trainieren (z. B. bei ChatGPT) geht es um die Frage, ob der Service im Hinblick auf die DSGVO legal ist (oder in den USA geltenden Gesetzen mit ähnlichen Zielen nachkommt; einige Beispiele: Health Insurance Portability and Accountability Act [HIPAA], Children’s Online Privacy Protection Rule [COPPA] oder Kaliforniens California Consumer Privacy Act [CCPA]). Es ist nicht klar, wie z. B. das „Recht auf Vergessenwerden“ (Art. 17 DSGVO) bei einem KI-Modell realisiert werden kann. Eine einmal gelernte Information „verbleibt“ im KI-Modell. Weiterhin gibt es bei ChatGPT auch keine Möglichkeit, herauszufinden, ob Daten eines Unternehmens oder einer Person dort schon gespeichert und enthalten sind; sie dann löschen zu lassen, ist ebenfalls nicht möglich (Art. 15 DSGVO). Weitere kritische Aspekte sind zudem Urheberrechtsfragen: z. B. wurde ChatGPT teilweise auf geschütztem Material trainiert und kann dies wiedergeben. OpenAI hat bisher niemanden für die Nutzung von Daten kompensiert. Unklar ist daher, wie es um die kontextuelle Integrität von Information steht, die ggf. durch ein KI-Modell verletzt werden kann. Diese Aspekte betreffen erst einmal OpenAI als Unternehmen hinter ChatGPT.

Indirektes Trainieren eines KI-Modells

Indirektes Training kann bei der eigentlichen Nutzung von ChatGPT zustande kommen. OpenAI definiert in ihrer Privacy Policy z. B., dass neben den typischen Informationen wie Cookies und Geräteinformationen auch Input und Dateiuploads gesammelt und ausgewertet werden können und vermutlich zur Verbesserung des Services und KI-Modells genutzt werden. Dies kann vielfältige Datenschutz- und Datensicherheitsprobleme mit sich bringen. Einerseits können vom Nutzer personenbezogene Daten hochgeladen werden, die er oder sie so nicht verarbeiten darf. Andererseits können auch nicht personenbezogene Daten wie kritische unternehmensinterne Information oder Intellectual Property betroffen sein. Im schlimmsten Fall werden diese Informationen zur „Verbesserung“ des KI-Modells genutzt und damit de facto öffentlich und schwer bis kaum löschbar.

Nutzung „fertiger“ KI-Modelle

Anders sieht die Situation bei KI-Services aus, bei denen fertige Modelle nur genutzt werden oder optimierte und mit Kundendaten trainierte Modelle auch nur dem Kunden selbst zur Verfügung stehen, also bei einem klar definierten Mandantenmodell. Als Beispiel seien hier die Azure OpenAI Services genannt. Auch hier können Modelle wie ChatGPT (oder bald auch GPT-4) genutzt werden, allerdings mit deutlich mehr Kontrolle für den Kunden. Anfragen und Antworten an KI-Modelle der Azure OpenAI Services werden laut Microsoft nicht zur Verbesserung des Modells genutzt. Stattdessen werden sie nur für bis zu 30 Tage gespeichert. Um Missbrauchsszenarien zu unterbinden, sind zudem bspw. direkte Eingriffe von autorisiertem Kontrollpersonal und/oder Verbesserungen von Content Management Systemen möglich, welche ethisch fragwürdige Nutzungen erkennen und unterbinden. Für stark regulierte Unternehmen oder Use Cases mit besonders schützenswerten personenbezogenen Daten gibt es hier auch eine Opt-out-Möglichkeit (vorausgesetzt, Microsoft stimmt zu), die ein Logging und potenzielles Review von Input unterbindet.

Auch beim Feintuning und Re-Training von Modellen mit eigenen Daten ist deren Schutz gewährleistet. Trainingsdaten können verschlüsselt in Azure Files abgelegt werden. Mit Kundendaten optimierte Modelle stehen dann nur dem Kunden selbst zur Verfügung (authentifiziert und autorisiert, z. B. mittels Azure AD). Über kritische Daten, die sich in einem solchem Modell befinden können, hat der Kunde selbst die Kontrolle. Damit unterscheidet sich der Service nur in wenigen Stellen von anderen Azure und Microsoft 365 Services wie Azure Files, Teams oder SharePoint Online. Die Pflichten bleiben bei all diesen Services gleich: Das Unternehmen ist dafür verantwortlich, welche Daten es dort speichert (z. B. hinsichtlich personenbezogener Daten) und wie es sicherstellt, dass Unternehmensinformationen nicht öffentlich werden.

ChatGPT & ESG: Wie steht es um den ökologischen Fußabdruck?

Dr. Michael von Papen

Wenn die Chancen und Risiken von Generativer KI wie ChatGPT diskutiert werden, gehört auch das Thema Nachhaltigkeit dazu. Da die Technologie allerdings noch recht neu ist, gibt es kaum verlässliche Studien. Was „sagt“ ChatGPT selbst zu seinem ökologischen Fußabdruck? Hier die Antwort des Chatbots:

Hallo ChatGPT, ich möchte mehr über ChatGPT und Nachhaltigkeit wissen. Zunächst einmal: Welche Themen gilt es dabei zu berücksichtigen?

ChatGPT: Es gibt mehrere Themen, die Sie untersuchen könnten:

• Umweltauswirkungen: KI-Technologien wie ChatGPT benötigen erhebliche Mengen an Energie, um zu laufen. Sie könnten untersuchen, wie KI-Unternehmen daran arbeiten, ihren ökologischen Fußabdruck zu reduzieren und ihre Produkte nachhaltiger zu gestalten.

• Nachhaltigkeitspotenziale: ChatGPT kann Unternehmen und Einzelpersonen dabei helfen, nachhaltigere Entscheidungen zu treffen, indem es z. B. umweltfreundliche Produkte oder Dienstleistungen vorschlägt oder Informationen über nachhaltige Praktiken bereitstellt.

• Ethische Implikationen: Mit der zunehmenden Verbreitung von KI-Technologien ist es wichtig, die ethischen Implikationen zu berücksichtigen. Wie stellen wir sicher, dass KI-Systeme keine bestehenden Vorurteile verstärken oder Entscheidungen treffen, die marginalisierten Gemeinschaften schaden?

Sehr interessante Themen, danke ChatGPT. Bezüglich der Umweltauswirkung: Wie viel Energie wurde denn eigentlich für das Training von ChatGPT verwendet?

ChatGPT: Das Training von ChatGPT-3, der größten Version des Modells, wird auf einen Verbrauch von rund 284 Terawattstunden (TWh) geschätzt. Zum Vergleich: Das entspricht etwa dem Energieverbrauch des gesamten Landes Belgien innerhalb eines Jahres. [Anm. d. Verf.: Hier übertreibt ChatGPT ein wenig. Eine aktuelle Studie (Patterson et al., Carbon Emissions and Large Neural Network Training, 2021) schätzt den Stromverbrauch von GPT-3 auf 1,3 Terawattstunden, was bei ChatGPT nicht um zwei Größenordnungen mehr sein sollte. GPT-4 wird von ChatGPT in dieser Antwort zudem noch nicht berücksichtigt. Da diese Version um das sechsfache größer ist als GPT-3, muss von einem überproportionalen Anstieg des aktuellen Verbrauchs ausgegangen werden.]

Es ist auch wichtig zu bedenken, dass der Energieverbrauch nicht der einzige Faktor ist, der bei der Umweltbilanz von KI zu berücksichtigen ist. Die Materialien, die zur Herstellung von Hardware verwendet werden, die Entsorgung von Elektroschrott und die Kohlenstoffemissionen, die mit Rechenzentren verbunden sind, tragen alle zum Gesamtumweltimpact von KI-Technologien bei.

Wie viele Tonnen Treibhausgase wurden emittiert, um diese Energie bereitzustellen?

ChatGPT: Die geschätzten Treibhausgasemissionen, die mit dem Training von ChatGPT-3 verbunden sind, betragen rund 1,5 Millionen Tonnen CO2e. [Anm. d. Verf.: Hier geht es mit ChatGPT wieder etwas durch. Nach unserem Kenntnisstand sind die Emissionsmengen wohl nicht ganz so drastisch. Laut oben genannter Studie geht man für das Training von GPT-3 von etwa 550 t CO2e aus, immerhin dem 50-fachen der Pro-Kopf-Jahresemission in Deutschland.]

Diese Emissionen variieren jedoch mit einer Vielzahl von Faktoren, einschließlich der Energiemischung des Stromnetzes, in dem das Training stattfindet, und der Effizienz der verwendeten Hardware.

Es ist klar, dass der Energieverbrauch und die damit verbundenen Treibhausgasemissionen des KI-Trainings signifikant sind und bei der Betrachtung des Umwelteinflusses von KI-Technologien berücksichtigt werden sollten. Es werden Anstrengungen unternommen, um die Emissionen zu senken.

Sehr interessant, welche Anstrengungen sind das genau?

ChatGPT: Ein wichtiger Ansatz ist Sparsity, was bedeutet, dass das Modell nur ein Subset der Eingangsdaten benötigt. Das kann z. B. durch Techniken wie Pruning erreicht werden, wodurch weniger wichtige Verbindungen im neuronalen Netz entfernt werden. [Anm. d. Verf.: Dies ist ein sehr wirkungsvoller Ansatz, bei dem es möglich ist, große Mengen an Verbindungen zu kappen und das Modell dadurch deutlich effizienter zu machen. Bei Interesse nehmen Sie hierzu gerne Kontakt mit uns auf.]

Ein anderer Ansatz ist die Verwendung effizienterer Hardware, wie z. B. spezialisierter Chips, die für die jeweilige KI-Anwendung optimiert sind. Diese Chips können so designt werden, dass sie Berechnungen deutlich energie-effizienter durchführen als herkömmliche CPUs oder GPUs.

Zudem können Modelle auch by-design mit weniger Parametern entworfen werden, wodurch der Energieverbrauch gesenkt wird.

Vielen Dank für die Unterhaltung, ChatGPT.

Vorläufiges Fazit zum Thema ESG:

Die Antworten, die ChatGPT selbst liefert, sowie die hinzugenommenen Studienergebnisse beziehen sich vor allem auf das Training und zeichnen hierfür eine eher negative Ökobilanz ab. Offen bleibt, wie es um Betrieb und Nutzung von ChatGPT steht. Ist dies unter den gegebenen Nachhaltigkeitsaspekten vertretbar? Wie ist die Ökobilanz von alternativen Wegen, um an Informationen zu kommen (z. B. Suchmaschinen) und Ideen zu entwickeln? Ließe sich eventuell eine aus der Nachhaltigkeitsperspektive sinnvolle Kombination erzielen, indem LLM hinter Suchanfragen geschaltet werden? Um hier Klarheit zu gewinnen, sind neue Studien nötig, die sich mit diesen Aspekten beschäftigen.

GenAI jenseits der Wissensarbeit: Beispiel Medizin & Gesundheitswesen

Dr. Valentin Kemper

Wie ChatGPT und andere GenAI-Lösungen die Arbeit von Textern, Designer, Software-Entwicklern und anderen Wissensarbeitern unterstützen können, wird vielfach diskutiert. Wie sieht es aber in Bereichen aus, in denen Mitarbeiter:innen nicht ausschließlich am Schreibtisch sitzen, z. B. im Gesundheitswesen?

Auf der Fachkonferenz DMEA 2023 gab Karl Lauterbach seine Einschätzung zum Einsatz von großen Sprachmodellen in der Medizin: Laut dem Gesundheitsminister ist die Anfang März 2023 vorgestellte Digitalisierungsstrategie einen Monat später bereits wieder überholt, weil die Entwicklungen mit Large Language Models (LLMs) dermaßen schnell voranschreiten.

Dass das deutsche Gesundheitswesen auf diese Entwicklungen nur langsam reagieren kann, ist nachvollziehbar. Gründe dafür finden sich u. a. in der Komplexität (von Akteuren über Regulatorik bis zur Tech-Infrastruktur) und den im internationalen Vergleich geringen Forschungsinvestitionen in KI in Deutschland.

Nichtsdestotrotz: Die Anwendungsmöglichkeiten von LLMs wie ChatGPT in Medizin und Gesundheitswesen sind vielfältig. Auch der Minister äußerte sich auf der DMEA davon überzeugt, dass sie die Medizin nachhaltig und grundlegend verändern werden – und zwar signifikant mehr als bisher bekannte KI-Modelle mit spezifischen Fähigkeiten, z. B. im Bereich Diagnostik oder in der medizinischen Bildgebung.

Beispiele, wie LLMs Medizin & Gesundheitswesen verändern könnten:

• Meta-Studien: „Es gibt keinen Grund zu der Annahme, dass die Modelle eine Metastudie von publizierten medizinischen Studien nicht besser durchführen könnten als Menschen“, so Karl Lauterbach auf der DMEA. Im Gegenteil: Angesichts des großen Wissensspeichers könnten LLMs zusammenführende Studien sogar bald deutlich besser durchführen. Diese neue semantische Komponente kann Meta-Studien auf ein qualitativ neues Level führen und die Entwicklung von Medikamenten und Therapien beschleunigen.
• Empowered Patient: ChatGPT kann Nutzer:innen im Handumdrehen mit Fachwissen versorgen, welches leicht zugänglich aufbereitet werden kann. So schlägt KI eine Brücke zwischen Expert:innen und der Bevölkerung. Medizinisches Wissen kann damit zugänglicher und der sog. „Empowered Patient“ Realität werden.
• Fachkräftemangel: Prof. Dr. med. Klemens Budde von der Berliner Charité ergänzt in seinem Vortrag auf der DMEA, dass ChatGPT vor allem bei jüngeren Ärzt:innen zu besseren Befundungsergebnissen führe, Chefärzt:innen nehmen die Unterstützung dagegen weniger gerne an. Sie kritisieren u. a., dass durch ChatGPT nicht genutzte Fähigkeiten verloren gehen könnten. Allerdings sieht Budde auch die Chance des Upskillings: Ähnlich wie beim Empowered Patient werde Wissen auch außerhalb von Gruppen mit speziellem Fachwissen verfügbar gemacht, was eine Lösung für den Fachkräftemangel im Gesundheitswesen darstellen könnte.