Viele Unternehmen sorgen sich um ihre Daten – und zögern beim Einsatz von Generativer KI aus den USA. Das betrifft sowohl Konzerne als auch den Mittelstand. Wie der Mittelstand sichere KI Lösungen „made in Germany“ nutzt, darüber hat die WirtschaftsWoche am 2. Juli 2024 berichtet — am konkreten Beispiel unseres Kunden, der Firmengruppe APPL. Diese GenAI-Erfolgsgeschichte zeigt, wie Generative KI mit Alan operativ zum Einsatz kommt und mit welchen Ergebnissen Unternehmen in kurzer Zeit rechnen können. Ob Sie sich selbst zum Mittelstand oder zum Konzernumfeld zählen: Lassen Sie sich von diesem Best Practice inspirieren, wie auch Ihr Unternehmen GenAI sicher und gewinnbringend einsetzen kann:
Artikel in der WirtschaftsWoche
Generative KI : Der Mittelstand setzt auf heimische KI
Die Atmosphäre bei Abcfinance in Köln ist so locker wie im benachbarten Ausgehviertel rund um den Friesenplatz. Gearbeitet wird in offenen Konferenzzonen, für vertiefte Gespräche geht es auf die Dachterrasse oder an die Kaffeebar. Doch Oliver Reindl, der IT-Chef des Hauses, warnt: Man möge sich von der coolen Atmosphäre nicht täuschen lassen. Wenn es um Datenschutz und Datenverarbeitung geht, „müssen wir strikte Vorgaben einhalten“, sagt Oliver Reindl, fast so strikt wie bei einer Großbank. Das betrifft auch die generative künstliche Intelligenz (KI), mit der Abcfinance seit einigen Monaten experimentiert: „Wir wollen mit unserem eigenen Chatbot interne Effizienzen heben“, sagt Reindl, „können aber nicht einfach ein Konto bei OpenAI eröffnen und ein Produkt nutzen, von dem wir nicht wissen, wohin die Daten gehen.“
Um die KI-Dienste des amerikanischen ChatGPT-Erfinders nutzen zu können, sind Firmen gezwungen, ihre Daten an OpenAIs Rechenzentren in den USA zu senden – was laut europäischer Datenschutz-Grundverordnung (DSGVO) nicht erlaubt ist. Die Alternative für den Finanzdienstleister: eine KI-Lösung von Bots4You, einem mittelständischen IT-Anbieter mit Sitz in Mudersbach an der Grenze zu Siegen. „Wir setzen auf eigene spezialisierte und kompakte Sprachmodelle, die speziell für konkrete Aufgaben wie die von Abcfinance entwickelt werden und die wir auf eigenen Rechnern betreiben“, sagt Mervan Miran, Geschäftsführer von Bots4You. So will er insbesondere Datenschutzbedenken vieler deutscher Unternehmen entgegenkommen.
Sichere GenAI mit Alan
Generative KI ist nur nützlich, wenn eigenes Unternehmenswissen sicher und komfortabel eingebunden werden kann. Genau hier setzt die GenAI-Lösung Alan an. Was das besondere daran ist, erklärt Dr. Andrej Fischer im Video.
Datenschutz und Datenskepsis
Es ist ein Ansatz, der einen Nerv trifft. Seit dem Hype um ChatGPT vor gut einem Jahr bekunden auch viele hiesige Unternehmen Interesse an generativer KI. In der Praxis haben die Modelle der US-Konzerne in deutschen Firmen jedoch einen schweren Stand. Laut einer Umfrage des IT-Branchenverbands Bitkom nutzen erst drei Prozent der Unternehmen flächendeckend generative KI; weitere sechs Prozent haben den Einsatz für das laufende Jahr geplant. Es liegen also noch immer viele Daten brach in deutschen Firmen. Sechs von zehn Unternehmen nennen laut Bitkom den Datenschutz als wichtigstes Hemmnis (58 Prozent). „Viele deutsche Firmen fürchten, beim Einsatz ausländischer Sprachmodelle die Hoheit über ihre Daten zu verlieren“, sagt Peter Gentsch, Professor für internationale Betriebswirtschaft an der Hochschule Aalen und Gründer des AI Foundation Circle, eines Expertenkreises rund um generative KI: „Hier können Anbieter von Lösungen made in Germany eine gute und kostengünstige Alternative darstellen.“
So wie bei Abcfinance. Der interne KI-Assistent des Finanzdienstleisters soll im ersten Schritt Mitarbeitern helfen, sich in den vielfältigen Richtlinien und Arbeitsanweisungen des Finanzdienstleisters zurechtzufinden. Bei komplexeren Abfragen, so Reindls Erwartung, werde sich dadurch rund eine halbe Stunde Arbeit einsparen lassen. „Uns war aber vor allem wichtig, dass der Assistent stets die Quelle seiner Antwort angibt, damit das Ergebnis des Bots überprüft werden kann.“ In einem zweiten Schritt könnte der Bot im Vertragsmanagement eingesetzt werden und auf einfachem Wege Auskünfte über Bestandsverträge – etwa Laufzeiten oder Finanzrahmen – liefern.
Genau darauf hat sich Bots4You spezialisiert: Die Siegerländer haben den Chatbot in einer Pilotphase rund sechs Wochen trainiert; im ersten Schritt für 5 Testnutzer, im zweiten Schritt für 30 Nutzer. Die Daten werden bei Bots4You in einer sicheren Cloud-Umgebung in Deutschland verarbeitet. Bots4You wählt als Plattformanbieter die für den Anwendungsfall passenden Sprachmodelle aus und kümmert sich darum, dass der Sprachbot möglichst reibungslos funktioniert. „Dabei geht es nicht um einen Kampf der Sprachmodelle, sondern um eine intelligente Auswahl und Steuerung je nach Anwendungsfall“, sagt Bots4You-Chef Miran. Seit Mitte März läuft der Assistent stabil; aktuell wird er nach und nach für alle 600 Mitarbeiter von Abcfinance freigeschaltet. Auch die nächsten Schritte haben die Kölner bereits ins Auge gefasst: Die Verarbeitung von Serviceanfragen und Störungsmeldungen im IT-Bereich. „Wenn wir darauf den intelligenten Chatbot loslassen, hat dies ein riesiges Effizienzpotenzial“, sagt IT-Chef Reindl. Bis Ende dieses Jahres, hofft er, soll die KI so weit sein.
GenAI bei APPL
Die internen Abläufe verbessern will man auch bei APPL – einer mittelständischen Druckereigruppe aus Wemding, 20 Kilometer nördlich von Donauwörth – allerdings vor allem in der Produktion: Das Unternehmen mit rund 130 Millionen Euro Umsatz ist unter anderem spezialisiert auf den Druck von Werbebeilagen von Discountern wie Lidl oder Großhändlern wie Metro.
„Weil wir durch Corona im Beilagengeschäft ordentlich Umsatz verloren haben, ziehen wir seit vier Jahren eine digitale Transformation durch“, sagt Markus Appl, Chef und geschäftsführender Gesellschafter der APPL Holding.
Dazu zählt neben einer neuen Software zur Unternehmenssteuerung auch ein KI-System, das die Laufzeiten der Druckmaschinen verbessern soll. „Je weniger diese etwa bei Fehlern oder beim Umrüsten ausfallen, desto besser“, sagt Appl. Teilweise arbeiten bei ihm 20-jährige Mitarbeiter an Maschinen, die genauso alt sind; bei vielen Beschäftigten sei Deutsch nicht die Muttersprache. „Hier kann ein intelligenter mehrsprachiger Sprachassistent, der etwa unsere Handbücher, Bedienungsanleitungen und Vorgaben zur Arbeitssicherheit kennt, sehr hilfreich sein.“
Um den Bot zu bauen, hat APPL sich im vergangenen Jahr für eine selbst entwickelte Lösung des IT-Partners Comma Soft aus Bonn entschieden. Der Vorteil: „Unser Bot liefert keine Antworten aus einem Sprachmodell mit dem gesamten Weltwissen, sondern ist APPL-spezifisch trainiert“, sagt Benjamin Schulte, Chief Operating Officer von Comma Soft. Zu diesem Zweck haben Schultes Leute ihr Sprachmodell Comma LLM mit den Handbüchern, Maschinenplänen und anderen firmenspezifischen Daten von APPL gefüttert. Der KI-Assistent läuft bei Comma Soft in einer eigens abgesicherten IT-Umgebung. „Das war uns zum Schutz unseres geistigen Eigentums wichtig“, sagt Appl. Je nach Einsatzzweck können Kunden neben Comma LLM, das die Bonner unter dem Namen Alan vermarkten, auch andere Sprachmodelle nutzen, die Comma Soft sicher für sie betreibt.
So nutzt APPL die GenAI-Lösung Alan in der Produktion:
Ein sicheres Effizienzplus
Wie das smarte Hilfssystem von APPL funktioniert, lässt sich in den Produktionshallen in Wemding besichtigen: Auf den rund 45 Meter langen Maschinen werden die Prospekte der auftraggebenden Einzelhändler gedruckt. „Wenn es früher einen Fehler gab, hat der Schichtleiter diesen per Zettel an die Werkstatt gemeldet“, sagt Appl. Heute muss der Bediener nur sein Handy zücken und eine Problembeschreibung in einer App eingeben, in der das Comma-Sprachmodell samt Bedienungsanleitung hinterlegt ist.
„Der Rechen schließt nicht“, tippt Schichtleiter Benjamin Dürnberger in sein Smartphone – und fügt ein selbst geschossenes Foto hinzu. Nach Drücken des „Hilfe“-Knopfes in der App spuckt der Algorithmus sogleich seine Antwort aus: „Fehlfunktion der Lichtschranke oberer Korb“ – sowie eine PDF-Seite als weiterführende Quelle. Funktioniert die Maschine dank des Bots wieder, kann Dürnberger auf „erledigt“ tippen – wenn das nicht klappt, erhält die Werkstatt einen Reparaturauftrag.
Ein weiterer Vorteil des Systems: „Jede Maschine erzeugt Fehlercodes, diese bringen wir mit den Bildern zusammen“, sagt Appl, „dadurch lernt das Sprachmodell weiter.“ Mittelfristig soll das System sogar noch mehr können: Durch den Vergleich von Vorher- und Nachher-Aufnahmen in der Werkstatt soll die KI etwa die typischen Abnutzungserscheinungen von Druckwalzen erkennen.
KI Made in Germany
Selbst Unternehmen, die aufgrund einer konzernweiten IT-Politik an einen US-Softwareanbieter gebunden sind, können sich mit einigen Kniffen eine Art generative KI made in Germany schaffen. Der japanische Automobilhersteller Toyota etwa ist über eine globale Partnerschaft eng mit Microsoft verknüpft; aus diesem Grund nutzt das Unternehmen weltweit Dienste wie das Büropaket Office 365 oder den Microsoft-Cloud-Dienst Azure. „Europäische Toyota-Daten werden dabei in der Region Westeuropa oder Zentraleuropa von Microsoft in Amsterdam oder Frankfurt gespeichert“, sagt Peter-Pascal Meik, Manager Innovation & Projects in der Toyota-Deutschland-Zentrale in Marsdorf ganz im Westen Kölns: „So halten wir die DSGVO ein – daran sind auch wir gebunden.
Gleichwohl hat er für seinen eigenen Sprachassistenten ToyoGPT eine eigene KI-Plattform bauen lassen, auf der verschiedene Sprachmodelle arbeiten. Der KI-Bot soll interne Toyota-Mitarbeiter bei Routinetätigkeiten unterstützen, aber auch Toyota-Händlern einfacheren Zugriff auf Handbücher und technische Daten gewähren. „ToyoGPT läuft in der eigenen Azure-Cloud von Toyota, aber alle Daten verbleiben bei Toyota, und Microsoft verwendet die Daten nicht zum Trainieren“, sagt Oliver Mayer, Digitalstrategie-Berater von Objective Partner, dem IT-Partner von Toyota aus dem nordbadischen Weinheim.
Das Team von Mayer hat sich in dem KI-Projekt unter anderem um eine Methode zum Anbinden von Dokumenten an das Sprachmodell gekümmert. Dabei wird der KI mit jeder Nutzeranfrage eine Datenbasis geliefert, die sie als Grundlage für ihre Antwort nutzt. Das Handbuch des Toyota-Modells Yaris etwa umfasst 600 Seiten und bildet die Grundlage für den Sprachassistenten. Fragen der Nutzer an den Sprachassistenten bedeuten also, dass er „quasi mit dem Handbuch chattet“, sagt Mayer: „So können wir Unternehmensdaten für Sprachassistenten nutzbar machen.“
Auf ToyoGPT haben heute bereits alle Toyota-Beschäftigten in Deutschland sowie eine Handvoll Händler Zugriff; im nächsten Schritt sollen alle Händler eingebunden werden. Neue Funktionen sind bereits in Planung. „Wir denken da beispielsweise an die Händlerunterstützung per Sprachbot“, sagt Innovationsmanager Meik: „Schließlich weiß kein Verkäufer die Kofferraumvolumina sämtlicher Toyota-Fahrzeuge auswendig.“
Mehr als GenAI
(Generative) KI ist nur eines der spannenden Tech-Themen, mit denen wir uns beschäftigen. Wir unterstützen Sie auch bei Strategien und Lösungen rund um Ihre Datenlandschaft, Business Aanalytics, Cyber-Security u.v.m.
Stöbern Sie für Inspiration in unserem Blog und unseren Cases – oder sprechen Sie uns direkt an!