5 Thesen zu Machine Learning Operations (MLOps)

Machine Learning Operations (MLOps) bietet eine Lösung für diese Problematik: So wie DevOps die Produktivität von Softwareentwicklern gesteigert hat, umfasst MLOps eine Reihe an Praktiken und Methoden für die schnellere Entwicklung und einen nachhaltigeren Betrieb ML-basierter Lösungen. Warum ist MLOps wichtig, wenn Sie Ihr Unternehmen datengetrieben aufstellen wollen? Und was bedeutet MLOps in der Praxis? Da Technologie und Begrifflichkeit immer noch neu sind und unterschiedlich verwendet werden, betrachten wir diese zunächst näher. Anschließend werden wir anhand von 5 Thesen zu MLOps die Relevanz dieses Themas für die datengetriebenen Geschäftsmodelle der Zukunft illustrieren.

Was ist MLOps? Überprüfung gängiger Definitionen

Eine einheitliche Definition von Machine Learning Operations (MLOps) gibt es derzeit nicht, da es sich hier um ein relativ neues Konzept handelt. Populärwissenschaftliche Quellen wie Wikipedia verstehen darunter „eine Reihe von Praktiken, die darauf abzielen, Modelle des maschinellen Lernens zuverlässig und effizient in der Produktion einzusetzen und zu warten.“ Die erwähnten Praktiken werden häufig auf technologische Aspekte reduziert und ignorieren dabei, dass auch Menschen mit ihren Rollen, Fähigkeiten und Methodenkompetenzen sowie die Prozesse in einem Unternehmen eine wichtige Rolle spielen. Nimmt man diese Ebenen hinzu, ergibt sich ein ganzheitliches Konzept, dessen Ziel es ist, datenbasierte Services in kurzen Entwicklungszyklen in den produktiven Einsatz zu bringen und zu betreiben, damit sie schnell einen wirtschaftlichen Mehrwert erzeugen und Menschen entlasten. Dieses Konzept ist dabei flexibel und umfasst nicht ein konkretes Schema. Vielmehr ist es eine Sammlung von verschiedensten Data Science– und Software Development-Ansätzen sowie von Best-Practices rund um Machine Learning (ML).

In der Praxis heißt das, dass durch MLOps viele verschiedene ML-Modelle kurzfristig in die operative Nutzung gebracht werden und für die Verbesserung von Geschäftsprozessen sorgen. Das gesamte ML-System muss dabei überwacht werden, um dessen Betrieb sicherzustellen. Daraus entstehen hohe Anforderungen auf den drei Ebenen „Prozesse“, „Technologien“ und „Menschen“. MLOps umfasst daher auch das Gesamtmanagement aller ML-Modelle innerhalb einer Organisation auf diesen drei Ebenen.

Die Vorteile von MLOps

Wenn ML-Modelle schnell in Betrieb genommen und kontinuierlich nachtrainiert sowie sauber in die bestehende IT-Landschaft integriert werden, können Unternehmen viele Prozesse verschlanken und optimieren: von internen Prozessen über den Kundenservice bis hin zu Fertigungs- und Produktionsprozessen. MLOps hilft dabei, Machine Learning schnell und reibungslos im operativen Geschäft bereitzustellen:

• Schnellere Bereitstellung von mehr ML-Modellen dank automatisierter Prozesse
• Optimierung der Produktivität von ML-Lösungen durch Integration und Wiederverwendung von Machine Learning-Models und -Algorithmen
• Schonen von Ressourcen für Administration und Wartung und damit Entlastung der IT-Abteilung und der Data Science-Teams
• Steigerung der Qualität von Prozessen und Daten im Machine Learning Lifecycle durch kontinuierliche Überwachung und Aktualisierung des jeweiligen ML-Modells (Continuous Integration und Continous Delivery, CI/CD)

MLOps und DevOps: Unterschiede und Gemeinsamkeiten

Der Begriff MLOps erinnert an DevOps und ist tatsächlich daran angelehnt, aber zeitlich etwas später entstanden. Bei DevOps geht es um eine Reihe von Praktiken und Tools, welche die Arbeit der Softwareentwicklung (Dev) und des IT-Betriebs (Ops) miteinander verzahnen und z. T. durch automatisierte Prozesse unterstützen. Ziel ist es, die kontinuierliche Bereitstellung von Software zu gewährleisten. Dies wird durch einen hohen Grad an Automatisierung erreicht, u. a. bei der Integration, bei Tests und bei der Implementierung von Code. Durch die Bündelung beider Verantwortungsbereiche in einem Team wird dabei der Lifecycle der Entwicklung von Software-Systemen verkürzt und qualitativ verbessert.

Bei MLOps werden ähnlich wie bei DevOps die Namensbestandteile Machine Learning und Operations miteinander verzahnt. Zusätzlich kommt das Data Engineering hinzu, welches die Datenerfassung, die Datenvorbereitung und die Datenverarbeitung über den gesamten Lifecycle der Daten umfasst. Es ist die Voraussetzung, dass qualitativ hochwertige Daten in ausreichender Menge vorhanden sind, mit denen Machine Learning-Algorithmen trainiert und Modelle optimiert werden können. Zusätzlich zum Code kommen so auch Datenverwaltung und -analysen hinzu. Sie werden mit der Software-Entwicklung und -Bereitstellung zusammengedacht und iterativ umgesetzt.

Die strategische Relevanz von Machine Learning Operations

Kaum eine Branche oder ein Unternehmen hat Künstliche Intelligenz und damit maschinelles Lernen nicht als eine Schlüsselkompetenz identifiziert. Viele Unternehmen verwenden bereits Machine Learning in ihren Produkten und Services, und der Anteil an Unternehmen, die ML nutzen, steigt laut Bitkom kontinuierlich. Ist MLOps nur ein kurzfristiger Trend? Wie lässt sich die Relevanz von Machine Learning Operations mit Blick auf die Zukunft einschätzen? Die folgenden fünf Thesen geben Aufschluss über die Zukunftsfähigkeit von MLOps:

5 Thesen zu MLOps

1. Geschäftsmodelle der Zukunft sind datengetrieben

Jedes Geschäftsmodell, jedes Produkt, jeder Service kann durch Erkenntnisse aus Daten optimiert werden. Diese Optimierung entscheidet darüber, wer sich am Markt durchsetzt. Datengetrieben werden insbesondere Preis und Qualität der Services verbessert und Produkte attraktiver gemacht. Indem den Kunden passgenauere und auf ihre Bedürfnisse zugeschnittene Lösungen und Produkte angeboten werden, wird die Konkurrenzfähigkeit erhöht. Außerdem lassen sich durch Daten auch zahlreiche interne Prozesse optimieren und Mitarbeiter:innen von monotonen, zeitraubenden Aufgaben entlasten. Sie haben dadurch mehr Zeit, sich strategischen Themen oder der Kundenbetreuung zu widmen, wodurch sich die Wettbewerbsfähigkeit des Unternehmens wiederum verbessert.

2. Maschinelles Lernen ermöglicht datengetriebene Produkte und Services

Die von Maschinellem Lernen (ML) in Daten erkannten Muster ermöglichen eine Vielzahl von Anwendungen. Services und Produkte, die in der Vergangenheit zu personal- oder kostenintensiv waren, werden machbar. Entscheidungen, die heute Fachkräfte binden, können mit ML-Verfahren automatisiert werden, zum Beispiel die Erkennung und Extraktion von Informationen zu Anliegen von Kunden. Auch die Bearbeitung von komplexen Sachverhalten kann durch ML unterstützt werden, indem Referenzmaterial semantisch auffindbar gemacht wird. Informationen, die in menschlich nicht zu erfassenden Datensätzen vorhanden sind, können verwendet werden, um bessere und schnellere Entscheidungen zu treffen.

3. Datengetriebene Produkte und Services erfordern ML in allen Aspekten

Um das volle Potenzial der Unternehmensdaten auszuschöpfen, muss ML in immer kleinteiligere Entscheidungen eingreifen und umfassend in operative Prozesse integriert werden. Dabei bringt jede durch ML getroffene Entscheidung eine kleine Effizienzsteigerung. In Summe entstehen hochgradig automatisierte und optimierte Geschäftsmodelle. Zudem müssen Prozesse und Produkte so gestaltet werden, dass nutzbare Daten anfallen und der vielfältige Einsatz von ML ermöglicht wird.

4. Unternehmen müssen eine Vielzahl von ML-Services umsetzen können

Die Anwendung von ML in allen Aspekten der Unternehmensprodukte erfordert die Umsetzung einer Vielzahl von ML-Services, die in alle Produkte und Prozesse des Unternehmens integriert werden müssen. Da diese Services fachliche und technische Betreuung benötigen, kommt es hier leicht zu Ressourcenengpässen. Der Overhead für jeden neuen ML-Service muss gering gehalten werden – sowohl in der Entwicklung als auch im Betrieb. Dies erfordert einen hohen Grad an Standardisierung und Automatisierung, der im ML-Bereich häufig noch nicht vorhanden ist.

5. MLOps ist das Paradigma, um ML effizient im Unternehmen umzusetzen

MLOps bildet die technologische und organisatorische Basis, um ML in alle Produkte und Services eines Unternehmens zu integrieren. So wie DevOps und Agile die Entwicklung von Software verschlankt und beschleunigt haben, verschlankt und standardisiert MLOps die Entwicklung und Bereitstellung von ML-basierten Services und ermöglicht so die nächste Generation von datengetriebenen Geschäftsmodellen.

Wesentliche Aspekte und Voraussetzungen für den Erfolg von MLOps

Die Vielzahl an ML-Plattformen und sonstigen Tools zeigt, dass das Thema MLOps oft auf seine rein technologischen Aspekte reduziert wird. Dies greift in der Praxis zu kurz und führt nicht zu dem gewünschten Erfolg, da der Faktor Mensch unberücksichtigt bleibt. MLOps erfordert vielmehr einen Wandel in mehreren Bereichen: technologisch, auf der Prozessebene und menschlich.

Menschliche Ebene

• Enablement der Mitarbeiter:innen, die mit Machine Learning arbeiten bzw. deren Arbeit dadurch unterstützt wird
• Change & Adoption Management für alle Abteilungen, deren Arbeitsweise durch Machine Learning tangiert wird
• Aufbau von Rollen & Verantwortlichkeiten für den Betrieb von MLOps
• Aufbau von interner Software Development-Expertise bzw. Unterstützung durch externe Expert:innen

Prozessebene

• Aufbau von Prozessen & Plattformen, mit denen die ML-Modelle entwickelt, evaluiert & betrieben werden
• Automatisierung von Machine Learning- & Data Science-Prozessen
• Einrichtung von ML-Pipelines & Verfahren für Testing & Monitoring
• Etablieren von kommunikativen Prozessen im Team und von Qualitätsstandards

Technologische Ebene

• Einrichten einer Plattform, auf der Code und Machine Learning Models entwickelt, evaluiert und betrieben werden
• Aufbau der nötigen IT-Architektur, Notebook-Umgebungen & ML-Pipelines
• Aufbereitung & ggf. Beschaffung von Trainingsdaten
• Einrichtung von compliance-konformen Cloud-Plattformen & Zugang zu Code & Modellen aus Open Source-Quellen

Herausforderungen von ML-Systemen

Technische Herausforderungen

Eine große Herausforderung von ML-Systemen ist der langfristige Betrieb und in diesem Kontext die stetige Überwachung, Anpassung und Weiterentwicklung der Systeme. Wenn technische Lücken entstehen, was bei komplexen Systemen naturgemäß relativ häufig der Fall ist, entstehen hohe Kosten in der Weiterimplementierung und Wartung. Im schlimmsten Fall können die Machine Learning-Lösungen sogar ausfallen. Durch den hohen Automatisierungsgrad, der bis ins Testing, Monitoring und in die Bereitstellung hineinreicht, sowie durch die Veränderung im Mindset der Organisation kann MLOps dem entgegenwirken.

Ethische Herausforderungen

Eine weitere Herausforderung, die in letzter Zeit immer häufiger auftritt, ist die Frage nach der Vertrauenswürdigkeit von auf Machine Learning basierenden Entscheidungen:

• Wie entstehen Entscheidungen durch ML? Sind sie fair und diskriminieren sie niemanden?
• Wie robust & sicher sind die Systeme & Modelle? Welche Vorkehrungen sind nötig, um das Risiko von Cyber-Angriffen zu minimieren?
• Wie sieht der Datenschutz aus? Werden Regularien wie die EU-DSGVO eingehalten?
• Wie erfolgt die Kontrolle von ML-Lösungen & ML-basierten Entscheidungen?

Nach den Grundsätzen der Digitalen Ethik müssen diese Aspekte beim Einsatz Künstlicher Intelligenz berücksichtigt werden, also auch bei Machine Learning. MLOps hilft dabei, die Anforderungen an eine vertrauenswürdige KI zu erfüllen, indem z. B. eine regelmäßige Überwachung der ML-Systeme erfolgt und außerdem neben der technischen und der Prozessebene auch die menschliche Ebene Beachtung findet.

Wie gelingt die Umsetzung von MLOps in der Praxis?

Es gibt zahlreiche Praktiken und Ansätze für MLOPs. Wer diese vielschichtigen Aspekte kennt, weiß, welche Stellschrauben auf welcher Ebene angepasst werden müssen, um die Lücken schnell und nachhaltig zu schließen. MLOps wird zumeist in interdisziplinärer Zusammenarbeit zwischen Data Scientists, Machine Learning Engineers und Product Ownern der Fachbereiche umgesetzt. Für eine erfolgreiche Nutzung von Machine Learning mit MLOps hilft die Orientierung an den folgenden Leitplanken:

1. Datenqualität & -quantität berücksichtigen

Machine Learning bedarf einer ausreichend großen Datenmenge, mit der die Algorithmen trainiert werden. Gerade mittelständische Unternehmen verfügen im Vergleich zu Konzernen nicht immer über ein solches Datenmeer und müssen aufstocken. Eine Möglichkeit dafür ist die Zusammenarbeit mit Partnern aus der eigenen Branche mittels Federated Learning. Dabei werden ML-Modelle jeweils im eigenen Unternehmen trainiert und mit denen anderer Unternehmen ausgetauscht. So müssen die ursprünglichen Daten nicht die jeweilige Organisation verlassen. Wer eigene Daten für Machine Learning nutzen möchte, wird ein BI-Tool hilfreich finden, das beim Identifizieren und Klassifizieren der relevanten Daten hilft.

2. Use Case Roadmap im Blick behalten

Auch wenn Machine Learning und Künstliche Intelligenz in aller Munde sind und viele Projekte auch den Proof of Concept schon bestanden haben, fehlt oft der Entscheidende Schritt für die Umsetzung ins operative Geschäft. Um hier nicht stehen zu bleiben, sollten frühzeitig die Use Cases identifiziert werden, die durch ML unterstützt werden sollen. Diese werden idealerweise nach dem zu erwartenden Erfolg gestaffelt: Quick Wins kommen auf der Roadmap als Erstes, komplexere Cases später. So kann ein Unternehmen schrittweise vorgehen und aus den ersten Cases für weitere Projekte lernen, ohne dass ein zu großes Investment-Risiko entsteht.

3. Agil und step-by-step vorgehen

Die Vision eines komplett KI- und datengetriebenen Unternehmens weist die Richtung, wenn es darum geht, die Zukunfts- und Wettbewerbsfähigkeit zu erhalten und auszubauen. Doch Unternehmen brauchen neben langfristigen auch kurzfristig umsetzbare Lösungen, die einen Unterschied machen. Ein agiles Vorgehen macht genau das möglich. Dafür lohnt es sich, auf kleine Teams zu setzen, die drei verschiedene Kompetenzen abdecken: Data Science-, Fach- und IT-Infrastruktur-Kompetenz. So können ML-Lösungen nach den Prinzipien und Methoden von MLOps entwickelt werden.

4. Auf eine zentrale Plattform & API-First setzen

Kleine, agile Data Science-Teams entwickeln im besten Fall auf einer zentralen ML-Plattform eigenständig ML-Services. Ideal ist hierbei die interdisziplinäre Zusammenarbeit zwischen Data Scientists, Machine Learning Engineers und Product Ownern aus dem Fachbereich. Der Austausch von Informationen zwischen den Bereichen wird durch standardisierte Schnittstellen ermöglicht. Hier erweist sich ein API-First-Ansatz als beste Lösung für das Unternehmen. Die Data Science-Teams sind sowohl technisch als auch prozessual befähigt, ML-Services für Fachbereiche eigenständig bereitzustellen.

5. Aktualität bei Daten & Modellen sicherstellen

Nach der Inbetriebnahme eines ML-Service bleiben die Data Science-Teams fachlich für den Service verantwortlich und haben die Möglichkeit, die Services zu überwachen und weiterzuentwickeln. Dies ist auch unabhängig von Release-Zyklen der sonstigen Applikationen der Fachbereiche möglich. Da sich alle operativen Daten regelmäßig verändern, ist die schnelle und regelmäßige Aktualisierung der ML-Modelle ein wesentliches Erfolgskriterium.

6. Automatisieren & Aufwand reduzieren

Durch einen hohen Automatisierungsgrad kann der Aufwand für Überwachung und Integration neuer Daten möglichst gering gehalten werden. Die zentrale Plattform unterstützt die Teams dabei von Anfang an, vollautomatisierte Abläufe umzusetzen und schont Ressourcen. Container-Technologien und Versionskontrollsysteme stellen die Reproduzierbarkeit und Auditfähigkeit sicher, die für einen zuverlässigen Betrieb notwendig sind.

Beispiele für KI-Lösungen auf Basis von Machine Learning Operations

Nächste Schritte

Comma Soft bringt langjährige Erfahrung aus zahlreichen Projekten bei DAX- und großen Mittelstandskunden mit und unterstützt Strategie, Konzeption und Umsetzung von ML- und MLOps-Projekten. Wir begleiten unsere Kunden beim Assessment der aktuellen Ansätze, ML-Services im Unternehmen zu entwickeln und in die eigenen Produkte zu integrieren. Gemeinsam mit unseren Kunden erstellen wir eine maßgeschneiderte Gap-Analyse, die die individuellen Anforderungen des jeweiligen Unternehmens berücksichtigt.

Wir unterstützen Sie bei der Auswahl von neuen und bei der Konfiguration bestehender Tools für MLOps, bereiten zusammen mit Ihnen Trainings zur Etablierung von Best Practices vor und führen diese durch. Als Sparrings-Partner in den ersten Projekten mit MLOps gestalten wir zusammen mit Ihrer IT und den Fachbereichen Prozesse, die eine schnelle und sichere Integration von ML in Produkte und Services ermöglichen.

Wenn Sie mehr zu MLOps und den Einsatzmöglichkeiten in Ihrem Unternehmen erfahren möchten, kontaktieren Sie gerne Dr. Lars Flöer.