Lessons Learned - Aus gescheiterten KI-Projekten lernen

Künstliche Intelligenz als Technologie der Zukunft

Künstliche Intelligenz (KI) ist in aller Munde. Viele Unternehmen haben KI-gestützte Automatisation als eine der Haupttechnologien in ihrem Businessplan für die nächsten fünf bis zehn Jahre. Doch steckt hinter jeder Neueinführung von Technologien oft mehr als nur der wirtschaftliche Mehrwert. Wird zu schnell und unbesonnen an die Thematik herangegangen, kann das Risiken und Probleme mit sich bringen. Das zeigt sich gerade auch in Projekten zu künstlicher Intelligenz. In diesem Artikel wollen wir uns diese Gründe ansehen und herausfinden, welche Stellen eines Projekts lieber nochmal genauer durchdacht werden sollen.

Wieso KI-Projekte scheitern

Die Gründe wieso KI-Projekte scheitern sind so vielfältig, wie die Anwendungsfälle selbst. Wir haben uns gescheiterte KI-Projekte aus den verschiedensten Branchen angeschaut und 9 Schlüsselstellen identifiziert, wieso KI-Projekte scheitern. Die Ergebnisse wollen wir gerne mit euch teilen.

#1 Größe und Art des KI-Projekts

Es ist essenziell, ein KI-Projekt mit einem klar definierten Ziel und Ressourcen zu beginnen. Ein ehrgeiziges Projekt erfordert einen hohen technischen Aufwand und einige organisatorische Veränderungen. Deshalb ist es wichtig vor Beginn eines Projekts die Bereitschaft für eine solche Investition zu prüfen. Nicht nur finanziell, denn es kann durchaus vorkommen, dass unsaubere Datensätze erst einmal grundlegend bereinigt und organisiert werden müssen, bevor das KI-Projekt richtig starten kann. Denn um KI erfolgreich zu implementieren, müssen Unternehmen klare und konsistente Datensätze auswählen und sich auf Qualität und gründliche Katalogisierung konzentrieren.

Gleichzeitig sorgt eine genaue Definition des Projektziels auch für den nötigen Mehrwert. Hier sollte darauf geachtet werden, dass ein entscheidender Einfluss auf die Ziele des Unternehmens gegeben ist. Nur wenn sich ein Projekt mit den Geschäftszielen vereinbaren lässt und auf die Notwendigkeit konzentriert, rechtfertigt die Umsetzung die Risiken. Denn es darf nicht vergessen werden, dass Projekte auch scheitern können, z.B. an Datenmangel oder Ungenauigkeit der KI. Projekte können noch so lukrativ oder interessant sein, ohne ein klares Ziel führen sie nicht zum Erfolg. Denn nur wenige Unternehmen können sich die Kosten für Forschungsarbeiten zu KI dauerhaft leisten. Deshalb sollten die Anstrengungen klar auf der Anwendungsseite verortet werden.

#2 Realistische Erwartungen

Bevor ein neues KI-Projekt startet, sollte die Erwartungshaltung der verschiedenen Stakeholder geklärt werden. Denn einige Entscheidungstragende erhoffen sich zu schnell, qualitativ hochwertige Ergebnisse. Dies kann dafür sorgen, dass bei der Umsetzung nicht die nötige Achtsamkeit gewahrt wird und Projekte über kurz oder lang scheitern.
KI-Projekte können beispielsweise nicht mit agiler Softwareentwicklung verglichen werden, es ist nicht möglich alle zwei Wochen eine neue Version zu liefern.

Für eine erfolgreiche KI-Einführung muss die Unternehmenskultur Experimente, Lernprozesse und Misserfolge unterstützen. Des Weiteren benötigt sie Zeit, Ressourcen und eine große Menge an fundierten Daten. Die Erwartung menschlicher Genauigkeit zu Beginn oder die Forderung nach sofortigen Ergebnissen wird die Chancen auf einen Misserfolg nur erhöhen. Daher ist das Management der Erwartungen ein essenzieller Softskill in der Einführung von KI-Lösungen. Denn generell ist die Dauer nicht zu unterschätzen, die der Einsatz von KI benötigt, um einen geschäftlichen Mehrwert zu liefern.

#3 Dauer des KI-Projekts

Der Erfolg von KI-Projekten beruht auf dem Verständnis von Daten. Wird ein KI-Modell über ein zu kleines Zeitfenster trainiert kann es vorkommen, dass sie nicht mit seltenen Ereignissen umgehen kann, da diese bisher noch nicht aufgetaucht waren.
Die strategische Entscheidung, wie groß ein geeignetes Zeitfenster aussehen sollte und wann dieses gesetzt wird, sollte das Entwicklerteam zusammen mit denjenigen treffen, die später mit den Ergebnissen des Modells arbeiten. Es gilt einen Zeitraum zu wählen, der das richtige Maß an Veränderungen für den Kunden erfasst. Die Basis bildet hier am besten eine explorative Analyse.

#4 Compliance

Ein weiterer meist unterschätzter Punkt in KI-Projekten ist das Dateneigentum. Teilweise nutzen Unternehmen Kunden- oder Maschinendaten, ohne dabei zu wissen, ob diese Daten verwendet werden dürfen. Es ist wichtig Unternehmen daran zu erinnern, dass, nur weil sie Zugang zu diesen Daten haben, sie diese nicht beliebig einsetzen und verwenden dürfen. Gerade durch die DSGVO werden Daten nicht nur zu einem Wertgegenstand, sondern auch zu einer Belastung.

Aussicht

Das waren jetzt erst einmal sehr allgemeine Punkte. Die Größe und Art eines Projekts, dessen Dauer und die Erwartungshaltung sollten vor Beginn des KI-Projekts gut durchdacht werden. Gleichzeitig muss auch geklärt sein, welche Daten dürfen rechtlich genutzt werden und welche nicht. Doch gibt es natürlich noch weitere Gründe wieso KI-Projekte scheitern. Hierzu gehören zum Beispiel der Datensatz, die Skalierbarkeit und auch der Implementationsprozess. Mit diesen und weiteren Themen werden wir uns im 2. Teil unser Blogserie beschäftigen.

Wieso KI-Projekte noch scheitern

Im zweiten Teil der Serie geht es vermehrt um Punkte wie Datenqualität und Skalierbarkeit. Es werden aber auch Themen wie Präzision der KI und deren Implementierungsprozess genauer angeschaut. Auch mit der Evaluation der KI sollte sich schon vor Beginn des Projekts beschäftigt werden. Hier also 5 weitere Gründe, die zum Scheitern eines KI-Projekts führen können:

#5 Daten

Nur ein Bruchteil der Entscheidungsträger verstehen bereits heute die vollständige Bedeutung eines guten Datensatzes zum Trainieren einer KI-Lösung. Dieser Mangel an kurierten Daten ist einer der größten Pain Points beim Übergang von Prototypen in ein Produktivsystem.

In den meistens Fällen liegt das nicht daran, dass es nicht genügend Daten gibt, sondern daran, dass Daten weggeschlossen und schwer zugänglich sind. Dieser Punkt tritt vor allem bei größeren Unternehmen auf. Hier dauert es häufig lange die notwendigen Daten zu sammeln, da die Daten durch mehrere Instanzen freigegeben werden müssen. Deswegen wird für das Training der KI-Lösung meist nur ein Datenausschnitt genutzt. Maschinelles Lernen funktioniert jedoch nicht, wenn die möglichen Trainingsdaten starr in einem Silo gespeichert sind.

Ein weiteres häufig auftretendes Problem ist die Datenqualität. Datenqualitätsprobleme können viele verschiedene Formen annehmen. Typischerweise liegen Daten in einem unerwarteten oder beschädigten Format vor. Daher ist es wichtig, die Datenqualität zu prüfen, bevor über eine KI-Lösung nachgedacht wird. Sollten Datenqualitätsprobleme vorliegen, ist das Unternehmen noch nicht für eine fundierte KI- Lösung bereit. Sinnvoll ist es hier einen Schritt zurück zu gehen und eine Datenmanagementstrategie zu definieren. Erst wenn diese erfolgreich umgesetzt und eingehalten wird, sollte mit der Umsetzung des KI-Projekts gestartet werden.

#6 Skalierbarkeit

Zu Beginn eines Projekts sollte der technologische Reifegrad von KI berücksichtigt werden. So ist es unwahrscheinlich, dass eine Predictive Maintenance Lösung schnell eine hohe Genauigkeit (> 95%) erreicht.

Die andere Sache, die mit Skalierbarkeit zusammenhängt, ist die Frage der Datenmenge. So sollte der Fakt, dass die KI-Lösung im Produktivbetrieb mit wesentlich höheren Datenmengen und Benutzerzahlen konfrontiert wird als in der Prototypenphase, nicht vernachlässigt werden. Deshalb ist es wichtig, vor der Übernahme in die Produktion, zu überlegen, ob die Lösung weiterhin wie gewünscht funktioniert, auch wenn die zu verarbeitende Datenmenge mit der Zeit ansteigt. Hierzu können vor dem Übergang in das produktive System bereits Stresstests mit hohen Benutzerzahlen und Datenmengen durchgeführt werden.

#7 Implementationsprozess

In einem KI-Projekt kann der Implementationsprozess durch die verwendeten Modelle beeinflusst werden. Der Hauptunterschied bei Machine Learning (ML)-Modellen besteht darin, dass sie entweder der Erklärung oder der Vorhersage Vorrang geben. Ist das Ziel des KI-Projekts ein Einblick in die reale Welt zu geben? Dann ist es wichtiger, dass das Modell eine überzeugende Erklärung dessen liefert, was es tut. Hochpräzise Vorhersagen zu erstellen ist zweitrangig. Folglich bedeutet dies, dass Datentransformationen und die Modellauswahl einfach gehalten werden müssen. Wenn das Ziel darin besteht, genaue Vorhersagen zu liefern, könnten andere Ansätze besser geeignet sein. Hier ist es möglich, sich auf komplexe Modelle, wie neuronale Netze zu verlassen, die eher wie "Black Boxes" funktionieren.

In der Vergangenheit kam es in Projekten oft vor, dass aufgrund eines falsch verstandenen Projektziels, das Projekt von Grund auf neu strukturiert und konzipiert werden mussten. Deshalb sollte sich gleich zu Beginn die Frage gestellt werden, welche Ziele die KI verfolgen soll.

#8 Präzision der KI

Ein hohes Maß an Genauigkeit zu erreichen gilt als der heilige Gral eines KI-Projekts. Dabei ist es besonders wichtig zu wissen, dass eine 100%ige Genauigkeit aus technischen Gründen unmöglich ist. Welches Maß an Genauigkeit für das KI-Projekt ausreichend ist? Das hängt zum einen vom Ziel ab, welches mit der KI-Projekt verfolgt wird und zum anderen von den Kosten, die entstehen, wenn sich die KI irrt. Um dies zu ermitteln, müssen Unternehmen ihr Vertrauen in die KI-Lösung gegen das Risiko und die Kosten des Fehlers abwägen. Dazu müssen die Kosten einer falschen Vorhersage im Vorfeld bereits durchkalkuliert und einberechnet werden. Auch hier spielen die Qualität und Menge der verfügbaren Daten wieder eine Rolle, da auch sie die Genauigkeit des Modells mitgestalten. Ein damit einhergehendes Problem ist das sogenannte "Overfitting". Es mag beeindruckend klingen, ein Modell zu haben, das zu 99% genau ist, aber wenn es nicht robust gegenüber wechselnden Bedingungen ist, ist ein Modell, welches zu 70% genau ist, eventuell besser geeignet.

#9 Evaluation der KI

Der Lebenszyklus eines KI-Projekts ist eigentlich nie abgeschlossen. Tatsächlich ist es während der Prototypenphase immer möglich, die Vorhersagen eines Modells zu verbessern. Im Rahmen einer KI-Einführung muss es jedoch einen bestimmten Zeitpunkt geben, an dem die erste Version der Lösung steht. Ist nicht genügend Zeit für die Untersuchung verschiedener Modelle eingeplant, wird möglicherweise das Modell, welches für den speziellen Datensatz des Unternehmens am besten geeignet ist, nicht berücksichtigt. Gleichzeitig kann nicht endlos Zeit in die Verbesserung eines Modells investiert werden, nur um Bruchteile eines Prozents zuverlässiger zu werden. Die zusätzlichen Personal- und Computerressourcen sind nämlich nicht zu vernachlässigen. Daher sollten vor Beginn klare Richtlinien definiert werden. So lassen sich Erfolgskriterien (KI-Genauigkeit, Release Zyklen, etc.), die mit dem KI-Projekt verbunden sind, festhalten. Diese erleichtern die Einschätzung der Dauer für die Testphase der unterschiedlichen Modelle.

Fazit

Eine KI-Einführung kann aus unendlich vielen Gründen und zu unterschiedlichen Zeitpunkten scheitern. Deswegen sollten KI-Projekte klar definiert und strukturiert werden, bevor mit der Planung und Umsetzung begonnen wird. Wichtig ist, dass man sich des Ziels der KI-Lösung sicher ist und dahingehend die passenden Modelle und Vorgehensweise wählt. Ich hoffe, dass durch diese zwei Artikel ein besseres allgemeines Verständnis für die möglichen Komplikationen in einem KI-Projekt geschaffen wurden und in Zukunft viel über erfolgreiche KI-Einführungen gelesen werden kann.