KI einführen im Mittelstand: Was der Geschäftsführer entscheiden, prüfen und verantworten muss
Dieser Artikel wurde mit KI-Unterstützung erstellt
Text und Bilder dieses Beitrags wurden mithilfe von KI-Systemen erzeugt. Gekennzeichnet nach Art. 50 Abs. 4 der EU-KI-Verordnung (AI Act). Verantwortlich für die Veröffentlichung: ArkeonTech.
Künstliche Intelligenz ist in den meisten Unternehmen angekommen - der Gewinn daraus bei den wenigsten. 88 Prozent der von McKinsey befragten Organisationen nutzen KI in mindestens einem Unternehmensbereich, doch nur rund 6 Prozent zählen zu den Vorreitern, die mindestens 5 Prozent ihres Ergebnisses (EBIT) auf KI zurückführen (McKinsey, State of AI 2025). Diese Lücke zwischen Nutzung und Wertschöpfung ist die eigentliche Führungsaufgabe für Geschäftsführer und CEOs im Jahr 2026.
Für Entscheider im Mittelstand verschiebt sich die Frage damit grundlegend: nicht mehr "Sollen wir KI einsetzen?", sondern "Warum schaffen es nur wenige, echten Wert zu erzeugen - und wie gehören wir dazu?". Dieser Leitfaden beantwortet genau das. Er zeigt, wo sich KI im Mittelstand wirklich rechnet, welche Pflichten der EU AI Act 2026 mit sich bringt, warum so viele KI-Projekte scheitern - und liefert einen konkreten 90-Tage-Fahrplan für die Einführung.
Das Wichtigste in Kürze
- Die Wertlücke ist das eigentliche Problem: 88 Prozent nutzen KI, aber nur rund 6 Prozent führen mindestens 5 Prozent ihres Ergebnisses auf KI zurück (McKinsey 2025).
- Die Nutzung wächst schnell: 54,4 Prozent der Unternehmen in Deutschland setzten im Mai 2026 KI ein, nach 40,9 Prozent ein Jahr zuvor (ifo 2026).
- Scheitern ist häufig: Rund 95 Prozent der untersuchten GenAI-Piloten liefern keinen messbaren Ertrag, meist wegen fehlender Einbindung in die Abläufe und nicht wegen der Technik (MIT 2025).
- KI ist Chefsache mit Haftung: Die KI-Verordnung verlangt seit Februar 2025 KI-Kompetenz im Unternehmen; wer die Einführung ohne die Sorgfalt nach § 43 GmbHG laufen lässt, riskiert die persönliche Haftung.
- Erfolg ist zu 70 Prozent eine Frage von Menschen und Prozessen, nicht von Technologie (10-20-70-Prinzip der Boston Consulting Group).
- Struktur schlägt Zufall: Ein klarer 90-Tage-Fahrplan bringt schneller Ergebnisse als planloses Experimentieren.
KI im Mittelstand 2026 - wo stehen wir wirklich?
Die Nutzung von KI ist im deutschen Mittelstand kein Nischenthema mehr, aber längst nicht überall angekommen. Laut einer Bitkom-Umfrage vom März 2026 unter 604 Unternehmen ab 20 Beschäftigten setzen 41 Prozent KI ein, nach 17 Prozent im Vorjahr. Die KfW Research zeigt im Februar 2026 zugleich, dass im Zeitraum 2022 bis 2024 rund 20 Prozent der mittelständischen Unternehmen KI genutzt haben, knapp 780.000 Betriebe.
Diese Zahlen widersprechen sich nur scheinbar: Sie beruhen auf unterschiedlichen Grundgesamtheiten und Zeiträumen. Die KfW betrachtet den gesamten Mittelstand in den Jahren 2022 bis 2024, Bitkom Unternehmen ab 20 Beschäftigten Anfang 2026. Das ifo Institut meldet für Mai 2026 bereits 54,4 Prozent der befragten Unternehmen, bei Großunternehmen 67,2 Prozent und damit deutlich mehr als bei kleinen und mittleren Betrieben (ifo Institut, Juni 2026).
Entscheidend ist eine andere Entwicklung: KI ist zur Chefsache geworden. 72 Prozent der von der Boston Consulting Group befragten CEOs sehen sich inzwischen selbst als wichtigste Entscheider bei KI, doppelt so viele wie im Vorjahr (BCG AI Radar 2026). Das ist folgerichtig, denn KI ist keine reine IT-Frage, sondern eine strategische.
Warum 95 Prozent der KI-Piloten keinen ROI liefern
Die ernüchternde Wahrheit hinter dem KI-Boom: Die meisten Projekte zahlen sich nicht aus. Eine vielbeachtete Studie des MIT-Projekts NANDA kam im August 2025 zu dem Ergebnis, dass 95 Prozent der unternehmensweiten GenAI-Pilotprojekte keinen messbaren Effekt auf die Gewinn- und Verlustrechnung haben.
Die richtige Einordnung ist wichtig: Gemessen wird der fehlende Geschäftswert, nicht ein technisches Versagen. Die Technik funktioniert - aber sie wird zu selten so eingesetzt, dass am Ende mehr Geld in der Kasse landet. Genau hier liegt die Aufgabe der Geschäftsführung.
Was "KI als Chefsache" für Geschäftsführer konkret bedeutet
KI als Chefsache bedeutet, dass die Geschäftsführung Richtung, Ressourcen und Rahmen vorgibt - und nicht delegiert, was strategisch ist. Konkret heißt das: Use-Cases priorisieren, Budget freigeben, Governance verantworten und die Belegschaft mitnehmen.
Die Zahlen zeigen, warum das zählt: Laut McKinsey gehört die Aufsicht des CEO über die KI-Governance zu den Faktoren, die am stärksten mit einem messbaren Ergebnisbeitrag von KI zusammenhängen. Trotzdem gaben nur 28 Prozent der Befragten an, dass der CEO die KI-Governance selbst verantwortet (McKinsey, State of AI, März 2025). Wer KI dem Zufall oder allein der IT-Abteilung überlässt, verschenkt genau den Hebel, der über Erfolg oder Misserfolg entscheidet.
Für Geschäftsführer im Mittelstand ist das eine gute Nachricht: Sie müssen keine Data Scientists werden. Sie müssen die richtigen Fragen stellen, klare Prioritäten setzen und Verantwortung organisieren.
Wo sich KI im Mittelstand wirklich lohnt - drei Use Cases mit ROI
Nicht jeder KI-Einsatz rechnet sich gleich gut. McKinsey schätzt, dass rund 75 Prozent des Wertpotenzials generativer KI auf vier Bereiche entfallen: Kundenservice, Marketing und Vertrieb, Softwareentwicklung sowie Forschung und Entwicklung (McKinsey, 2023). Für den Mittelstand heißt das: Der Einstieg gelingt am besten dort, wo Prozesse wiederkehrend, datenintensiv und zeitaufwändig sind.
Die folgenden drei Szenarien sind illustrative Beispiele typischer Mittelstandssituationen. Die genannten Werte stammen aus den verlinkten Studien und sind als Orientierung zu verstehen, nicht als garantierte Ergebnisse.
| Einsatzfeld | Beispiel-Szenario | KI-Anwendung | Messgröße und Orientierungswert |
|---|---|---|---|
| Backoffice & Finanzen | Maschinenbauer, ca. 180 Mitarbeiter | Eingangsrechnungs- und Dokumentenverarbeitung | Bearbeitungszeit je Beleg, Fehlerquote |
| Vertrieb | Technischer Großhandel, ca. 100 Mitarbeiter | Angebotserstellung und Lead-Priorisierung | Umsatz und Vertriebs-ROI; McKinsey: 3 bis 15 % mehr Umsatz, 10 bis 20 % höherer Vertriebs-ROI |
| Kundenservice | Dienstleister, ca. 60 Mitarbeiter | KI-Assistent für Standardanfragen | Gelöste Anliegen je Stunde; NBER-Studie: 14 % mehr |
Szenario 1: Backoffice - die Eingangsrechnung als Quick Win
Ein typisches Einstiegsszenario im Maschinenbau: Ein Betrieb mit rund 180 Mitarbeitern verarbeitet täglich hunderte Eingangsrechnungen manuell. Mit KI-gestützter Dokumentenerkennung lassen sich Rechnungsdaten automatisch auslesen, prüfen und zur Buchung vorbereiten; die Freigabe bleibt beim Menschen. Zusätzlicher Treiber ist die E-Rechnung: Seit Januar 2025 müssen Unternehmen in Deutschland E-Rechnungen empfangen können, die Pflicht zur Ausstellung folgt ab 2027 und 2028. Weil sich die Bearbeitungszeit je Beleg vorher und nachher einfach messen lässt, eignet sich das Backoffice gut als erster Anwendungsfall. Welche Pflichten dabei aus GoBD und Umsatzsteuerrecht folgen, beschreibt der Beitrag Backoffice-Prozesse mit KI automatisieren.
Szenario 2: Vertrieb - schneller zum passenden Angebot
Ein technischer Großhändler mit etwa 100 Mitarbeitern verliert Zeit und Aufträge, weil die Angebotserstellung manuell und langsam ist. KI kann aus Produktdaten und Kundenhistorie Angebote vorbereiten und eingehende Anfragen nach Abschlusswahrscheinlichkeit priorisieren. McKinsey berichtet, dass Unternehmen, die in KI für Marketing und Vertrieb investieren, 3 bis 15 Prozent mehr Umsatz und einen um 10 bis 20 Prozent höheren Vertriebs-ROI verzeichnen (McKinsey, 2023). Der Hebel liegt nicht im Ersetzen des Vertriebs, sondern im Beschleunigen.
Szenario 3: Kundenservice - mit Realitätscheck
Ein Dienstleister mit rund 60 Mitarbeitern möchte wiederkehrende Kundenanfragen automatisiert beantworten. Ein KI-Assistent kann Standardfälle rund um die Uhr lösen; McKinsey schätzt das Produktivitätspotenzial generativer KI im Kundenservice auf 30 bis 45 Prozent der heutigen Kosten dieser Funktion. Eine NBER-Studie aus dem Jahr 2023 maß bei Servicemitarbeitern mit KI-Unterstützung 14 Prozent mehr gelöste Anliegen pro Stunde, bei neuen und weniger erfahrenen Mitarbeitern 34 Prozent (NBER Working Paper 31161).
Hier gehört aber Ehrlichkeit dazu: Das Beispiel Klarna zeigt die Grenzen. Der KI-Assistent des Unternehmens übernahm nach eigenen Angaben schon im ersten Monat zwei Drittel der Service-Chats (Klarna, Februar 2024). 2025 kündigte Klarna aber an, wieder Menschen im Kundenservice einzustellen: Die Qualität habe gelitten, und Kunden müssten jederzeit mit einer Person sprechen können (Fortune, Mai 2025). Die Lehre für den Mittelstand lautet: KI plus Mensch, nicht KI statt Mensch.
Einordnung: Der erste Anwendungsfall sollte nicht der spektakulärste sein, sondern der am schnellsten messbare. Ein gut gewählter erster Erfolg finanziert und legitimiert die nächsten Schritte. Beim Weg dorthin zeigt die MIT-Studie ein klares Muster: Eingekaufte Lösungen spezialisierter Anbieter waren in rund 67 Prozent der Fälle erfolgreich, Eigenentwicklungen nur ein Drittel so oft.
Agentic AI - der Top-Trend 2026 mit Realitätscheck
KI-Agenten sind das beherrschende Thema 2026 - und zugleich das mit dem größten Hype-Risiko. Ein KI-Agent ist ein System, das nicht nur antwortet, sondern eigenständig mehrstufige Aufgaben plant und ausführt: etwa eine Bestellung prüfen, im System anlegen und den Kunden benachrichtigen. Welche Arten von KI-Agenten es gibt, zeigt der Beitrag Welche KI-Agenten gibt es?
Das Marktpotenzial ist enorm. Gartner prognostiziert, dass bis Ende 2026 rund 40 Prozent der Unternehmensanwendungen aufgabenspezifische KI-Agenten enthalten - gegenüber unter 5 Prozent im Jahr 2025.
Doch der Realitätscheck gehört dazu: Gartner erwartet zugleich, dass über 40 Prozent der Agentic-AI-Projekte bis Ende 2027 wieder eingestellt werden - wegen zu hoher Kosten, unklaren Nutzens oder mangelnder Risikokontrolle. Hinzu kommt das Phänomen "Agent Washing": Von den tausenden Anbietern, die mit Agenten werben, bieten nach Schätzung von Gartner nur etwa 130 echte agentische Fähigkeiten.
Für CEOs heißt das: den Trend ernst nehmen, aber nicht dem Hype folgen. Ein KI-Agent rechnet sich nur entlang eines klar definierten Geschäftsproblems - nicht, weil er gerade Konjunktur hat.
Warum KI-Projekte scheitern - und wie Sie es vermeiden
Viele KI-Projekte scheitern. Die RAND Corporation verweist auf Schätzungen, nach denen es mehr als 80 Prozent sind, doppelt so viele wie bei IT-Projekten ohne KI (RAND, 2024). Die Gründe sind selten technischer Natur. Sie wiederholen sich:
- Fehlende Datenbasis: Die Daten sind unvollständig, verteilt oder von schlechter Qualität.
- Unklarer Use-Case: Das Projekt startet ohne definiertes Geschäftsproblem und ohne messbares Ziel.
- Fehlende Integration: Der Pilot bleibt eine Insel und wird nie in den Arbeitsalltag eingebettet.
- Vernachlässigtes Change Management: Die Belegschaft wird nicht mitgenommen, Akzeptanz fehlt.
- Kompetenzlücke: Es fehlt das Wissen, KI sinnvoll einzusetzen und zu steuern.
- Falsche Erwartungen: Zu schnelle Ungeduld führt zum vorzeitigen Abbruch.
Dahinter steht ein Muster, das die Boston Consulting Group im 10-20-70-Prinzip zusammenfasst: Erfolg mit KI besteht zu 10 Prozent aus Algorithmen, zu 20 Prozent aus Technologie und Daten - und zu 70 Prozent aus Menschen und Prozessen. Der größte Hebel liegt also nicht im Modell, sondern in der Organisation.
McKinsey bestätigt das: Den größten Einfluss darauf, ob ein Unternehmen mit generativer KI einen Ergebnisbeitrag erzielt, hat die Neugestaltung von Arbeitsabläufen. Doch nur 21 Prozent der Befragten gaben an, zumindest einige Abläufe grundlegend umgestaltet zu haben (McKinsey, State of AI, März 2025). Wer KI nur über bestehende Prozesse stülpt, erntet selten mehr als ein teures Spielzeug.
EU AI Act 2026 - was Geschäftsführer jetzt wissen müssen
Der EU AI Act ist kein abstraktes Brüsseler Thema, sondern betrifft die Pflichten - und die Haftung - jeder Geschäftsführung. Die Rechtslage hat sich 2026 noch einmal bewegt: Mit dem Digital Omnibus (Verordnung (EU) 2026/1744, in Kraft seit 27. Juli 2026) hat die EU die Pflichten für eigenständige Hochrisiko-Systeme nach Anhang III vom 2. August 2026 auf den 2. Dezember 2027 verschoben, die für Hochrisiko-Systeme in Produkten nach Anhang I auf den 2. August 2028. Eine ausführliche Einordnung für KMU bietet unser Beitrag zum EU AI Act 2026.
Entscheidend ist aber, was nicht verschoben wurde und bereits gilt:
| Status | Pflicht | Bedeutung für Geschäftsführer |
|---|---|---|
| Gilt seit Feb. 2025 | Verbot bestimmter KI-Praktiken (Art. 5) + KI-Kompetenzpflicht (Art. 4) | Verbotene Praktiken ausschließen, Mitarbeiter schulen und dokumentieren |
| Gilt seit Aug. 2026 | Transparenzpflichten (Art. 50) | KI-Inhalte und Chatbots kennzeichnen |
| Verschoben auf 2. Dez. 2027 | Pflichten für Hochrisiko-KI nach Anhang III | Mehr Zeit - Vorbereitung trotzdem jetzt |
| Bußgelder, anwendbar seit Aug. 2025 | bis 35 Mio. € oder 7 % des Weltumsatzes bei verbotenen Praktiken, bis 15 Mio. € oder 3 % bei den meisten übrigen Pflichten; für KMU gilt der jeweils niedrigere Betrag | Bußgelder treffen das Unternehmen; ob die Geschäftsführung sorgfältig gehandelt hat, wird danach im Innenverhältnis geprüft |
Zwei Punkte sollten Geschäftsführer besonders ernst nehmen. Erstens die KI-Kompetenzpflicht nach Artikel 4: Seit Februar 2025 müssen Unternehmen Maßnahmen für die KI-Kompetenz ihrer Mitarbeiter ergreifen. Seit dem Digital Omnibus genügt es, deren Entwicklung zu unterstützen, ein bestimmtes Niveau muss niemand garantieren. Eine Zertifizierung ist nicht nötig, und ein eigenes Bußgeld für Verstöße gegen Artikel 4 sieht die Verordnung nicht vor. Dokumentiert werden sollten die Schulungen trotzdem, weil sie zeigen, dass die Geschäftsführung ihre Organisationspflicht erfüllt. Zweitens die Bußgelder nach Artikel 99: Wer verbotene Praktiken einsetzt, riskiert bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes, bei Verstößen gegen die meisten übrigen Pflichten, etwa die Transparenzpflichten, sind es bis zu 15 Millionen Euro oder 3 Prozent. Für kleine und mittlere Unternehmen gilt jeweils der niedrigere der beiden Beträge.
Besonders wichtig ist die persönliche Haftung. Wann sie greift und welche Normen sie tragen, steht im nächsten Abschnitt.
Wann haftet der Geschäftsführer persönlich für KI-Fehler?
Wenn die Einführung ohne die Sorgfalt läuft, die § 43 Absatz 1 GmbHG von einem ordentlichen Geschäftsmann verlangt: ohne dokumentierte Auswahl, ohne Regeln, ohne Schulung, ohne Aufsicht. Der Fehler der Maschine ist dabei selten der Haftungsgrund. Das Fehlen einer Organisation dahinter ist es.
Vier Normenkreise tragen diese Aussage, und drei davon sind älter als jede KI-Debatte:
| Norm | Was sie verlangt | Was das für die KI-Einführung heißt |
|---|---|---|
| § 43 Abs. 1 und 2 GmbHG | Sorgfalt eines ordentlichen Geschäftsmannes; bei Verletzung Ersatzpflicht gegenüber der Gesellschaft | Auswahl von System, Anbieter und Einsatzfeld auf angemessener Informationsgrundlage treffen und diese Grundlage festhalten. Für die AG steht dieselbe Regel in § 93 AktG; die Rechtsprechung überträgt den Maßstab der unternehmerischen Entscheidung auf die GmbH |
| § 130 OWiG | Bußgeld gegen Inhaber oder Geschäftsleitung, wenn Aufsichtsmaßnahmen unterbleiben, die Pflichtverstöße im Betrieb verhindert oder erschwert hätten | Eine KI-Richtlinie, dokumentierte Schulungen und eine benannte verantwortliche Person sind genau solche Aufsichtsmaßnahmen. Fehlen sie, wird aus dem Fehler eines Mitarbeiters ein Organisationsverschulden |
| Art. 4 und Art. 26 KI-Verordnung | Kompetenzpflicht für alle Betreiber seit 2. Februar 2025; bei Hochrisiko-Systemen Aufsicht durch geschulte Personen und Nutzung nach Betriebsanleitung | Schulungen mit Datum, Inhalt und Teilnehmern belegen. Die Bußgelder nach Art. 99 richten sich gegen das Unternehmen; ob die Geschäftsführung ihre Organisationspflicht erfüllt hat, ist die Frage, die danach im Innenverhältnis gestellt wird |
| Art. 28, 82 und 83 DSGVO | Auftragsverarbeitungsvertrag mit jedem Anbieter, Schadenersatz und Bußgeld bei Verstößen | Ein Konto in der Verbraucherversion eines Chatdienstes ist kein Auftragsverarbeitungsvertrag. Kundendaten, die dort landen, sind eine Datenpanne mit Ansage |
Dazu kommt die Außenhaftung des Unternehmens für das, was die KI gegenüber Kunden sagt. Im Fall Moffatt gegen Air Canada entschied das Civil Resolution Tribunal von British Columbia im Februar 2024, dass die Fluggesellschaft an eine Falschauskunft ihres Chatbots gebunden ist. Das Argument, der Chatbot sei eine eigenständige Einheit, verwarf das Tribunal. Das Verfahren fand in Kanada statt, die Lehre ist übertragbar: Was ein Kundenservice-Agent zusagt, sollte das Unternehmen auch einhalten können.
Was die Geschäftsführung deshalb vorhalten sollte, passt auf eine Seite:
- Die Entscheidungsgrundlage: Welche Anbieter wurden geprüft, warum fiel die Wahl so aus, welche Risikoklasse hat das System nach der KI-Verordnung
- Die KI-Richtlinie: Welche Werkzeuge sind freigegeben, welche Daten dürfen hinein, wer entscheidet Ausnahmen
- Der Schulungsnachweis: Datum, Inhalt, Teilnehmer, Wiederholung
- Die Verträge: Auftragsverarbeitung mit jedem KI-Anbieter, Datenresidenz, Ausschluss der Trainingsnutzung
- Die Eskalation: Welche Fälle legt das System einem Menschen vor, wer überwacht die Antworten, wie werden Fehler gemeldet
Das ersetzt keine Rechtsberatung, und die Einordnung eines konkreten Schadensfalls gehört zum Anwalt. Aber die Dokumentation, die ein Anwalt später sehen will, entsteht in den ersten 90 Tagen oder gar nicht. Genau dafür ist der Fahrplan im nächsten Abschnitt gebaut.
Der 90-Tage-Fahrplan für KI im Mittelstand
Der häufigste Fehler ist planloses Experimentieren. Ein strukturierter Einstieg in 90 Tagen bringt schneller Ergebnisse als jahrelanges Ausprobieren. Der folgende Fahrplan gliedert sich in drei Phasen.
Tag 1-30: Standortbestimmung und Quick Win
- KI-Inventur: Wo wird im Unternehmen bereits KI genutzt - auch inoffiziell?
- Use-Cases sammeln: Wo kosten Prozesse am meisten Zeit und Geld?
- Priorisieren mit der Impact-Effort-Matrix: hoher Nutzen, geringer Aufwand zuerst.
- Einen Quick Win auswählen und eine klare Kennzahl definieren, an der sich Erfolg messen lässt.
Tag 31-60: Pilot und Governance
- Den Quick Win als Pilot umsetzen - bevorzugt mit einer erprobten Kauflösung statt Eigenbau.
- Eine schlanke KI-Richtlinie aufsetzen: Was ist erlaubt, welche Daten dürfen genutzt werden?
- Die KI-Kompetenz-Schulung starten - das erfüllt zugleich Artikel 4 des EU AI Act.
- Datenschutz klären: Auftragsverarbeitung, Datenresidenz und dokumentierte Freigaben.
Tag 61-90: Skalierung und Verankerung
- Den ROI des Piloten messen und ehrlich bewerten.
- Den Arbeitsablauf neu gestalten - nicht nur das Tool aufsetzen, sondern den Prozess anpassen.
- Verantwortlichkeiten festlegen: Wer betreut, überwacht und verbessert die Lösung?
- Die Roadmap fortschreiben und den nächsten Use-Case angehen.
Nach 90 Tagen steht nicht die fertige KI-Transformation - aber ein belegter Erfolg, eine funktionierende Governance und eine Organisation, die gelernt hat, wie KI bei ihr wirkt.
KI-Governance und Risiken - die Pflicht des CEO
Governance ist kein bürokratisches Beiwerk, sondern die Voraussetzung dafür, dass KI nicht zum Risiko wird. Die Realität ist ernüchternd: Im IBM-Report Cost of a Data Breach 2025 hatten 63 Prozent der untersuchten Organisationen mit Datenpanne keine ausgearbeitete KI-Governance-Richtlinie (IBM, Juli 2025).
Drei Risiken sollten Geschäftsführer besonders im Blick haben:
- Schatten-KI: Mitarbeiter nutzen KI-Werkzeuge eigenmächtig und teilen dabei sensible Daten. Datenpannen, an denen Schatten-KI beteiligt war, kosteten im Schnitt 4,63 Millionen US-Dollar (IBM 2025).
- Falschauskünfte und Haftung: Im Fall Moffatt gegen Air Canada wurde das Unternehmen 2024 für eine Falschauskunft seines Chatbots haftbar gemacht - das Argument, der Chatbot sei eigenständig verantwortlich, wurde verworfen.
- Manipulation und Betrug: Beim Ingenieurkonzern Arup überwies ein Mitarbeiter in Hongkong 2024 nach einer Videokonferenz mit per Deepfake nachgeahmten Kollegen rund 25 Millionen US-Dollar an Betrüger (CNN, Mai 2024).
Als Rahmen für eine seriöse KI-Governance haben sich das NIST AI Risk Management Framework und der Standard ISO/IEC 42001 etabliert. Sie helfen, Verantwortlichkeiten, Risiken und Kontrollen sauber zu regeln.
Für den Mittelstand kommt die Frage hinzu, welche Daten in welches Werkzeug dürfen. Dafür braucht es Auftragsverarbeitungsverträge, bei Anbietern außerhalb der EU eine Grundlage für die Datenübermittlung und eine Richtlinie, die Datenklassen festlegt. Wie eine solche Richtlinie aussehen kann, beschreibt der Beitrag ChatGPT im Unternehmen.
Fazit: KI ist Chefsache - aber kein Selbstläufer
Die Lücke zwischen Nutzung und Wertschöpfung ist die zentrale Herausforderung 2026: Fast alle nutzen KI, aber nur wenige verdienen damit Geld. Der Unterschied liegt nicht in der Technik, sondern in der Führung - in klar gewählten Use-Cases, einem strukturierten Vorgehen, gelebter Governance und der Bereitschaft, Prozesse wirklich neu zu denken.
Für Geschäftsführer und CEOs im Mittelstand ist das eine Chance: Wer jetzt strukturiert startet, verschafft sich einen Vorsprung, den planlose Wettbewerber so schnell nicht aufholen. Der 90-Tage-Fahrplan ist der pragmatische Einstieg.
Häufig gestellte Fragen (FAQ)
Was bringt KI meinem mittelständischen Unternehmen konkret? KI spart vor allem Zeit in wiederkehrenden Abläufen: im Backoffice, im Vertrieb und im Kundenservice. Typische Einstiege sind die Verarbeitung von Eingangsrechnungen oder die Vorbereitung von Angeboten. Entscheidend ist, mit einem Anwendungsfall zu starten, dessen Nutzen sich an einer Kennzahl messen lässt.
Wo sollte ich als Geschäftsführer mit KI anfangen? Mit dem Anwendungsfall, der hohen Nutzen bei geringem Aufwand verspricht. Sammeln Sie zeitfressende Prozesse, bewerten Sie sie in einer Impact-Effort-Matrix und wählen Sie einen Quick Win mit klarer Kennzahl. Der 90-Tage-Fahrplan in diesem Beitrag liefert die Struktur dafür.
Was kostet die Einführung von KI im Unternehmen? Das hängt vom Anwendungsfall ab. Für den Einstieg gilt: Eingekaufte Lösungen spezialisierter Anbieter waren laut dem MIT-Projekt NANDA deutlich häufiger erfolgreich als Eigenentwicklungen. Wichtig ist, die versteckten Kosten einzuplanen: Nach dem 10-20-70-Prinzip der Boston Consulting Group gehören 70 Prozent des Aufwands zu Menschen und Prozessen, nicht zur Technik.
Wie berechne ich den ROI eines KI-Projekts? Definieren Sie vorab eine Kennzahl und messen Sie vorher und nachher: eingesparte Zeit mal Personalkosten, höhere Abschlussquote oder kürzere Durchlaufzeiten. Seien Sie ehrlich beim Zeithorizont: In einer Deloitte-Befragung von 1.854 Führungskräften in Europa und dem Nahen Osten erreichten die meisten einen zufriedenstellenden ROI für einen typischen KI-Anwendungsfall erst nach zwei bis vier Jahren.
Was muss ich als Geschäftsführer beim EU AI Act 2026 beachten? Drei Dinge gelten bereits: das Verbot bestimmter KI-Praktiken, die KI-Kompetenzpflicht nach Artikel 4 (Mitarbeiter schulen und das dokumentieren) und seit August 2026 die Transparenzpflichten. Pflichten für Hochrisiko-KI nach Anhang III gelten seit dem Digital Omnibus erst ab dem 2. Dezember 2027. Die höchsten Bußgelder von bis zu 35 Millionen Euro oder 7 Prozent des Weltumsatzes gelten für verbotene Praktiken; für die Kompetenzpflicht sieht die Verordnung kein eigenes Bußgeld vor.
Hafte ich persönlich, wenn die KI einen Fehler macht? Ja, wenn die Einführung ohne die Sorgfalt läuft, die § 43 GmbHG verlangt: keine dokumentierte Auswahl, keine KI-Richtlinie, keine Schulung, keine Aufsicht. Dann kann die Gesellschaft Regress nehmen, und nach § 130 OWiG droht ein Bußgeld wegen verletzter Aufsichtspflicht. Der kanadische Fall Moffatt gegen Air Canada zeigt zudem, dass ein Unternehmen an Falschauskünfte seines Chatbots gebunden sein kann. Klare Governance ist deshalb Pflicht.
Kann ich ChatGPT und andere KI DSGVO-konform einsetzen? Ja, mit dem richtigen Rahmen: Auftragsverarbeitungsverträge, klare Regeln zur Datennutzung, vertraglich ausgeschlossene Trainingsnutzung und das Vermeiden von Schatten-KI. Für sensible Daten sind Dienste mit Verarbeitung in der EU und vertraglich zugesicherter Vertraulichkeit die sicherere Wahl.
Warum scheitern so viele KI-Projekte - und wie vermeide ich das? Die RAND Corporation verweist auf Schätzungen, nach denen über 80 Prozent der KI-Projekte scheitern, meist aus organisatorischen Gründen: unklare Ziele, schlechte Daten, fehlende Integration und eine Belegschaft, die nicht mitgenommen wird. Der wichtigste Hebel ist, Arbeitsabläufe neu zu gestalten, statt KI nur über alte Prozesse zu stülpen.
Quellen
- The state of AI in 2025: Agents, innovation, and transformation - McKinsey & Company
- The state of AI: How organizations are rewiring to capture value (März 2025) - McKinsey & Company
- AI-powered marketing and sales reach new heights with generative AI (2023) - McKinsey & Company
- The economic potential of generative AI (2023) - McKinsey & Company
- Digitalisierung der Wirtschaft: Fast jedes Unternehmen beschäftigt sich mit KI (Presseinformation vom 11. März 2026) - Bitkom e.V.
- KI im Mittelstand - Fokus Volkswirtschaft Nr. 533 - KfW Research
- More than half of companies in Germany use artificial intelligence (5. Juni 2026) - ifo Institut
- BCG AI Radar 2026: As AI Investments Surge, CEOs Take the Lead - Boston Consulting Group
- MIT-Studie: 95 Prozent der GenAI-Piloten ohne ROI - Fortune / MIT Project NANDA
- Gartner: 40 Prozent der Enterprise-Apps mit KI-Agenten bis 2026 - Gartner
- Gartner: Über 40 Prozent der Agentic-AI-Projekte werden bis 2027 gestoppt - Gartner
- The Leader's Guide to Transforming with AI (10-20-70) - Boston Consulting Group
- Generative AI at Work - NBER
- The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed (2024) - RAND Corporation
- AI ROI: The paradox of rising investment and elusive returns - Deloitte
- Klarna AI assistant handles two-thirds of customer service chats in its first month (Februar 2024) - Klarna
- Klarna plans to hire humans again (Mai 2025) - Fortune
- Arup revealed as victim of $25 million deepfake scam (Mai 2024) - CNN
- EU AI Act - Artikel 4 (KI-Kompetenz) - EU AI Act
- EU AI Act - Artikel 26 (Pflichten der Betreiber) - EU AI Act
- EU AI Act - Artikel 99 (Sanktionen) - EU AI Act
- § 43 GmbHG - Haftung der Geschäftsführer - Gesetze im Internet
- § 130 OWiG - Verletzung der Aufsichtspflicht - Gesetze im Internet
- IBM Report: 13% of organizations reported breaches of AI models or applications (Juli 2025) - IBM
- AI Risk Management Framework - NIST
- ISO/IEC 42001 - KI-Managementsysteme - ISO
KI-Prozessautomatisierung mit Rechtsrahmen
Ein abgegrenzter Prozess zuerst, mit Auftragsverarbeitungsvertrag, EU-Hosting und der technischen Dokumentation, die Betriebsrat und Datenschutzbeauftragter sehen wollen.
Weitere Artikel
Standard-Chatbot oder individueller KI-Agent: Woran sich die Wahl entscheidet
Baukasten-Chatbot oder individuell entwickelter KI-Agent? Fünf Kriterien, mit denen KMU die Wahl treffen, und drei Fragen, die jeder Anbieter beantworten sollte.
KI-Agentur beauftragen: 12 Fragen vor dem Erstgespräch
KI-Agentur beauftragen: 12 Fragen, die Sie im Erstgespräch stellen sollten - zu Integration, Datenschutz, Kosten und Betrieb. Mit Warnsignalen und Checkliste.