Vom Pilotprojekt zur KI-Organisation: So gelingt die Transformation

Kategorien: Datenschutz und Künstliche Intelligenz

Eine der wichtigsten strategischen Entscheidungen bei der KI-Einführung lautet nicht „Welches Modell ist das beste?“, sondern: Betreiben wir KI in der Cloud – oder selbst? Die Antwort hängt von konkreten Kriterien ab, nicht von Trends. Dieser Artikel gibt einen praxisnahen Überblick und Empfehlungen für die KI-Einführung.

Cloud-KI oder souveräne KI: Die entscheidende Weichenstellung

Bevor ein Unternehmen KI produktiv einsetzt, muss eine grundlegende Frage geklärt werden: Soll die KI über einen externen Cloud-Dienst genutzt werden – oder soll sie lokal, autark und unter eigener Kontrolle betrieben werden?

Beide Wege haben ihre Berechtigung. Welcher der richtige ist, hängt von vier zentralen Kriterien ab:

1. Datensicherheit und Datenschutz

Wer KI-Dienste wie ChatGPT oder Google Gemini nutzt, sendet Daten an Server in den USA. Das ist in vielen Kontexten ein ernstes Problem – und zwar nicht nur gefühlt, sondern juristisch:

• Geschäftsgeheimnisse dürfen in den meisten Branchen nicht unkontrolliert an Dritte weitergegeben werden.
• Die DSGVO stellt strenge Anforderungen an die Verarbeitung personenbezogener Daten außerhalb der EU.
• US-amerikanische Gesetze wie der Cloud Act und FISA 702 erlauben US-Behörden unter bestimmten Umständen den Zugriff auf Daten, die auf Servern amerikanischer Unternehmen liegen – auch wenn diese Server physisch in Europa stehen oder eine irische Tochtergesellschaft einer amerikanischen Mutter der Anbieter ist.

Für Unternehmen mit sensiblen Daten – Kanzleien, Arztpraxen, Behörden, produzierende Unternehmen mit Betriebsgeheimnissen sowie eigentlich fast jedes Unternehmen und jede Institution – ist souveräne, lokal betriebene KI daher oft keine Option, sondern eine Pflicht.

2. Kosten und Kosten-Nutzen-Verhältnis

Cloud-KI-Dienste wie ChatGPT oder Gemini gibt es in zwei grundlegend verschiedenen Nutzungsmodellen:

Modell 1 – Web-App (ca. 20 Euro/Monat):
Günstig, einfach zugänglich, mit Rate Limits. Geeignet für manuelle, gelegentliche Nutzung durch einzelne Mitarbeiter. Keine Automatisierung möglich, keine Anbindung an eigene Systeme.

Modell 2 – API:
Ermöglicht Automatisierung und die Anbindung an Tools und Agentensysteme wie OpenClaw oder eigene Software. Aber: Bei hohem Datenvolumen – insbesondere bei der Verarbeitung vieler Dokumente – werden die Kosten schnell erheblich und schwer kalkulierbar. Wer täglich hunderte von PDFs oder Berichten verarbeiten möchte, erlebt hier böse Überraschungen.

Lokale KI hingegen hat vorhersehbare Kosten:

• Ein KI-Server ist bereits ab ca. 7.000 Euro käuflich – oder für wenige hundert Euro pro Monat in Deutschland mietbar, teils als vollständig verwaltete (Managed) Lösung.
• Alternativ: Eine souveräne KI-API mit Spitzenmodellen aus Deutschland ist bereits ab 9 Euro pro Monat verfügbar – DSGVO-konform, ohne US-Rechtsrisiken (siehe beispielsweise Mittwald).

3. Der konkrete Anwendungsfall (Use Case)

Cloud-KI hat klare Stärken bei offenen, explorativen Aufgaben – also dort, wo die Anforderungen vorab nicht genau bekannt sind, wo kreative oder sprachliche Vielfalt gefragt ist oder wo viele verschiedene Tools im selben Workflow kombiniert werden sollen. Moderne Cloud-Modelle integrieren beispielsweise beim Coding automatisch Interpreter, Suchfunktionen und Debugging-Tools in einem nahtlosen Loop – das ist heute noch ein echter Vorteil gegenüber den meisten lokalen Lösungen.

Lokale KI hingegen gewinnt dort, wo der Anwendungsfall klar definiert und wiederholbar ist. Und hier gilt ein wichtiges Prinzip: Je fokussierter der Use Case, desto besser sind die Ergebnisse mit lokaler KI – und desto eher übertrifft ein gut konfiguriertes lokales System sogar die weltweit besten Cloud-Modelle.

Beispiele, bei denen lokale KI oft besser abschneidet:

• Eigene Dokumente befragen (intern, sicher, schnell)
• Große Mengen eigener Dokumente analysieren – mit ChatGPT über die Web-App kaum möglich; über die API dauerhaft teuer und datenschutzrechtlich heikel
• Unternehmens-Wiki mit eigenem Wissen und eigenen Prozessen
• Marktforschungs-KI, die Personas simuliert oder Zielgruppen analysiert
• Tiefe Recherchen auf Basis interner Datenbestände
• Qualitätskontrolle in der Produktion – z. B. Erkennung von Defekten in Bauteilen (einer der wenigen Fälle, in denen KI-Training im technischen Sinne tatsächlich sinnvoll ist)
• Kassenbons und Belege automatisiert auswerten – ein fokussierter Use Case, bei dem spezialisierte lokale Systeme Cloud-Modellen messbar überlegen sind
• Aufgaben mit bekanntem Stil oder Muster – etwa das Nachahmen eines bestimmten Schreibstils oder eines Bildstils (z. B. Rembrandt), wenn Trainingsdaten vorliegen
• Komplexe, mehrstufige Prozesse mit vielen verketteten Teilschritten, die zuverlässig und reproduzierbar ablaufen müssen

4. Nutzungsintensität und Anzahl der Nutzer

Je mehr Mitarbeiter KI täglich und intensiv nutzen, desto schneller rechnet sich eine eigene Infrastruktur. Ein Team von 20 Personen, das regelmäßig Dokumente verarbeitet, kann mit einem lokalen KI-Server nach wenigen Monaten günstiger unterwegs sein als mit Cloud-Abonnements und API-Kosten.

Entscheidungsbaum: Cloud versus lokal

Cloud-KI schneidet im professionellen Einsatz oft nicht so gut ab, wie viele es gerne hätten oder herbeisehnen. Wann immer ein höherer Automatisierungsgrad beispielweise angestrebt wird, ist Cloud KI unzuverlässig und nicht selten schlecht geeignet oder teurer. Datensicherheit mal außen vor gelassen.

Die Stärken der einzelnen KI-Ansätze – Cloud, Lokal, Hybrid – in einer kompakten Übersicht:

Open-Source-Modelle: immer kleiner, schneller, besser

Ein verbreitetes Missverständnis lautet: Lokale KI bedeutet zwangsläufig schlechtere Ergebnisse. Das stimmt heute nicht mehr.

Open-Source-Modelle werden in rasantem Tempo besser – und gleichzeitig kleiner und effizienter. Aktuelle Modelle liefern auf günstiger, handelsüblicher Hardware exzellente Ergebnisse für fokussierte Aufgaben. Der Abstand zu proprietären Cloud-Modellen schließt sich kontinuierlich. Cloud-Modelle können nicht so schnell aktualisiert werden, dienen aber gleichzeitig als Teacher-Models für andere kleinere Modelle, die sich am schlauen Lehrer hochziehen können.

Der einzige Grund, warum Cloud-KI noch eine Zukunft hat, ist die Tool-Infrastruktur. Siehe etwa Coding-Plattfomen. Aber auch dieser Vorteil wird bald repliziert sein. Vergleiche die öffentlich gewordenen Quellcodes der Coding-Plattform von Anthropic oder OpenClaw (auch wenn Agenten nicht glorifiziert werden sollten).

Transparenz als unterschätzter Vorteil

Lokale KI kann nachvollziehbarere Antworten liefern als Cloud-KI – insbesondere dann, wenn das System so aufgebaut ist, dass es seine Quellen und Verarbeitungsschritte offenlegt. Das ist in regulierten Branchen, bei Prüfungen oder überall dort relevant, wo Entscheidungen dokumentiert und begründet werden müssen.

Ein gutes KI-System ist kein reines KI-System

Dieser Punkt wird in der Praxis häufig unterschätzt: Ein zuverlässiges, produktionstaugliches KI-System basiert zu einem relevanten Teil auf konventioneller Programmierung. KI übernimmt die sprachliche Intelligenz, Mustererkennung und Flexibilität – klassischer Code sorgt für Struktur, Validierung, Fehlerbehandlung und Geschwindigkeit.

KI-Modell laden, befragen. Fertig! Wie einfach ist das denn?

Falsch. So ist es garantiert weit entfernt vom Optimum!

Weil »einfach« komplexen Problemen nicht gerecht wird.

Das Ergebnis: höhere Zuverlässigkeit, schnellere Antwortzeiten und ein System, das sich besser warten und weiterentwickeln lässt.

KI-Agenten sind gefährlich und meist unnötig

Agenten werden deshalb von vielen gerne eingesetzt, weil die Kompetenz für ausgereifte KI-Anwendungen fehlt, oder es sich um ein Spielzeugprojekt handelt.

Ein KI-Agent mit vielen Zugriffsrechten ist potentiell leistungsfähig – und kann durch die ihm verliehene Macht viel Schaden anrichten.

Agenten, die sehr wenige Berechtigungen haben, sind hingegen nicht besonders leistungsfähig.

Aus Erfahrung stellen wir fest, dass Agenten so gut wie nie vorteilhaft sind. Sie sind eben ein schneller Wurf und keine ausgereifte Lösung. Zumal Agenten unbeaufsichtigt mit jedem Iterationsschritt immer mehr aus der Kontrolle und der vertretbaren Qualitätszone heraus diffundieren.

KI-Training ist fast nie erforderlich – ein wichtiges Missverständnis

Wenn Dienstleister oder Anbieter davon sprechen, ein Unternehmen müsse sein KI-System „trainieren“, ist damit in der Praxis fast immer die Konfiguration des Systems gemeint: das Einspielen von Wissen, das Definieren von Rollen, Anweisungen und Anwendungsfällen.

Das hat mit KI-Training im technischen Sinne – also dem ressourcenintensiven Prozess, ein Modell auf neuen Daten zu trainieren – in aller Regel nichts zu tun. Echtes KI-Training ist aufwendig, kostspielig und für die meisten Unternehmensanwendungen schlicht nicht notwendig. Eine gute Konfiguration und ein durchdachtes System-Design reichen in den allermeisten Fällen aus.

Empfehlung: Inkrementell vorgehen

Der häufigste Fehler bei der KI-Einführung ist nicht zu wenig Ambition – sondern zu viel auf einmal. Wer mit einem klar abgegrenzten Anwendungsfall startet, kann früh echte Erfahrungen sammeln, Vertrauen im Team aufbauen und die Lösung gezielt ausbauen, ohne von Anfang an eine komplexe Infrastruktur zu riskieren.

Ist noch kein konkreter Anwendungsfall bekannt, empfiehlt sich ein interner Chatbot auf Basis eigener Dokumente als Einstieg – ein sogenanntes Unternehmens-Wiki. Mitarbeiter können damit Handbücher, Prozessbeschreibungen, Verträge oder interne Richtlinien direkt befragen, ohne lange suchen zu müssen. Der Nutzen ist sofort spürbar, der Aufwand überschaubar, und das System lässt sich schrittweise erweitern.

Ein oft unterschätzter Faktor ist die Budgetplanung. Zu wenig Budget führt zu halbgaren Lösungen, die im Alltag nicht funktionieren und die Akzeptanz im Team dauerhaft beschädigen. Zu hohes Budget hingegen erzeugt Erwartungsdruck, überdimensionierte Systeme und teure Komplexität, die niemand braucht. Ein realistisches, dem Use Case angemessenes Budget ist die Grundlage für eine Lösung, die wirklich funktioniert – und dann sinnvoll wachsen kann.

Fazit: Kein Entweder-oder, sondern eine strategische Entscheidung

Cloud-KI und lokale KI schließen sich nicht aus. Für viele Unternehmen ist ein hybrider Ansatz sinnvoll: Cloud-KI für explorative, kreative oder allgemeine Aufgaben – lokale, souveräne KI für alles, was sensible Daten, hohe Nutzungsintensität oder maximale Zuverlässigkeit erfordert.

Der entscheidende Schritt ist, diese Wahl bewusst und kriterienbasiert zu treffen – nicht nach dem Prinzip „alle nutzen ChatGPT, also machen wir das auch“.

Der AI Act (KI Verordnung) bedingt allerdings, dass klare Regeln beim Einsatz von KI definiert und eingehalten werden. So muss die KI-Kompetenz der Personen, die KI im Unternehmen, in der Behörde oder in der Verwaltung nutzen, nachgewiesen werden. Das ist kein Hexenwerk, muss aber geleistet werden.

Die KI Verordnung ist jedenfalls deutlich einfacher mit lokaler KI erfüllbar. Gleiches gilt für das Rechtliche an sich: Microsoft-Verträge versteht niemand. Und KI-Proxies wie OpenRouter oder Langchain, die diverse Cloud-Modelle bündeln, sind diesbezüglich der Ober-GAU.