Lokale KI oder Cloud-KI? Eine Entscheidungshilfe

Welche drei Stufen gibt es überhaupt?

Zwischen Cloud und eigenem Server liegt eine dritte Möglichkeit, die viele übersehen: ein Modell, das in einem Rechenzentrum in der EU läuft. Aus diesen drei Stufen wählen Sie je Aufgabe, nicht ein für alle Mal für den ganzen Betrieb.

Stufe 1 ist Cloud-KI mit Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO. Die Anfrage geht an den Anbieter, der Vertrag regelt, was er damit tun darf. In den Geschäftskunden-Tarifen der großen Anbieter ist der Einsatz Ihrer Eingaben zum Modelltraining vertraglich ausgeschlossen.

Stufe 2 ist EU-Hosting. Ein offenes Modell läuft bei einem Anbieter mit Rechenzentrum in der EU, häufig in Deutschland. Die Daten verlassen die EU nicht, Sie brauchen aber keine eigene Hardware und keinen eigenen Betrieb.

Stufe 3 ist lokal im Betrieb. Ein Rechner in Ihrem Serverraum führt das Modell aus, die Daten verlassen das Haus nicht. Technisch läuft das in der Regel über Ollama als Motor, Open WebUI als Oberfläche im Browser und eine Anbindung Ihrer eigenen Dokumente per RAG, damit die KI auf Basis Ihrer Firmenunterlagen antwortet.

Wie gut sind lokale Modelle im Vergleich zur Cloud?

Lokale Modelle sind schwächer als die großen Cloud-Modelle. Das ist keine Meinung, sondern eine Folge der Hardware, auf der sie laufen, und diesen Abstand sollte Ihnen jeder Anbieter offen sagen.

Ein Modell, das auf einer einzelnen Grafikkarte im Serverraum läuft, hat deutlich weniger Parameter zur Verfügung als eines, das in einem Rechenzentrum auf verteilter Hardware arbeitet. Bemerkbar macht sich das bei langen Dokumenten, bei mehrstufigen Aufgaben und bei allem, was Fachwissen jenseits des Alltags verlangt.

Bei einfachen Aufgaben fällt der Unterschied kaum auf. Eine Zusammenfassung eines zweiseitigen Protokolls, eine höfliche Absage an einen Lieferanten, die Umformulierung eines Datenblatts in eine Produktbeschreibung: Das schaffen gute offene Modelle zuverlässig.

Bei anspruchsvollen Aufgaben wird der Abstand sichtbar. Eine Ausschreibung von achtzig Seiten auf Fallstricke abklopfen, aus einer unsortierten Mail eine vollständige Angebotsposition ableiten, eine Argumentation über mehrere Schritte halten: Hier gewinnen die Cloud-Modelle klar. Wer das ignoriert, baut ein System, das die Leute im Betrieb nach drei Wochen wieder liegen lassen.

Was kostet lokale KI im Betrieb?

Rechnen Sie mit Hardware ab etwa 3.000 bis 8.000 Euro, dazu Einrichtung, Strom und laufende Betreuung. Die Hardware ist dabei der kleinere und leichter planbare Teil.

Der Preis der Maschine hängt fast vollständig an der Grafikkarte und ihrem Speicher, denn dieser Speicher entscheidet, wie groß das Modell sein darf. Für einen Betrieb mit zehn bis fünfzehn gleichzeitigen Nutzern liegt der sinnvolle Bereich in der oberen Hälfte der genannten Spanne.

Dazu kommt die Einrichtung: Modell auswählen und testen, Oberfläche aufsetzen, Benutzerrechte vergeben, eigene Dokumente anbinden, Sicherung einrichten. Und danach bleibt der laufende Teil: Strom, Updates, neue Modellversionen und ein Ansprechpartner, wenn morgens um sieben nichts geht. Genau dafür gibt es Wartungsverträge für KI-Systeme.

Rechnen Sie ehrlich gegen. Zwölf Cloud-Lizenzen kosten im Jahr eine überschaubare Summe und liefern die besseren Modelle. Eine lokale Installation lohnt sich, wenn die Daten aus rechtlichen oder vertraglichen Gründen im Haus bleiben müssen. Sie lohnt sich fast nie allein deshalb, weil sie auf dem Papier günstiger aussieht.

Wann genügt Cloud-KI mit AV-Vertrag?

Cloud-KI mit Auftragsverarbeitungsvertrag genügt für alles, was ohnehin für Kunden oder Öffentlichkeit bestimmt ist oder keine besonders schutzwürdigen Daten enthält.

Dazu gehören Produkttexte aus Datenblättern, Entwürfe für Kundenmails, Beiträge für Social Media, Stellenanzeigen, Zusammenfassungen öffentlicher Ausschreibungen und Angebotsentwürfe ohne Einkaufspreise. In vielen Betrieben deckt diese Stufe zwei Drittel der sinnvollen Anwendungsfälle ab.

Voraussetzung sind ein Geschäftskunden-Tarif, ein abgeschlossener AV-Vertrag und eine Regelung, welche Daten hineindürfen. Der private Zugang eines Mitarbeiters erfüllt diese Voraussetzung nicht. Wie das sauber aufgesetzt wird, steht unter Cloud-KI im Unternehmen einführen.

Der Unterschied zwischen privatem und betrieblichem Zugang wird oft unterschätzt. Er entscheidet darüber, ob Ihre Eingaben vertraglich geschützt sind, und er ist der Punkt, an dem eine Datenschutzprüfung zuerst nachfragt.

Wann lohnt sich EU-Hosting?

EU-Hosting lohnt sich für interne Daten, die den Betrieb verlassen dürfen, aber nicht die EU: Kalkulationen, Lieferantenkonditionen, interne Dokumentation.

Diese mittlere Stufe wird am häufigsten übersehen, weil die öffentliche Diskussion nur zwei Pole kennt. Dabei löst sie die typische Klemme sehr gut: Sie brauchen keine Hardware, keinen Serverraum und keine eigene Betreuung, und die Verarbeitung bleibt trotzdem im europäischen Rechtsraum.

Der Preis dafür ist Modellqualität. Auf EU-Infrastruktur laufen offene Modelle, die gut, aber nicht die stärksten am Markt sind. Für Kalkulationsprüfungen und interne Recherche reicht das meist deutlich.

Praktisch bewährt sich eine Kombination: Stufe 1 für die Textarbeit nach außen, Stufe 2 für die interne Zahlenarbeit. Die Nutzer merken davon wenig, weil beides über dieselbe Oberfläche laufen kann.

Wann lohnt sich ein eigener Server im Betrieb?

Ein eigener Server lohnt sich, wenn die Daten das Haus aus rechtlichen, vertraglichen oder betrieblichen Gründen nicht verlassen dürfen.

Typische Fälle sind Personalakten und Bewerbungsunterlagen, Konstruktionszeichnungen und Fertigungsdaten, Verträge mit Vertraulichkeitsklauseln, Nachkalkulationen mit Einkaufspreisen und Unterlagen aus Projekten, in denen der Auftraggeber eine Verarbeitung im eigenen Haus verlangt. Der letzte Punkt kommt bei öffentlichen Auftraggebern und in Zulieferketten häufiger vor, als viele erwarten.

Ein zweiter, seltener genannter Grund ist Menge. Wer täglich große Dokumentbestände durchsucht, kommt mit verbrauchsabhängiger Abrechnung irgendwann in Bereiche, in denen eigene Hardware günstiger wird. Diese Schwelle liegt für die meisten Betriebe meiner Größenordnung allerdings weit oben.

Wie eine solche Installation konkret aufgebaut wird, welche Hardware für welche Nutzerzahl passt und wie eigene Dokumente angebunden werden, beschreibt die Seite Lokale und EU-gehostete KI im Detail.

Warum ist alles lokal nicht automatisch am sichersten?

Ein Server im eigenen Haus ist nur so sicher wie seine Betreuung. Ohne Updates, Rechtekonzept und Sicherung ist er die unsicherste der drei Stufen.

Der Denkfehler lautet: Was bei mir steht, ist geschützt. Tatsächlich verschiebt eine lokale Installation die Verantwortung vollständig zu Ihnen. Ein Rechenzentrum beschäftigt Leute, die nichts anderes tun, als Systeme aktuell und überwacht zu halten. In einem Betrieb mit dreißig Mitarbeitern macht das der Kollege mit, der sich ohnehin schon um die Telefonanlage kümmert.

Dazu kommt ein zweiter Punkt: Datenschutz ist nicht nur eine Frage des Orts, sondern der Zugriffsrechte. Ein lokales System, in dem jeder Mitarbeiter alle eingespeisten Dokumente abfragen kann, macht Personaldaten im Zweifel breiter verfügbar als vorher. Das Rechtekonzept ist deshalb kein Nachgedanke, sondern Teil der Einrichtung.

Und schließlich zahlen Sie den Qualitätsabstand mit. Wenn Ihre Leute merken, dass das lokale System bei ihren Aufgaben schlechter arbeitet, weichen sie auf private Zugänge aus. Dann liegen die Daten genau dort, wo sie nie hinsollten, und die Investition hat das Gegenteil bewirkt. Ich sehe diesen Verlauf regelmäßig, und er beginnt fast immer mit einer Entscheidung, die vor der Analyse der tatsächlichen Anwendungsfälle getroffen wurde.

Welche fünf Fragen entscheiden Ihren Fall?

Beantworten Sie diese fünf Fragen je Anwendungsfall. Ein einziges Ja bei Frage 1 oder 2 hebt den Fall auf Stufe 3.

1. Enthalten die Daten Personaldaten, Gesundheitsdaten oder Bewerbungsunterlagen? Ja bedeutet Stufe 3.
2. Verpflichtet Sie ein Vertrag oder ein Auftraggeber darauf, diese Unterlagen im eigenen Haus zu verarbeiten? Ja bedeutet Stufe 3, unabhängig von allem anderen.
3. Stehen Einkaufspreise, Margen oder Konstruktionsdetails darin? Ja bedeutet mindestens Stufe 2.
4. Braucht die Aufgabe hohe Modellqualität, etwa lange Dokumente oder mehrstufiges Nachdenken? Ja spricht für Stufe 1 oder 2 und dafür, den Fall so zuzuschneiden, dass keine sensiblen Daten nötig sind.
5. Gibt es jemanden im Haus, der ein System betreuen kann, oder einen Wartungsvertrag dafür? Nein schließt Stufe 3 vorerst aus.

In der Praxis landen die meisten Betriebe bei einer Mischung. Ein Zimmereibetrieb schreibt Kundenmails auf Stufe 1, prüft Kalkulationen auf Stufe 2 und lässt die Nachkalkulation samt Stundensätzen lokal laufen. Welche Aufgaben dabei überhaupt zur Debatte stehen, zeigt die Übersicht KI-Anwendungsfälle im Handwerk und Holzhandel. Und wenn Ihre Leute damit arbeiten sollen, gehört die Einstufung in die Schulung, weil sie sonst niemand einhält. Warum das inzwischen auch rechtlich zählt, steht im Artikel zur KI-Kompetenzpflicht nach Artikel 4.