Baustein 3
Stufe 2 + 3
Lokale KI datenschutzkonform zu betreiben heißt, die Sprachmodelle dorthin zu holen, wo Ihre Daten ohnehin liegen: in ein Rechenzentrum in der EU oder auf einen Server in Ihrem Haus. Das lohnt sich für Betriebe mit Konstruktionsdaten, Personaldaten, Kalkulationen oder Verträgen, und ausdrücklich nicht für alles andere.
Zuerst
die Grenzen
Lokale Sprachmodelle sind spürbar schwächer als die großen Cloud-Modelle. Wer alles lokal betreibt, zahlt doppelt: einmal in Euro für Hardware und einmal in Qualität.
Diesen Satz stelle ich bewusst an den Anfang, weil er in Verkaufsgesprächen meist fehlt. Ein Modell, das auf einem Server im Betrieb läuft, muss klein genug sein, um auf diese Hardware zu passen. Bei Standardaufgaben wie Zusammenfassen, Umformulieren und Textentwürfen ist der Unterschied gering. Bei komplexen Aufgaben mit langen Dokumenten und mehreren Schritten wird er deutlich.
Dafür bekommen Sie etwas, das keine Cloud bietet: Die Daten verlassen das Haus nicht. Für manche Betriebe ist das keine Vorliebe, sondern Voraussetzung, etwa wenn Auftraggeber Geheimhaltungsvereinbarungen verlangen, die eine Weitergabe an Dritte ausschließen.
3 Schritte
Bevor über Hardware gesprochen wird, kläre ich in drei Schritten, welche Stufe der Anwendungsfall überhaupt braucht. Häufig ist es eine niedrigere als zuerst angenommen.
Listen Sie auf, welche Daten in den Anwendungsfall fließen: Kundenname und Adresse, Kalkulation, Konstruktionszeichnung, Personalakte. Je schutzwürdiger die Daten, desto höher die nötige Stufe.
Öffentliche und wenig sensible Inhalte laufen auf Stufe 1, also Cloud-KI mit Auftragsverarbeitungsvertrag nach Art. 28 DSGVO. Interne Kalkulationen und Lieferantendaten gehören auf Stufe 2, ein Rechenzentrum in der EU. Konstruktions-, Personal- und Vertragsdaten gehören auf Stufe 3, einen Server im eigenen Haus.
Stufe 3 kostet Hardware ab etwa 3.000 bis 8.000 Euro und liefert schwächere Modelle als die großen Cloud-Anbieter. Prüfen Sie deshalb, ob sich der Anwendungsfall so zuschneiden lässt, dass eine niedrigere Stufe genügt.
Der dritte Schritt ist der, den die meisten überspringen. Ein Angebotsassistent braucht nicht die vollständige Kundenhistorie, sondern die aktuelle Anfrage und das Sortiment. Wer die Daten sauber trennt, spart sich einen eigenen Server.
EU
Eigen
Hybrid
Zwischen Cloud und eigenem Server liegen mehr Möglichkeiten, als meist bekannt ist. In der Praxis führt der beste Weg oft über eine Kombination.
Weg 1 · Stufe 2
Ein Anbieter mit Servern in Deutschland oder der EU betreibt das Modell für Sie. Keine Übermittlung in Drittländer, keine eigene Hardware, monatliche Kosten statt Investition.
Weg 2 · Stufe 3
Ein Rechner mit passender Grafikkarte steht bei Ihnen. Die Modelle laufen über Ollama, die Mitarbeiter arbeiten über eine Weboberfläche wie Open WebUI. Ihre Dokumente werden per RAG angebunden, damit die KI auf Basis der Firmenunterlagen antwortet.
Weg 3
Der häufigste Fall in der Praxis: Sensible Anwendungsfälle laufen lokal, alles andere in der Cloud. Ein Werkzeug, zwei Wege, entschieden nach Aufgabe statt pauschal.
Nüchtern
Die Unterschiede lassen sich in fünf Zeilen zusammenfassen. Alles Weitere ist eine Frage des konkreten Anwendungsfalls.
| Kriterium | Stufe 1 · Cloud + AV | Stufe 2 · EU-Hosting | Stufe 3 · Lokal |
|---|---|---|---|
| Wo die Daten liegen | Beim Anbieter, per Vertrag abgesichert | Rechenzentrum in der EU | Im eigenen Haus |
| Modellqualität | Beste verfügbare | Sehr gut | Merklich schwächer |
| Einstiegskosten | Gering, Lizenz je Platz | Mittel, Hosting monatlich | Ab etwa 3.000 bis 8.000 Euro Hardware |
| Laufender Aufwand | Kaum | Gering | Updates, Backups, Strom, Pflege |
| Sinnvoll für | Texte, Mails, Produktbeschreibungen | Kalkulationen, Lieferantendaten | Konstruktion, Personal, Verträge |
Vorher
Nachher
Ein Zulieferbetrieb arbeitet für Auftraggeber, die Geheimhaltung vertraglich verlangen. Technische Rückfragen zu laufenden Aufträgen werden bisher von Hand in den alten Projektunterlagen gesucht, weil niemand sie in ein Cloud-System einspeisen darf.
Lokale KI mit Dokumentenanbindung
Stufe 3 · Lokal im Betrieb
Entscheidend ist hier nicht die Textqualität, sondern das Finden. Genau dafür reicht ein kleineres Modell aus, und genau deshalb ist dieser Anwendungsfall ein guter Kandidat für Stufe 3.
Leistung
Hardware
+ Aufwand
Hardware ab etwa 3.000 bis 8.000 Euro · Einrichtung auf Anfrage
Die Hardware kaufen Sie selbst, ich schlage darauf nichts auf. Die Spanne ergibt sich aus der Modellgröße: Für Suche und Zusammenfassungen reicht die untere Grenze, für anspruchsvollere Aufgaben braucht es mehr Grafikspeicher.
Dazu kommen Einrichtung nach Aufwand und laufende Kosten für Strom und Pflege. Bei EU-Hosting entfällt die Anschaffung, dafür läuft eine Monatsgebühr. Was für Sie günstiger ist, hängt an der Nutzungsdauer und lässt sich vorher ausrechnen. Genau diese Rechnung mache ich in der Potenzialanalyse.
Zu lokaler KI
Sie ist datenschutzrechtlich einfacher, nicht automatisch sicherer. Ein Server im Betrieb ohne Updates, ohne Backup und mit offenen Zugriffsrechten ist angreifbarer als ein professionell betriebenes Rechenzentrum. Der Vorteil von Stufe 3 liegt darin, dass keine Daten das Haus verlassen. Die Sicherheit danach hängt daran, wer den Server pflegt.
Entscheidend ist die Grafikkarte, genauer ihr Speicher. Für Suche in eigenen Dokumenten und Zusammenfassungen reicht ein Rechner ab etwa 3.000 Euro. Wer größere Modelle für anspruchsvollere Textarbeit laufen lassen will, landet eher bei 8.000 Euro. Ich dimensioniere nach Ihren Anwendungsfällen, damit Sie weder zu klein noch auf Vorrat kaufen.
RAG steht für Retrieval Augmented Generation und heißt praktisch: Die KI antwortet auf Basis Ihrer eigenen Dokumente statt aus ihrem Trainingswissen. Sie sucht zuerst die passenden Stellen in Ihren Unterlagen heraus und formuliert dann die Antwort daraus. Das reduziert erfundene Angaben deutlich, weil die Antwort eine Quelle hat, die Sie nachschlagen können.
Bei Zusammenfassen, Umformulieren und Suchen in eigenen Dokumenten ist der Unterschied im Alltag kaum spürbar. Deutlich wird er bei langen Dokumenten, mehrstufigen Aufgaben und dort, wo präzise Fachsprache zählt. Deshalb prüfe ich vor der Anschaffung an Ihren echten Beispielen, ob ein lokales Modell die Aufgabe übernimmt.
Ja, und das ist oft der klügere Weg. Starten Sie mit EU-Hosting, sammeln Sie ein halbes Jahr Erfahrung und entscheiden Sie dann. Die Vorlagen und Abläufe lassen sich übertragen, weil ich sie nicht an einen Anbieter binde. Umgekehrt ist es teurer: Hardware, die im Regal steht, weil der Anwendungsfall doch anders lief.
Entweder Sie oder ich. Ein lokaler KI-Server braucht regelmäßig neue Modellversionen, Sicherheitsupdates und ein geprüftes Backup. Wenn niemand im Betrieb dafür zuständig ist, gehört das in einen Wartungsvertrag. Ein Server, um den sich niemand kümmert, ist nach zwölf Monaten ein Risiko statt eines Werkzeugs.
Ja, das Sprachmodell selbst arbeitet vollständig offline. Internet brauchen Sie nur für Updates und für den Zugriff von außerhalb, etwa aus dem Homeoffice. Für Betriebe mit schwacher Anbindung ist das ein zusätzliches Argument, weil die Antwortzeit nicht an der Leitung hängt.
Genau hier liegt die Stärke von Stufe 3. Wenn eine Vereinbarung die Weitergabe an Dritte ausschließt, ist Cloud-KI ohne ausdrückliche Zustimmung heikel, weil der Anbieter rechtlich ein Dritter ist. Mit einem Server im eigenen Haus stellt sich die Frage nicht. Das ist für viele Zulieferbetriebe der eigentliche Auslöser.
Sie kennen Ihren Betrieb, ich kenne die Technik. In 45 Minuten am Telefon gehen wir Ihre Abläufe durch und finden die ersten Stellen, an denen sich KI lohnt. Kostenfrei und ohne Verpflichtung.