Lokale KI und Open-Source-Modelle: Lohnt sich das für den Mittelstand?

Lokale KI heißt: Das Sprachmodell läuft auf Rechnern, die dein Unternehmen selbst betreibt oder allein kontrolliert, und nicht beim Anbieter eines Chat-Assistenten. Möglich wird das durch offene Modelle, deren Gewichte jeder herunterladen kann. Seit OpenAI im August 2025 mit gpt-oss zwei solche Modelle unter der Apache-2.0-Lizenz veröffentlicht hat, fragen sich viele Geschäftsführer, ob sie ChatGPT oder Copilot nicht durch einen eigenen Server ersetzen können. Dieser Artikel gibt dir eine Drei-Wege-Prüfung, eine Lizenz-Prüfliste und unsere Empfehlung. Wo die Frage in deiner KI-Strategie für den Mittelstand hingehört, entscheidet vor allem, welche Daten die KI verarbeiten soll.

Was bedeuten lokale KI, Open Source und Open Weight?

Drei Begriffe werden oft vermischt:

• Open Weight: Die trainierten Gewichte eines Modells sind frei herunterladbar. Trainingsdaten und Trainingscode sind damit nicht automatisch offen. Die meisten sogenannten Open-Source-Modelle sind genau genommen Open-Weight-Modelle.
• Lizenz: Was du mit dem Modell darfst, regelt die Lizenz, und die ist von Modell zu Modell verschieden. Apache 2.0 erlaubt die kommerzielle Nutzung weitgehend, andere Lizenzen enthalten Bedingungen.
• Betriebsort: Ein offenes Modell kann auf einem Arbeitsplatzrechner laufen, auf einem eigenen Server oder bei einem Rechenzentrumsanbieter, der es für dich bereitstellt.

Den dritten Weg unterschätzen viele. IONOS bietet in seinem AI Model Hub offene Modelle wie gpt-oss-120b, Llama 3.3 70B und Mistral Small 24B als Dienst an, laut eigener Angabe ausschließlich in europäischen Rechenzentren und ohne Nutzung von Eingaben und Ergebnissen für das Training. Abgerechnet wird dort nach verarbeiteten Tokens, also nach Nutzung. STACKIT nennt für seinen Modellbetrieb Rechenzentren in Deutschland und Österreich.

Im Alltag sind offene Modelle im Mittelstand noch die Ausnahme. In der repräsentativen Bitkom-Befragung von 603 Unternehmen ab 20 Beschäftigten aus dem Sommer 2026 nutzten 76 Prozent der KI-anwendenden Unternehmen ChatGPT, 35 Prozent Microsoft Copilot und 8 Prozent Llama von Meta. Mistral nannte keines der befragten Unternehmen.

Was spricht für lokale KI?

Das stärkste Argument ist die Kontrolle über die Daten. Die Datenschutzkonferenz von Bund und Ländern schreibt in ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ vom 6. Mai 2024, technisch geschlossene Systeme seien aus datenschutzrechtlicher Sicht vorzugswürdig. Bei Cloud-Lösungen verlassen die Eingabedaten den geschützten Bereich, und es besteht das Risiko, dass sie zu anderen Zwecken weiterverarbeitet werden. Bei Übermittlungen in Drittstaaten sind zusätzlich die Regeln in Kapitel V der DSGVO zu beachten.

Dazu kommen drei weitere Punkte:

• Unabhängigkeit: Ein Modell, das bei dir läuft, ändert sich nicht über Nacht, und kein Anbieter kann Preise oder Bedingungen einseitig anpassen.
• Planbare Kosten bei hoher Nutzung: Bei sehr vielen gleichartigen Anfragen, etwa beim Auslesen tausender Dokumente, kann eigene Hardware günstiger sein als die Abrechnung nach Nutzung. Das ist eine Rechenfrage, keine Grundsatzfrage.
• Gesunkene Hürde: Laut OpenAI, wie Tom’s Hardware berichtet, ist gpt-oss-120b für den Betrieb auf einer einzelnen Grafikkarte mit 80 GB Speicher ausgelegt, das kleinere gpt-oss-20b für Geräte mit 16 GB Speicher. OpenAI gibt an, dass gpt-oss-120b bei zentralen Tests zum logischen Schließen fast gleichauf mit seinem Modell o4-mini liegt. Unabhängig geprüft ist diese Angabe nicht.

Was spricht gegen lokale KI?

• Betrieb ist eine Daueraufgabe: Jemand muss den Server absichern, Updates einspielen, Zugänge verwalten und Ausfälle beheben. Ohne eigene IT-Kompetenz oder einen Dienstleister mit klarem Vertrag wird lokale KI zum Risiko statt zur Lösung.
• Ein Modell ist noch kein Arbeitsplatz: Komfort wie Dateiablage, Suche in Unternehmensdokumenten, Nutzerverwaltung oder die Einbindung in Outlook und Teams musst du selbst aufbauen oder zukaufen.
• Datenschutz bleibt Pflicht: Auch lokal verarbeitest du personenbezogene Daten. Zweck, Rechtsgrundlage, Zugriffsrechte und Löschfristen brauchst du trotzdem. Welche Daten generell in KI-Werkzeuge dürfen, steht in KI und Datenschutz: Welche Daten dürfen in ChatGPT?.
• Lizenzfallen: Offen heißt nicht bedingungslos. Laut einer Lizenzübersicht des Hosting-Anbieters WZ-IT vom Oktober 2026 gewährt die Nutzungsrichtlinie zu den multimodalen Llama-4-Modellen die Lizenzrechte nicht an Unternehmen mit Hauptniederlassung in der EU. Einige Mistral-Modelle stehen unter einer veränderten MIT-Lizenz, die ab einem weltweiten Monatsumsatz von mehr als 20 Millionen US-Dollar eine kommerzielle Lizenz verlangt, auch für die interne Nutzung. gpt-oss und die Gemma-4-Modelle von Google stehen dagegen unter Apache 2.0.

Welcher Weg passt zu deinem Unternehmen? Die Drei-Wege-Prüfung

Die Drei-Wege-Prüfung ist unser Entscheidungsweg. Sie unterscheidet drei Betriebsarten:

1. Weg A: Cloud-Assistent mit Unternehmensvertrag, etwa ChatGPT Business, Claude Team oder Microsoft 365 Copilot.
2. Weg B: offenes Modell bei einem europäischen Rechenzentrumsanbieter, angesprochen über eine Schnittstelle oder eine eigene Oberfläche.
3. Weg C: offenes Modell im eigenen Betrieb, auf eigener Hardware im Haus oder auf einem gemieteten Server, den nur ihr nutzt.

Beantworte für deinen konkreten Anwendungsfall diese fünf Fragen:

1. Welche Daten verarbeitet die KI? Allgemeine Texte und unkritische Unterlagen: Weg A genügt. Geschäftsgeheimnisse, Gesundheitsdaten oder Daten unter Berufsgeheimnis: Weg B oder C prüfen.
2. Gibt es eine vertragliche Vorgabe zum Ort der Verarbeitung? Etwa von Kunden, öffentlichen Auftraggebern oder aus Branchenregeln. Dann scheidet Weg A oft aus, Weg B kann reichen.
3. Wer betreibt die Technik? Ohne Person oder Dienstleister, die Sicherheit und Updates verantworten, kommt Weg C nicht in Frage.
4. Wie gleichförmig ist die Aufgabe? Eine klar umrissene, wiederkehrende Aufgabe, etwa das Auslesen von Lieferscheinen, eignet sich für ein offenes Modell. Für freies Arbeiten mit Texten, Recherche und Analyse sind die großen Cloud-Assistenten mit ihrem Funktionsumfang meist bequemer.
5. Wie viele Anfragen erwartest du? Wenige oder schwankend: Weg A oder B mit Abrechnung nach Nutzung. Sehr viele und dauerhaft: Rechne Weg C dagegen.

Die Kosten rechnest du für jeden Weg mit dem Fünf-Posten-Modell aus dem Artikel Was kostet KI im Mittelstand wirklich? Bei Weg C kommen Hardware, Strom und Betriebszeit hinzu.

Was prüfst du an der Lizenz eines offenen Modells?

Unsere Lizenz-Prüfliste mit fünf Fragen, bevor ein Modell in den Betrieb geht:

• Unter welcher Lizenz steht genau diese Modellversion? Prüfe die Lizenzdatei der Version, nicht die der Modellfamilie.
• Gibt es Ausschlüsse nach Region, etwa für Unternehmen mit Sitz in der EU?
• Gibt es Schwellen nach Umsatz oder Nutzerzahl, ab denen eine eigene Lizenz nötig wird?
• Gilt eine Nutzungsrichtlinie, die bestimmte Zwecke ausschließt?
• Musst du bei Weitergabe oder in Produkten Hinweise oder Modellnamen führen?

Wenn eine dieser Fragen offen bleibt, gehört die Lizenz vor dem Einsatz auf den Tisch deiner Rechtsberatung.

Was empfehlen wir?

Unsere Empfehlung: Starte mit Weg A für die allgemeine Büroarbeit, mit klaren Regeln, welche Daten hinein dürfen. Welcher Assistent passt, klärt der Artikel ChatGPT, Copilot oder Claude: welches KI-Werkzeug passt zum Mittelstand? Prüfe Weg B, sobald ein konkreter Anwendungsfall mit vertraulichen Daten ansteht. Weg C lohnt sich erst, wenn Weg B aus vertraglichen oder technischen Gründen nicht reicht und jemand im Haus den Betrieb verantwortet.

Wir raten davon ab, einen eigenen KI-Server als ersten KI-Schritt zu kaufen. Dann bindet die Technik Zeit und Geld, bevor klar ist, wofür die KI im Unternehmen gebraucht wird. Teste ein offenes Modell zuerst gemietet in einem kleinen Pilot, wie im Artikel Wie plane ich ein KI-Pilotprojekt mit Messgröße? beschrieben. Erst wenn der Pilot trägt, entscheidest du über eigene Hardware.

Wann passt dieser Rat nicht?

• Wenn dein Unternehmen eine eigene Entwicklungsabteilung mit Erfahrung im Serverbetrieb hat, ist Weg C deutlich früher eine realistische Option.
• Wenn Berufsgeheimnisse oder Kundenverträge jede Verarbeitung außerhalb des Hauses ausschließen, ist Weg C unter Umständen schon zum Start der einzige Weg.
• Wenn ihr ein offenes Modell in ein eigenes Produkt für Kunden einbaut, können Anbieterpflichten nach der KI-Verordnung hinzukommen. Einen Überblick gibt Welche Pflichten hat ein Mittelständler nach der KI-Verordnung?.

Was ist der nächste Schritt?

Die Wahl zwischen Cloud-Assistent, gehostetem und eigenem Modell ist eine Abwägung aus Daten, Kosten und Verantwortung. Wenn du sie für dein Unternehmen mit einem Gegenüber durchgehen willst, begleitet dich das 1:1-KI-Mentoring für Geschäftsführer. Wie die Entscheidung in deine KI-Strategie im Mittelstand passt, besprechen wir gern. Buch dir dafür ein kostenloses Erstgespräch (15 Minuten).

Dieser Artikel ist keine Rechtsberatung. Lass Fragen zur Auslegung im Einzelfall von deiner Rechtsberatung prüfen.