In jedem Unternehmen steckt Wissen, das schwer zu finden ist: in Handbüchern, Angeboten, Prüfberichten, Mailverläufen und in den Köpfen erfahrener Mitarbeitender. KI verspricht, dieses Wissen per Frage abrufbar zu machen. Das gelingt, wenn die Grundlagen stimmen, und es scheitert, wenn man KI auf einen ungeordneten Dateiserver loslässt. Dieser Artikel zeigt, wie du Firmenwissen mit KI nutzbar machst, mit dem Modell der drei Wissensarten, einem Bereitschafts-Check und einer Vorlage für Wissensinterviews. Die interne Wissenssuche gehört dabei zu den Einsatzfeldern, die deine KI-Strategie im Mittelstand priorisieren sollte.
Warum wird Firmenwissen gerade jetzt wichtig?
Zwei Entwicklungen treffen zusammen. Erstens wächst der Einsatz: In der Bitkom-Befragung von 603 Unternehmen ab 20 Beschäftigten (Kalenderwochen 28 bis 33 2026) nutzen 22 Prozent der KI-einsetzenden Unternehmen KI im internen Wissensmanagement, ein Jahr zuvor waren es 11 Prozent.
Zweitens geht Wissen in Rente. Laut Statistischem Bundesamt (Pressemitteilung vom 3. September 2025, Basis Mikrozensus 2024) werden 13,4 Millionen Erwerbspersonen bis 2039 das gesetzliche Rentenalter überschritten haben. Das sind 31 Prozent aller Erwerbspersonen des Jahres 2024. Für viele Mittelständler heißt das: Die Menschen, die wissen, warum eine Anlage so eingestellt ist oder welcher Kunde welche Eigenheiten hat, gehen in den nächsten Jahren.
Wie funktioniert KI-gestützte Wissenssuche?
Die meisten Lösungen arbeiten nach einem Verfahren, das Retrieval-Augmented Generation heißt, kurz RAG. Der Bundesverband Digitale Wirtschaft beschreibt es in einem Papier vom November 2025 so: Bei einer Frage sucht das System zuerst passende Stellen in deinen eigenen Dokumenten und gibt sie dem Sprachmodell als Grundlage für die Antwort mit. Das Modell wird dafür nicht neu trainiert. Der BVDW nennt RAG ausdrücklich „kein Allheilmittel“: Die Qualität der Antwort hängt an der Qualität der gefundenen Stellen, und widersprüchliche Dokumente führen zu widersprüchlichen Antworten.
Das Fraunhofer IWU hat einen solchen Prototyp am Beispiel der EU-Maschinenverordnung gebaut, mit einem offenen Sprachmodell, das auf einem leistungsstarken Standard-PC läuft und damit auch lokal betrieben werden kann. Auch dort gilt laut Institut: Antworten sollten geprüft werden, gerade bei Rechtsfragen.
Welche Wissensarten musst du unterscheiden?
Bevor du ein Werkzeug auswählst, sortierst du dein Wissen. Wir unterscheiden drei Arten, weil jede einen anderen Weg braucht.
Dokumentiertes Wissen
Handbücher, Arbeitsanweisungen, Produktdatenblätter, Verträge, Prüfberichte. Es liegt schriftlich vor und hat idealerweise eine verantwortliche Person. Hier hilft KI-Suche direkt, sofern die Dokumente aktuell und eindeutig sind.
Verstreutes Wissen
Mailverläufe, Chatnachrichten, Notizen, zehn Versionen derselben Präsentation auf drei Laufwerken. Es ist vorhanden, aber ungeordnet. Wer KI darauf ansetzt, bekommt Antworten aus veralteten Fassungen. Hier steht zuerst das Aufräumen an.
Erfahrungswissen
Was erfahrene Mitarbeitende wissen, aber nie aufgeschrieben haben. Keine Suche findet es. Hier hilft KI anders: als Interviewer und Schreibhilfe, die aus einem Gespräch ein Dokument macht.
Ist dein Wissen bereit für KI? Der Bereitschafts-Check
Beantworte für den Bereich, mit dem du anfangen willst, sechs Fragen mit Ja oder Nein:
- Eine Quelle: Gibt es für jedes Thema genau einen gültigen Ablageort?
- Verantwortung: Hat jedes wichtige Dokument eine Person, die es aktuell hält?
- Aktualität: Lassen sich veraltete Fassungen erkennen und aussortieren?
- Berechtigungen: Sind Zugriffsrechte so gesetzt, dass jede Person nur sieht, was sie sehen darf?
- Lesbarkeit: Liegen die Inhalte als Text vor und nicht nur als eingescannte Bilder?
- Messgröße: Weißt du, wie lange die Suche heute dauert oder wie oft dieselben Fragen gestellt werden?
Bei fünf oder sechs Ja kannst du mit einem Pilot starten. Bei weniger ist Aufräumen der erste Schritt. Ein Nein bei Frage 4 stoppt das Vorhaben immer, bis es behoben ist.
Warum Frage 4 so wichtig ist, zeigt Microsoft 365 Copilot. Laut Microsoft zeigt Copilot alle Unternehmensdaten an, auf die eine Person mindestens Leserechte hat, auch breit freigegebene Dateien, von denen sie nichts weiß. Ein Ordner mit Gehaltsdaten, der versehentlich für alle freigegeben ist, wird so per Frage auffindbar. Microsoft empfiehlt deshalb, breit gestreute Freigaben vor der Einführung zu prüfen und einzuschränken. Was Copilot sonst kostet und wann es sich lohnt, beschreibt der Artikel Lohnt sich Microsoft 365 Copilot für kleine und mittlere Unternehmen?
Womit fängst du an?
Unsere Empfehlung: mit einem kleinen, gepflegten Bestand, nicht mit dem ganzen Dateiserver. Zum Beispiel die gültigen Arbeitsanweisungen eines Bereichs oder die Produktunterlagen einer Produktlinie. Ein überschaubarer Bestand lässt sich vollständig prüfen, und du merkst schnell, ob die Antworten stimmen. Viele KI-Arbeitsplätze erlauben es, Dokumente in einen Projekt- oder Wissensbereich zu laden. Für den Test reicht das oft, bevor du über eine Anbindung an deine Ablage entscheidest. Welche Aufgaben sich sonst für den Anfang eignen, steht im Artikel Welche Aufgaben eignen sich zuerst für KI im Unternehmen?
Für Erfahrungswissen nutzt du ein Wissensinterview. Diese Vorlage kannst du wortgleich übernehmen. Die Mitarbeiterin oder der Mitarbeiter beantwortet die Fragen im Gespräch oder schriftlich, die KI strukturiert:
Du hilfst mir, das Erfahrungswissen einer Kollegin zu dokumentieren, die in [Zeitraum] in Rente geht. Ihr Aufgabengebiet: [Beschreibung]. Stelle mir zehn Fragen, die genau das Wissen erfassen, das nicht in Handbüchern steht: Ausnahmen, typische Fehler, Kunden- und Lieferanteneigenheiten, Entscheidungen nach Erfahrung. Ich gebe dir danach ihre Antworten. Mache daraus eine Arbeitshilfe mit Überschriften, kennzeichne Unklarheiten mit [NACHFRAGEN] und ergänze nichts, was sie nicht gesagt hat.
Der fertige Text wird von der Kollegin gelesen und freigegeben. Erst dann kommt er in die Ablage, aus der später die KI-Suche antwortet.
Woran erkennst du, dass es funktioniert?
- Treffsicherheit: Stelle vor dem Start zwanzig typische Fragen mit bekannter Antwort zusammen und prüfe, wie viele die KI richtig und mit Fundstelle beantwortet.
- Suchzeit: Miss bei einigen Mitarbeitenden, wie lange die Suche heute dauert, und vergleiche nach sechs bis zwölf Wochen.
- Rückfragen: Zähle, wie oft erfahrene Kolleginnen und Kollegen dieselben Fragen beantworten müssen.
Jede Antwort sollte die Fundstelle nennen. Ohne Fundstelle lässt sich nicht prüfen, ob die KI aus dem gültigen Dokument zitiert oder etwas zusammensetzt. Wie du Ergebnisse prüfst, beschreibt der Artikel Wie prüfe ich KI-Ergebnisse auf Fehler und Halluzinationen? Das Vorgehen für den Test steht im Artikel Wie plane ich ein KI-Pilotprojekt mit Messgröße?
Wann passt dieser Weg nicht?
- Wenn dein Wissen vor allem in Zeichnungen, CAD-Daten oder Maschinendaten liegt, reicht eine textbasierte Suche nicht. Dann braucht es spezialisierte Lösungen und meist einen IT-Partner.
- Wenn besonders vertrauliche Daten betroffen sind, etwa Personalakten oder Gesundheitsdaten, gehören sie nicht in den ersten Pilot.
- Wenn niemand Zeit hat, Dokumente zu pflegen, wird auch die beste KI-Suche mit der Zeit schlechter. Pflege ist eine Daueraufgabe, kein Projekt.
Wie geht es weiter?
Wähle einen Bereich, mach den Bereitschafts-Check und starte mit einem kleinen, gepflegten Bestand. Parallel sicherst du das Erfahrungswissen der Menschen, die als Nächstes gehen. Wenn du das Vorhaben als Geschäftsführer persönlich steuern und mit deinen anderen KI-Vorhaben verbinden willst, eignet sich das KI-Mentoring für Geschäftsführer. Wie das Wissensmanagement in deine KI-Strategie für den Mittelstand passt, besprechen wir gern im kostenloses Erstgespräch (15 Minuten).