Eine alte Faszination, neu aufgenommen

Mein erster Kontakt mit neuronalen Netzen war 1986. Ich war jung, hatte gerade „Neuromancer" von William Gibson gelesen, und die Vorstellung, dass Maschinen lernen können, war elektrisierend. Dann wurde es jahrzehntelang still um das Thema. Nicht, weil die Idee schlecht war — sondern weil die Rechenleistung fehlte, um etwas Sinnvolles damit zu tun.

In der Zwischenzeit habe ich mit dem gearbeitet, was praxistauglich war: Text Mining, K-Nearest-Neighbors, Decision Trees, Clustering. Die Telekommunikationsbranche nutzt seit über 20 Jahren Data-Mining-Algorithmen für das Churn-Management — also das frühzeitige Erkennen kündigungsgefährdeter Kunden, um sie mit gezielten Maßnahmen zu halten. Das war nüchterne, angewandte Statistik. Und es funktionierte.

2024 habe ich den Faden der neuronalen Netze wieder aufgenommen — diesmal in Form von Large Language Models. ChatGPT hatte den Proof-of-Concept geliefert: Man kann diese Technologie tatsächlich für beeindruckende Dinge nutzen. Das eigentlich Beeindruckende dabei ist für mich, dass das, was wir „KI" nennen, im Kern nichts anderes ist als sehr schnell angewandte Statistik — und wir trotzdem zu solchen Ergebnissen kommen.

Das Problem: Datenschutz ist kein Verhinderungsgrund — aber eine echte Anforderung

Mit ChatGPT kam unmittelbar die Datenschutzdiskussion. In vielen Unternehmen — auch in IT-Unternehmen — wurde die sinnvolle Nutzung dadurch maximal blockiert. Ich bin selbst überzeugter Verfechter von Datenschutz und Datensicherheit. Aber man kann die DSGVO lösungs- oder verhinderungsorientiert behandeln, und gerade hierzulande ist letzteres eine gepflegte Tradition.

Dennoch: Es gibt Anwendungsfälle, bei denen die Kritikalität der Daten eine externe Verarbeitung — schon gar nicht außerhalb der EU — schlicht nicht erlaubt. Ärzte, Psychologen, Psychiater, Steuerberater, Anwälte, aber auch ganz normale KMUs mit sensiblen Kunden- oder Verfahrensdaten.

Daraus ergaben sich für mich sechs verpflichtende Anforderungen an ein eigenes System:

  1. Local only — keine externen Anbieter
  2. Privacy First — Datenschutz nicht als Feature, sondern als Architektur
  3. Hohe Qualität — vergleichbar mit den großen Anbietern
  4. Bedienbarkeit — auch für Nicht-Techniker
  5. Zukunftssicherheit — keine Sackgasse
  6. Wirtschaftlich betreibbar — bezahlbar im Mittelstand

Meine Arbeitshypothesen

Aus den Anforderungen wurden Hypothesen, die ich überprüfen wollte:

  • Es geht und funktioniert.
  • Privacy First ist möglich.
  • Schränkt man die Domäne ein, ist die Qualität gleich gut oder besser als bei externen Anbietern.
  • Der Betrieb auf bezahlbarer Standardhardware ist möglich.
  • Es gibt im Open-Source-Bereich genug Bausteine, um mit minimalem Eigencode zu einer Lösung zu kommen.

Was dabei herausgekommen ist

Was ich gebaut habe, ist nicht „nur" ein LLM. Es ist ein RAG-System (Retrieval Augmented Generation) — das Sprachmodell bekommt zur Laufzeit immer aktuellen, persönlichen Kontext mitgeliefert. Es ist außerdem eine agentische Plattform: Mehrere spezialisierte Agenten mit eigenem Kontext arbeiten zusammen, koordiniert von einem Orchestrator, der die einzelnen Komponenten füttert und steuert. Das System beherrscht automatisierte Pseudonymisierung und ist auf datensensible, lokale Systemlandschaften ausgelegt.

Konkret heißt das: Alle 10.000 Dokumente, die meine Frau und ich im Laufe der Jahre gesammelt haben, sind „chatbar". Ich gehe nicht mehr zum Leitz-Ordner. Ich sage: „Stelle mir alle relevanten Informationen zu meiner Versicherung zusammen und mach mir ein PDF daraus." Und es passiert. Ich chatte mit meinen Systemen, statt sie über klassische Oberflächen zu bedienen — E-Mail, Organizer, PDF-Software, Ablage.

Was ich dabei gelernt habe

Die ersten 80 Prozent gehen schnell. Die nächsten 8 Prozent kosten dreimal so viel Zeit. Das ist kein KI-Phänomen, das gilt für jedes ernsthafte Softwareprojekt — aber im KI-Bereich wird das gerne unterschätzt, weil die ersten Erfolge so schnell und beeindruckend kommen. Robustheit, Qualität und Einfachheit kommen nicht automatisch dazu.

KI ist in einer frühen Reifephase. Wenig Standards, viele konzeptionelle Abhängigkeiten zwischen den beteiligten Komponenten, Fehleranfälligkeit auf Nerd-Ebene. Ich habe selbst mehrfach in den Quellcode eingesetzter Open-Source-Komponenten geschaut und Verbesserungsvorschläge an die Entwickler geschickt. Wer hier rein nutzen will, ohne sich tief einzuarbeiten, braucht jemanden, der es tut.

Die besten lokalen Modelle kommen aus China. Konkret: aus dem Hause Alibaba. Daran kommt man derzeit schlicht nicht vorbei. Das ist eine Realität, die strategisch eingeordnet werden muss — aber sie zu ignorieren, hilft niemandem.

Ollama und OpenWebUI sind super für den Hausgebrauch. Für den ernsthaften Einsatz im KMU sind sie nicht nachhaltig — nicht ohne erheblichen Aufwand skalierbar, nicht professionell managebar. Strukturelles Wachstum ist auf dieser Basis nicht möglich. Was ich baue, läuft auf dem lokalen Rechner und kann bei beliebigen deutschen Rechenzentren DSGVO-konform und datensicher nahezu beliebig skaliert werden.

Die wichtigste Erkenntnis

Das eigentlich Spannende an Sprachmodellen ist nicht, dass sie sprechen können. Es ist nicht ihre vermeintliche „Kreativität". Es ist auch nicht das, was sie inhaltlich produzieren.

Das Spannende ist, dass sie sich durch ihre sprachlichen Fähigkeiten selbst die Schnittstelle zu jedem System bauen können, dessen Spezifikation sie kennen.

Damit sind LLMs in erster Linie eine neue Form der Mensch-Maschine-Kommunikation. Eine neue Benutzerschnittstelle. Plötzlich können Menschen Dinge tun, an die sie vorher nicht im Traum gedacht hätten — weil die Hürde, ein System zu bedienen, nicht mehr aus „die richtigen Knöpfe finden" besteht, sondern aus „in einem Satz beschreiben, was man will".

Was das praktisch bedeutet: Ich habe in den letzten zwei Jahren mehr exzellenten Code produziert als in den 20 Jahren davor — und auf einem Qualitätsniveau, das ich allein nie erreicht hätte. Das ist keine kosmetische Veränderung. Das wird den Arbeitsmarkt in einer Weise verändern, die heute schon sichtbar ist.

Was Mittelständler daraus mitnehmen können

Drei Dinge, wenn ich es auf das Wesentliche reduziere:

Erstens: Datenschutz ist kein Grund, KI nicht zu nutzen. Datenschutz ist ein Grund, sie richtig zu nutzen — lokal, kontrolliert, mit klarer Architektur.

Zweitens: Der Mehrwert von KI im Unternehmen liegt selten dort, wo der Hype hinzeigt. Er liegt darin, dass Menschen, die bisher mit Systemen kämpfen mussten, jetzt mit ihnen sprechen können. Das ist eine Frage von Zugang, nicht von Magie.

Drittens: Wer auf dem Niveau „ich probier mal Ollama auf meinem Notebook" stehen bleibt, wird Spielzeug bauen. Wer für ein Unternehmen baut, braucht eine Architektur, die skaliert, managebar ist und in eine bestehende IT-Landschaft passt. Das ist machbar — aber nicht trivial.

Genau an diesem Punkt setze ich an, wenn Mittelständler mit mir sprechen. Nicht beim nächsten Pilotprojekt, das nie in Produktion kommt. Sondern bei der Frage, was zu Ihrem Unternehmen passt und was Sie wirklich weiterbringt.

Weniger Hype. Mehr Wirkung.

---

Wenn Sie überlegen, wie KI in Ihrem Unternehmen sinnvoll einsetzbar wäre — ohne den üblichen Hype und ohne sich in Pilotprojekten zu verlieren — sprechen wir in einem Working Lunch zwei Stunden lang konkret über Ihre Situation. Pauschal, unverbindlich, mit Mehrwert, den Sie direkt mitnehmen.