Moderne KI muss nicht in einer US-Cloud laufen. Frei verfügbare Modelle laufen heute auf eigener Hardware im Unternehmen – leistungsfähig genug für den Alltag, ohne dass ein einziges Dokument das Haus verlässt. Ich richte das ein, von der Modellauswahl bis zum laufenden Betrieb.
Wenn keiner dieser Punkte auf Sie zutrifft, ist ein guter Cloud-Dienst mit Auftragsverarbeitung oft die einfachere Wahl – auch das sage ich Ihnen dann so.
Technik: Open-Weight-Modelle unter freien Lizenzen (u. a. Mistral, Qwen, Gemma), betrieben mit erprobten Werkzeugen wie Ollama oder vLLM. Auf Wunsch kombiniert mit einem Wissens-Assistenten auf Ihren eigenen Dokumenten – dann bleibt auch die Wissensbasis komplett im Haus.
Lokale Modelle sind in den letzten zwei Jahren enorm besser geworden – aber sie sind nicht in jeder Disziplin auf dem Niveau der großen Cloud-Dienste. Für die häufigsten Mittelstands-Aufgaben reicht es locker: Texte zusammenfassen und entwerfen, Dokumente durchsuchen und auswerten, E-Mails vorsortieren, Daten strukturieren. Für seltene Spezialfälle mit höchsten Ansprüchen kann ein hybrider Weg sinnvoll sein: Sensibles läuft lokal, Unkritisches darf in die Cloud.
Genau diese Abwägung ist der Kern der Beratung. Sie bekommen keine Ideologie („alles lokal!") und keinen Cloud-Reflex („nimm doch einfach ChatGPT") – sondern eine Architektur, die zu Ihren Daten und Ihrem Budget passt. Wenn für Sie zunächst der geschäftliche Cloud-Weg infrage kommt, lesen Sie, wie sich ChatGPT im Mittelstand sinnvoll einführen und in vorhandene Systeme integrieren lässt.
Übrigens: Für Digitalisierungs- und KI-Vorhaben gibt es in Brandenburg Förderprogramme. Zuschüsse kann und werde ich nicht versprechen – aber ich sage Ihnen, ob Ihr Vorhaben grundsätzlich infrage kommt, und helfe Ihnen durch den Antragsprozess.
Lokale KI ist kein Produkt von der Stange – sie braucht jemanden, der Modelle, Hardware und Ihre Abläufe zusammen denkt.
Lokale Modelle, Agenten und Wissens-Assistenten laufen bei mir täglich im Produktivbetrieb – nicht als Demo, sondern als Arbeitswerkzeug. Ich empfehle nur, was ich selbst nutze.
Der Stack wird nach Ihrem Datenschutz-Bedarf gewählt, nicht umgekehrt. Was lokal bleiben muss, bleibt lokal – nachweisbar, auch gegenüber Datenschutzbeauftragtem und Betriebsrat.
Wenn für Ihren Fall ein Cloud-Dienst mit sauberer Auftragsverarbeitung die bessere und günstigere Lösung ist, bekommen Sie genau diese Empfehlung – und kein Server-Projekt.