Zum Inhalt springen
PUBLIKUMmedia
Lokale KI

Lokale KI, die Ihr Haus nicht verlässt

Viele Unternehmen würden KI gern einsetzen und dürfen es nicht: Verträge, Personalakten, Kalkulationen und Konstruktionsdaten gehören nicht auf die Server eines Anbieters in Übersee. Lokale Sprachmodelle lösen das. Sie laufen auf Ihrer eigenen Hardware oder auf einem Server in Deutschland, und die Daten verlassen den Rechner nicht, auf dem sie verarbeitet werden.

Ansprechpartner: Juri Hoffmann, zertifizierter KI-Manager (MMAI®)Stand:

Woran Sie uns messen können
  • 01Betrieb auf eigener Infrastruktur, etwa beim IHK-Bildungszentrum Bonn/Rhein-Sieg
  • 02Zertifizierter KI-Manager (MMAI®) im Team
  • 03Auftragsverarbeitung nach Art. 28 DSGVO als Standard
  • 04Ehrliche Einschätzung, wo ein lokales Modell reicht und wo nicht
Was wir dafür machen

Im Einzelnen

Modelle im eigenen Netz

Offene Sprachmodelle auf Ihrer Hardware oder auf einem eigenen Server in einem deutschen Rechenzentrum. Kein Datenabfluss, keine Abhängigkeit von einem einzelnen Anbieter.

Wissen aus Ihren Dokumenten

Fragen an Handbücher, Verträge und Ablagen, beantwortet mit Dokument und Abschnitt als Quelle. Bestehende Zugriffsrechte bleiben dabei gewahrt.

Agenten mit lokalem Kern

Dieselben KI-Agenten wie mit einem Cloud-Modell, nur ohne Cloud: Rechnungen prüfen, Anfragen einordnen, Entwürfe schreiben.

Betrieb und Nachweis

Einrichtung, Updates und Überwachung, dazu eine Dokumentation, mit der Sie gegenüber Datenschutz und EU-KI-Verordnung auskunftsfähig sind.

Betrieb

Ein KI-Server im Unternehmen, betrieben von uns

Ein lokales Modell braucht mehr als einen Rechner: Auswahl des Modells, Einrichtung, Zugriffsrechte, Updates, Überwachung. Das ist kein Nebenprojekt für die IT, die ohnehin ausgelastet ist. Wir übernehmen es. Sie müssen keine Hardware verstehen. Sie entscheiden, welche Vorgänge die KI übernimmt, und wir sorgen dafür, dass sie läuft.

01

Einrichtung

Einmalig

Wir richten den KI-Server in Ihrem Haus oder in einem deutschen Rechenzentrum ein und verbinden ihn mit den Systemen, die er braucht.

02

Betrieb

Laufend

Danach halten wir ihn instand: Updates, Wartung, Überwachung und ein Ansprechpartner, wenn etwas klemmt.

03

Datenschutz

Im Vertrag

Wir arbeiten als Auftragsverarbeiter nach Art. 28 DSGVO und liefern die Dokumentation, mit der Sie gegenüber Datenschutzbeauftragten und Aufsicht auskunftsfähig sind.

Standort

Was ein lokales Modell kann und was nicht

Offene Sprachmodelle haben stark aufgeholt. Zum Zusammenfassen, Einordnen, Auslesen von Dokumenten und Schreiben von Entwürfen reichen sie in den meisten Fällen. Bei sehr langen Dokumenten oder verwickelten Schlussfolgerungen liegen die großen Cloud-Modelle noch vorn. Deshalb prüfen wir am konkreten Vorgang, bevor jemand Hardware kauft. Und wir kombinieren, wo es passt: lokal für alles Vertrauliche, Cloud nur für das, was ohnehin öffentlich ist.

2020
gegründet
4
Köpfe
35+
Live-Websites
★
NeuroWeb Award
Aus der Praxis

Passende Fälle

Alle Projekte
Häufige Fragen

Lokale KI

Was bedeutet lokale KI?

Das Sprachmodell läuft nicht bei einem Anbieter im Internet, sondern auf einem Rechner, den Sie kontrollieren: im eigenen Haus oder auf einem eigenen Server in Deutschland. Eingaben und Ergebnisse verlassen diesen Rechner nicht.

Ist lokale KI datenschutzkonform?

Sie macht es deutlich leichter. Wenn keine Daten an Dritte gehen, entfallen Übermittlungen in Drittländer und die Frage, was ein Anbieter mit Ihren Eingaben tut. Die übrigen Pflichten der DSGVO bleiben, etwa Zweckbindung und Löschfristen. Verbindliche Rechtsauskunft gibt eine Kanzlei.

Sind lokale Modelle so gut wie ChatGPT?

Für viele Aufgaben im Betrieb ja, für manche nicht. Zusammenfassen, Einordnen, Daten auslesen und Entwürfe schreiben gelingen lokal gut. Bei sehr langen Texten oder schwierigem Schlussfolgern sind die großen Cloud-Modelle stärker. Wir testen das an Ihrem Vorgang, bevor Sie investieren.

Welche Hardware braucht man?

Das hängt am Modell und daran, wie viele Menschen gleichzeitig damit arbeiten. Für einzelne Abläufe reicht oft ein Rechner mit leistungsfähiger Grafikkarte, für ein ganzes Team eher ein Server. Wir legen das nach einem Test fest, nicht vorher.

Geht das auch ohne eigene Hardware?

Ja. Dann läuft das Modell auf einem eigenen Server in einem deutschen Rechenzentrum, den nur Sie nutzen. Das ist der übliche Einstieg, weil sich so prüfen lässt, ob sich eigene Hardware lohnt.

Womit fängt man an?

Mit einem Vorgang, bei dem vertrauliche Daten im Spiel sind und der heute viel Handarbeit kostet. Den setzen wir als Pilot mit lokalem Modell um und messen, was er bringt. Erst dann geht es um Ausbau und Hardware.

Klingt das nach
Ihrem Vorhaben?

Ein Erstgespräch dauert eine halbe Stunde und kostet nichts. Wenn Sie zuerst den Bestand geprüft haben möchten, ist das Website-Audit der kleinere Einstieg.