IA en local entreprise : quand garder le calcul sur place

Was versteht man unter lokaler KI, On-Premise-KI und Edge AI?

Lokale KI, On-Premise-KI und Edge AI bezeichnen drei Wege, die Rechenleistung näher an das Unternehmen oder dessen Daten zu bringen, doch ihr Anwendungsbereich ist jeweils ein anderer.

Lokale KI und On-Premise-KI

Eine lokale KI, auch selbst gehostet oder on-premise genannt, ist ein KI-System, das auf der Infrastruktur des Unternehmens installiert ist und dort läuft (lokaler Server, Mini-PC oder Desktop-Computer), ohne externe Cloud-Server zu nutzen [27]. Konkret handelt es sich um ein Sprachmodell und seine Softwarekomponenten, die auf dieser Infrastruktur bereitgestellt werden, wobei die Daten innerhalb des Unternehmensbereichs verbleiben [21].

Die Quellen verwenden den Begriff „lokal“ allerdings nicht einheitlich:

• Manche beschränken ihn auf einen einzelnen Rechner: Das Modell läuft vollständig auf einem Desktop- oder Laptop-Computer [18].
• Andere erweitern ihn auf einen Server, der sich in den Räumen des Unternehmens oder bei einem Hosting-Anbieter befindet [16].

Im zweiten Fall bedeutet „On-Premise“ also nicht immer „in Ihren eigenen Räumen“.

Edge AI

Edge AI, also KI am Netzwerkrand, bezeichnet den Einsatz von KI in einer Edge-Computing-Umgebung [35]. Algorithmen und Modelle werden direkt auf Geräten am Netzwerkrand bereitgestellt [40]. Die Berechnung erfolgt in der Nähe des Ortes, an dem die Daten erfasst werden, anstatt in einer zentralisierten Cloud oder einem externen Rechenzentrum [35][20].

Ein Vorbehalt zu den Quellen

Die Quellen dieses Dossiers stammen überwiegend von kommerziellen Akteuren (Herstellern, Softwareverlagen, Dienstleistern), deren Definitionen ein Angebot begleiten. Die akademischen Quellen des Dossiers behandeln andere Themen und werden hier nicht verwendet.

Daten intern behalten: welcher reale Gewinn für Datenschutz und Compliance?

Den Betrieb der KI vor Ort zu organisieren, beantwortet eine Frage des Geltungsbereichs: Die Daten verlassen die Organisation nicht. Das ersetzt jedoch nicht die Einhaltung der rechtlichen Vorgaben.

Was der lokale Betrieb vermeidet

Wenn Teams Verträge, Kundenakten oder Quellcode an eine US-amerikanische KI-API senden, verlassen diese Daten das Unternehmen. Das wirft rechtliche Fragen auf: DSGVO, Geschäftsgeheimnisse, Cloud Act [37]. Ein intern betriebenes Modell entfällt dieser Schritt. Der Hersteller Lenovo, ein kommerzieller Hardwareakteur, fasst den Nutzen so zusammen: Man behält die Kontrolle über seine proprietären Daten und erzielt zugleich schneller Ergebnisse [20][23]. Besonders nützlich, wenn nicht gar unverzichtbar, sei der Ansatz für vertrauliche Informationen und interne Code-Repositories [33]. Eine Universität bietet zudem lokale Modelle für sensible Daten an [13].

Weniger vertragliche Verpflichtungen

Laut einem Bereitstellungsleitfaden gibt es ohne Übermittlung der Daten an einen externen Anbieter keinen KI-Unterauftragnehmer, der aufgeführt werden müsste, und keinen Auftragsverarbeitungsvertrag (DPA), der unterzeichnet werden müsste. Derselbe Leitfaden hält den Cloud Act für nicht anwendbar, da kein US-Unternehmen die Daten hostet [24]. Dieses Argument gilt allerdings nur, solange die Hosting-Kette unter Kontrolle bleibt.

Was der lokale Betrieb nicht löst

Der lokale Betrieb erfüllt die Anforderung, Daten nicht aus einem festgelegten Bereich herauszugeben, entbindet aber nicht von den üblichen DSGVO-Pflichten [14]. Die übrigen Anforderungen der Verordnung gelten daher weiterhin für die intern durchgeführten Verarbeitungen. Dazu gehören etwa die Rechtsgrundlage, die Information der betroffenen Personen und die Sicherheit. Dieser Punkt stützt sich auf eine einzige Quelle des Dossiers, die diese Pflichten nicht im Einzelnen ausführt.

Wann rechtfertigen Latenz und Bandbreite den Einsatz von Edge AI?

Die Verarbeitung der Daten nahe an ihrer Quelle verringert die Latenz und begrenzt den Bandbreitenverbrauch. Diese beiden Vorteile zählen vor allem dann, wenn Daten kontinuierlich anfallen und die Antwort schnell erfolgen muss. Edge AI („KI am Netzwerkrand“) bedeutet, die Berechnungen in der Nähe des Ortes durchzuführen, an dem die Daten erfasst werden, statt in einer zentralisierten Cloud oder einem entfernten Rechenzentrum [35]. Solche Berechnungen lokal durchzuführen, verringert die Latenz erheblich und ermöglicht schnellere Entscheidungen [39].

Das typische Beispiel ist die Industriekamera. Statt alle Bilder zur Analyse in die Cloud zu schicken, werden sie direkt auf einem Edge-Endgerät verarbeitet [28]. Nur das Analyseergebnis muss dann übertragen werden, was den Effekt auf die Bandbreite erklärt. Dieselbe Überlegung gilt für andere Geräte: Manche Unternehmen verlagern die Inferenz von der Cloud auf die Arbeitsplatzrechner, um Latenz und Bandbreitenkosten zu senken und zugleich den Datenschutz zu verbessern [22].

Edge AI lohnt sich daher vor allem in zwei Fällen:

• Die Entscheidung muss schnell fallen, und ein Hin- und Rückweg zu einem entfernten Rechenzentrum ist ein Hindernis;
• Der Datenstrom ist umfangreich und kontinuierlich, etwa die Bilder einer Produktionslinie, und sie vollständig in die Cloud zu senden wäre kostspielig.

Eine Zahl zum Umfang der Entwicklung kursiert. Laut Renewator, zitiert von einem Blog, erfolgen inzwischen 55 % der KI-Inferenz in Unternehmen lokal oder am Edge, gegenüber 12 % im Jahr 2023 [36]. Diese Zahl stammt von einem Dritten; wir konnten sie nicht überprüfen, und sie sollte nicht als Grundlage für eine Investitionsentscheidung dienen. Die Quellen, die Edge AI loben, sind im Übrigen oft kommerzielle Hardwareanbieter [39][35].

Dies ist der Anwendungsfall, auf den Nexus One abzielt, das Gerät von Oupi, das KI möglichst nah an den Daten betreiben soll.

Lokale KI oder Cloud: was ändert das Kostenmodell?

Lokale KI und Cloud haben unterschiedliche Kostenstrukturen: Erstere zielt auf nahezu feste Kosten ab, während die Cloud in der Regel nach Nutzung pro Token abrechnet.

Zwei Abrechnungslogiken

• Lokale KI: Das Modell läuft auf Ihrem eigenen Server, in Ihren Räumen oder bei einem Hosting-Anbieter. Ihr Hauptvorteil sind nahezu feste Kosten [16].
• Cloud-KI: Die Kosten werden in der Regel pro verwendetem Token berechnet [25]. Ein Token ist die Texteinheit, die das Modell liest oder erzeugt. Die Rechnung folgt also dem Nutzungsvolumen.

Diese beiden Feststellungen stammen von Dienstleistern der Branche [16][25]: Sie beschreiben einen Trend, keine Preise.

In Entwicklung denken, nicht am Einstiegspreis

Die sinnvolle Kalkulation erfolgt „über die Entwicklung“ und nicht über den „Einstiegspreis“ [21]. Ein Abonnement oder eine Abrechnung pro Token wirkt zunächst günstig, steigt aber mit der Nutzung durch die Teams. Eine lokale Infrastruktur erfordert dagegen eine Anfangsinvestition, danach fallen eher stabile Ausgaben an. Vergleichen Sie daher Nutzungsszenarien über die Laufzeit, statt zwei Anfangsangebote gegenüberzustellen.

Die Hardware muss finanziert werden

„Nahezu fest“ heißt nicht „null“. Eine KI auf dem eigenen Rechner zu installieren, verursacht abgesehen von der Hardware keine Nutzungskosten [34]: Anschaffung, Unterbringung und Betrieb des Geräts bleiben bei Ihnen.

Das Dossier nennt keine beziffer­te Rentabilitätsschwelle, deshalb gibt auch dieser Artikel keine an. Für Ihren Fall müssen Sie Ihr absehbares Nutzungsvolumen, die Kosten für Hardware und deren Betrieb sowie den Zeitraum schätzen, über den Sie die Investition abschreiben wollen.

Auf welcher Hardware KI betreiben: Arbeitsplatz, Server oder Gerät?

Die passende Hardware hängt von der Größe des Modells und der Zahl der Nutzer ab: ein Arbeitsplatzrechner oder Mini-PC für die individuelle Nutzung mit einem kleinen Modell, ein lokaler Server, um ein Team zu versorgen.

Die Optionen, von der leichtesten zur schwersten

• Arbeitsplatzrechner oder Mini-PC. Eine lokale KI kann auf der Infrastruktur des Unternehmens laufen, sei es auf einem lokalen Server, einem Mini-PC oder einem Desktop-Computer, ohne externe Cloud-Server [27]. Auf einem leistungsschwachen Gerät begrenzen Rechen- und Speicherkapazität die Möglichkeiten. Kleine Sprachmodelle (SLM) wie Phi sind dafür besser geeignet. Microsoft, das diese Empfehlung veröffentlicht, ergänzt, dass seine Copilot+-PCs integrierte Modelle mitbringen [29].
• Lokaler Server. Ein Abteilungs- oder Büroserver, oft mit dedizierten GPUs ausgestattet, kann ein Team versorgen und die Daten im internen Netzwerk halten [10]. Mit Optimierungstechniken kann ein handelsüblicher Unternehmensserver bereits leistungsfähige Modelle für Klassifizierungs- oder Zusammenfassungsaufgaben betreiben, ohne intensiven Rechencluster [32].
• Hosting des LLM bei einem Dritten. Diese Methode gehört zu den Verfahren, die für das Hosting einer LLM-Plattform aufgeführt werden [19], und manche Quellen zählen „bei einem Hosting-Anbieter“ zur lokalen KI [16]. Die Definitionen stimmen also nicht durchgehend überein: Wenn der Server nicht mehr in Ihren eigenen Räumen steht, prüfen Sie, wo sich die Daten befinden, bevor Sie von On-Premise-KI sprechen.

Nexus One

Nexus One ist das Gerät von Oupi, um KI möglichst nah an den Daten zu betreiben. Es ergänzt diese Optionen für Organisationen, die eine dedizierte Ausstattung statt eines Arbeitsplatzrechners oder allgemeinen Servers wünschen. Details finden Sie auf der Seite zu Nexus One.

Welche Grenzen hat die lokale KI, und wann bleibt die Cloud sinnvoll?

Die lokale KI hat drei Hauptgrenzen: oft weniger leistungsfähige Modelle, Hardware, die dimensioniert werden muss, und eine Sicherheit, die man selbst organisieren muss. Ein Ratgeber für Endverbraucher (CNET) gibt an, dass sie leistungsstarke Hardware mit mindestens 8 GB RAM erfordert und Zugang zu weniger leistungsfähigen Modellen als Online-Dienste bietet [38]. Laut Microsoft kann ein Gerät mit begrenzter Rechen- oder Speicherleistung darunter leiden; für die lokale Nutzung eignen sich daher eher kleine Sprachmodelle (SLM) wie Phi [29].

Die Cloud behält den Vorteil bei den größten Modellen. Ein Beitragender in einem Forum (Reddit) erklärt, dass die meisten Nutzer die Cloud verwenden, weil diese Modelle eine große Rechenleistung erfordern [12]. Ein Expertenartikel stellt die Cloud zudem als für bestimmte Anwendungen unersetzlich dar [30]. Schließlich weist ein Dienstleistungsunternehmen (WorkMyWay) darauf hin, dass das Unternehmen trotz intern verbleibender Daten vom Anbieter seines Modells abhängig bleiben kann [25].

Sicherheit kommt nicht mit der Hardware. Der lokale Betrieb entbindet nicht von den üblichen DSGVO-Pflichten [14]. Ein Dienstleister (ID Interactive) beschreibt seine eigenen Mechanismen: Netzwerkisolation des KI-Servers, kontrollierte und protokollierte ausgehende Verbindungen, kein API-Schlüssel für einen Drittdienst, monatliche Prüfung der Zugriffsprotokolle [26]. Dieses Beispiel stammt von einem kommerziellen Akteur, bietet aber eine Grundlage von Kontrollen, die Sie überprüfen sollten.

Entscheidungsraster. Die Berechnung vor Ort rechtfertigt sich vor allem dann, wenn:

• die Daten sensibel oder reguliert sind [14][37];
• Latenz oder Bandbreite kritisch sind [22][28];
• die Nutzung intensiv ist, was nahezu feste Kosten begünstigt [16][25];
• die Aufgaben mit bescheidenen Modellen vereinbar sind [29][32].

Fehlt eines dieser Kriterien, oder erfordert die Aufgabe ein sehr großes Modell, bleibt die Cloud sinnvoll [12][30]. Ein hybrider Ansatz ist plausibel, wird in den Quellen des Dossiers allerdings kaum beschrieben: Sie erlauben keine Detailbeschreibung seiner Architektur.