Zum Hauptinhalt springen
Alle Beiträge
KI & Daten17 Min. Lesezeit

SLM selbst hosten oder API? Der TCO-Break-even-Rechner

Ab wann lohnt es sich, ein Small Language Model selbst zu betreiben statt per Token zu zahlen? Transparente TCO-Formel, EU-Listenpreise und xlsx-Rechner.

Veröffentlicht Aktualisiert: 15. November 2026

Am 15. November 2026 kostet ein Azure-Knoten NC40ads H100 v5 in Germany West Central laut Liste 8,15 € pro Stunde. Im Dauerbetrieb sind das 5.946 € im Monat, mit dreijähriger Reservierung 3.271 €. Am selben Tag kostet eine Million Eingabe-Tokens für GPT-5.4 nano in der EU-Datenzone 0,20 €. Und jede Woche fragt irgendwo ein Vorstand: „Wäre es nicht günstiger und souveräner, ein kleines Modell selbst zu betreiben?" Die ehrliche Antwort hängt an einer Zahl, die die meisten Teams nie gemessen haben: Tokens pro Monat.

Dieser Beitrag richtet sich an alle, die diese Entscheidung verantworten: CTOs, CISOs, Plattformverantwortliche und Architekten. Wir legen eine transparente Formel offen, setzen tagesaktuell geprüfte Listenpreise ein und zeigen, wo der Break-even tatsächlich liegt. Im Rechner ersetzen Sie jede Annahme durch Ihre eigene. Unser Ergebnis vorweg: Allein über die Kosten gewinnt der Eigenbetrieb eines Small Language Models selten unterhalb von zig Milliarden Tokens pro Monat. Souveränität und Offline-Betrieb sind die besseren Gründe, und sie verdienen eine eigene Zeile im Business Case.

TL;DR / Das Wichtigste in Kürze

  • Die Untergrenze entscheidet, nicht die GPU. Eine H100 mit einem 8B-Modell hat mehr Kapazität, als die meisten Workloads nutzen. Zwei Knoten, Plattform und Personal bilden eine fixe Untergrenze von rund 11.900 € pro Monat bei dreijähriger Reservierung.
  • Der Break-even liegt im Milliardenbereich. In unserem Referenz-Workload schlägt der Eigenbetrieb GPT-5.4 ab 3,4 Mrd. Tokens pro Monat, GPT-5.4 mini ab 11,3 Mrd. und GPT-5.4 nano ab 41,6 Mrd.
  • Vergleichen Sie Gleiches mit Gleichem. Ein 8B-Modell konkurriert qualitativ mit APIs der Nano-Klasse, nicht mit Frontier-Modellen. Erst die Evaluierung, dann die Rechnung.
  • Der Aufschlag für die EU-Datenzone ist klein. Azure listet Data Zone EU für die GPT-5.4-Familie 10 % über Global. Das ist die günstigste Souveränitätsmaßnahme, die Sie kaufen können.
  • In der Praxis gewinnt hybrid. Ein Gateway, das jede Aufgabe an die günstigste Option leitet, die ihre Evaluierung besteht, schlägt jede Einzelentscheidung.
Vier Wege, ein Small Language Model zu betreiben, und wie jeder abgerechnet wird, von der öffentlichen API bis zur Edge-Hardware. Die Nummern entsprechen den folgenden Abschnitten.
Vier Wege, ein Small Language Model zu betreiben, und wie jeder abgerechnet wird, von der öffentlichen API bis zur Edge-Hardware. Die Nummern entsprechen den folgenden Abschnitten.

Download: Editierbare draw.io-Datei · In diagrams.net öffnen · Diagrammdaten (CSV) · TCO-Rechner (xlsx)

Warum das jetzt wichtig ist

In den Budgets für 2026 treffen zwei Kräfte aufeinander. Erstens sind kleine Modelle für die meisten Unternehmensaufgaben gut genug geworden. Gartner prognostizierte im April 2025, dass Unternehmen bis 2027 kleine, aufgabenspezifische KI-Modelle dreimal häufiger nutzen werden als allgemeine LLMs. Open-Weight-Modelle mit 8 bis 30 Milliarden Parametern erledigen Klassifikation, Extraktion, Zusammenfassung und Routing inzwischen so gut, dass ein Frontier-Modell für den Großteil des Traffics überdimensioniert ist.

Zweitens die Souveränität. Im November 2025 meldete Gartner, dass 61 % der 241 befragten CIOs und IT-Verantwortlichen in Westeuropa erwarten, dass die Geopolitik ihre Abhängigkeit von lokalen Cloud-Anbietern erhöht. Im DACH-Raum fragen heute die meisten KI-Lenkungsgremien, mit denen wir arbeiten, wo das Modell läuft und wer zur Herausgabe der Prompts gezwungen werden könnte.

Gleichzeitig fallen die API-Preise weiter. Epoch AI stellte im März 2025 fest, dass der Preis für ein bestimmtes Leistungsniveau je nach Benchmark um das 9- bis 900-Fache pro Jahr gesunken ist. Eine dreijährige GPU-Reservierung ist eine Wette gegen diese Kurve.

Die vier Betriebsoptionen im Überblick

Das Titeldiagramm ordnet die Optionen danach, wie viel Kontrolle Sie gewinnen und wie viel Last Sie tragen.

① Öffentliche Modell-API

Sie rufen den Endpunkt eines Anbieters auf und zahlen pro Token. Der Anbieter betreibt GPUs, Skalierung und Upgrades. Die Fixkosten liegen nahe null. Sie steuern Prompts, Schlüssel und Vertrag, sonst nichts. Für Exploration und sprunghafte, kleine Volumina ist das der richtige Standard, aber die falsche Antwort, wenn Ihre Richtlinie die Rechtsordnung des Anbieters ausschließt.

② Verwalteter privater Endpunkt

Das Modell betreibt weiterhin der Anbieter, aber innerhalb einer definierten Grenze. Bei Azure verarbeitet eine Data-Zone-Bereitstellung Prompts und Antworten nur innerhalb der von Microsoft definierten Datenzone. Die EU-Zone folgt der EU Data Boundary, die auch EFTA-Staaten einschließen kann. Ruhende Daten bleiben in Ihrer gewählten Geografie. Sie erreichen die Bereitstellung über einen Private Endpoint in Ihrem eigenen VNet, ohne öffentlichen Netzwerkpfad.

Abgerechnet wird pro Token (Data Zone Standard) oder pro reservierter Durchsatzeinheit (Data Zone Provisioned), und Data Zone Batch gewährt 50 % Rabatt für asynchrone Aufträge. Am 15. November 2026 wies die Azure Retail Prices API für GPT-5.4 mini in der Data Zone EU 0,74 € pro Million Eingabe- und 4,44 € pro Million Ausgabe-Tokens aus, exakt 10 % über Global. Prüfen Sie vorher, ob sich das Modell tatsächlich bereitstellen lässt, denn ein Preis-Meter ist noch keine verfügbare Bereitstellung. Mitte 2026 beschrieb Microsoft Q&A 5.4 mini und nano als Data Zone Standard noch als reine US-Angebote, ohne Termin für die EU-Zone.

③ AKS + vLLM im Eigenbetrieb

Sie betreiben ein Open-Weight-Modell auf GPU-Knoten in Ihrer eigenen Subscription, ausgeliefert über vLLM auf Kubernetes. Sie wählen die Gewichte, fixieren die Version und behalten die Logs. Die Größe NC40ads H100 v5 bietet eine H100 NVL mit 94 GB, genug für ein 8B-Modell mit reichlich KV-Cache oder ein Modell der 30B-Klasse in FP8. Das Kostenmodell ändert seine Form: GPU-Stunden mal Knoten, plus Cluster, plus Personal. Das ist eine Treppenfunktion, keine Gerade. Unser Leitfaden zu vLLM und KServe auf AKS beschreibt die Serving-Architektur, unser Beitrag zur GPU-Kostensteuerung die Auslastung der Knoten.

④ Edge und On-Premises

Derselbe Stack läuft auf eigener Hardware: im Rechenzentrum, in der Fertigung oder an einem Standort, der auch ohne WAN funktionieren muss. vLLM und llama.cpp laufen vollständig offline. Sie steuern alles, auch Strom, Ersatzteile und den Erneuerungszyklus. Aus der GPU-Stunde werden Investitionskosten geteilt durch Monate, plus Strom, Kühlung, Rackfläche und Support. Dazwischen liegt dedizierte Hardware bei einem EU-Hoster. Hetzner listet den GEX131 mit einer RTX PRO 6000 Blackwell Max-Q (96 GB) in Falkenstein und Helsinki ab 1.499 € pro Monat zuzüglich 1.499 € Einrichtung. Mangels veröffentlichtem MLPerf-Ergebnis für diese Karte mit Llama 3.1 8B fehlt sie in der Break-even-Kurve; selbst gemessenen Durchsatz nimmt der Rechner als Eingabe.

⑤ Das Gateway: nach Aufgabe routen, nicht nach Ideologie

Die kosteneffizientesten Landschaften, die wir sehen, entscheiden sich nicht für eine Option. Sie stellen ein KI-Gateway vor alle und leiten jede Aufgabe an die günstigste Bereitstellung, die ihre Evaluierung besteht: Massenextraktion zum selbst betriebenen SLM, sobald das Volumen es rechtfertigt, anspruchsvolles Reasoning zur Frontier-API, Assistenten in der Fertigung an die Edge. Das Gateway setzt zudem Kontingente durch, ordnet Kosten zu und filtert personenbezogene Daten.

Die Formel

Jede Zahl in diesem Beitrag folgt aus dieser Formel. Der Rechner bildet sie mit Live-Zellen ab.

Text
anteil_ein = eingabe_tokens / (eingabe_tokens + ausgabe_tokens)
b_api      = anteil_ein × p_ein + (1 − anteil_ein) × p_aus     [€ pro 1 Mio. Tokens]
API(T)     = T / 1.000.000 × b_api

kap_knoten = ausgabe_tok_pro_s / ausgabe_tokens × (eingabe_tokens + ausgabe_tokens)
             × auslastung × 3.600 × 730                         [Tokens pro Monat]
knoten(T)  = max(n_min, aufrunden(T / kap_knoten))
EIGEN(T)   = knoten(T) × knotenpreis + plattform + personal

Break-even T* = (n_min × knotenpreis + plattform + personal) / b_api × 1.000.000
                (gültig, solange T* ≤ n_min × kap_knoten)

Die Eingaben und ihre Herkunft:

  • Workload. Das Profil des MLPerf-Inference-v5.1-Benchmarks Llama 3.1 8B: im Schnitt 778 Eingabe- und 73 Ausgabe-Tokens je Anfrage (Zusammenfassung von CNN-DailyMail). Für dieses Profil gibt es einen öffentlichen Durchsatzwert, und es ist typisch für SLM-Aufgaben im Unternehmen: viel lesen, wenig schreiben.
  • Durchsatz. Die MLPerf-v5.1-Einreichung von Red Hat: 5.104 Tokens pro Sekunde auf einer H100-SXM-80GB im Server-Szenario (2 Sekunden bis zum ersten Token, 100 ms je Ausgabe-Token), mit vLLM 0.10.0 und Llama 3.1 8B in FP8. Azures NC40ads nutzt die Variante H100 NVL. Betrachten Sie den Wert als Näherung und messen Sie selbst.
  • GPU-Knoten. NC40ads H100 v5, Germany West Central, Azure Retail Prices API: 8,1458 € pro Stunde nach Verbrauch, 53.517,66 € für ein Jahr reserviert, 117.739,58 € für drei Jahre. Das sind 5.946 €, 4.460 € und 3.271 € pro Monat.
  • Plattform. AKS-Tarif Standard (0,0898 € pro Stunde) plus zwei Systemknoten D4s v5 (je 0,2065 € pro Stunde): 367 € pro Monat.
  • Unsere Annahmen. 50 % durchschnittliche Auslastung, mindestens zwei GPU-Knoten für Verfügbarkeit und rollierende Upgrades sowie 5.000 € pro Monat für Personal (etwa eine halbe Stelle bei Vollkosten von rund 120.000 € im Jahr). Ersetzen Sie alle drei.
  • API-Preise. Die GPT-5.4-Familie in der Data Zone EU laut Azure Retail Prices API; Mistral Small 4 zu 0,15 USD Eingabe und 0,60 USD Ausgabe pro Million Tokens, umgerechnet zum EZB-Referenzkurs von 1,1052 (13. November 2026).

Was die Zahlen sagen

Break-even zwischen API-Kosten und einem selbst betriebenen 8B-Modell auf AKS mit vLLM, Tokens pro Monat gegen Euro pro Monat, logarithmische Achsen
Break-even zwischen API-Kosten und einem selbst betriebenen 8B-Modell auf AKS mit vLLM, Tokens pro Monat gegen Euro pro Monat, logarithmische Achsen

Die Linien für den Eigenbetrieb verlaufen fast über das ganze Diagramm flach, und darin liegt die Kernaussage. Ein H100-Knoten bei 50 % Last bewältigt in diesem Workload rund 78 Mrd. Tokens pro Monat, etwa 35 Anfragen pro Sekunde rund um die Uhr. Mit zwei Knoten als Minimum wird ein dritter erst bei etwa 156 Mrd. Tokens nötig. Darunter zahlen Sie die Untergrenze: 11.908 € pro Monat bei dreijähriger Reservierung oder 17.260 € nach Verbrauch.

Break-even-Volumen in Milliarden Tokens pro Monat je API-Vergleichsmodell
Break-even-Volumen in Milliarden Tokens pro Monat je API-Vergleichsmodell

Drei Lesarten sind für die Entscheidung wichtig.

Erstens: Der faire Vergleich ist die Nano-Linie. Ein 8B-Modell erreicht GPT-5.4 beim anspruchsvollen Reasoning nicht. Der Break-even von 3,4 Mrd. zählt also nur, wenn Ihre Evaluierung das kleine Modell für ausreichend befindet. Gegenüber GPT-5.4 nano, qualitativ am nächsten, rechnet sich der Eigenbetrieb ab 41,6 Mrd. Tokens pro Monat: rund 49 Millionen Anfragen oder im Schnitt 19 pro Sekunde. Gegenüber Mistral Small 4, einem Mixture-of-Experts-Modell unter Apache-2.0-Lizenz, das auch als günstige API angeboten wird, brauchen Sie etwa 70 Mrd.

Zweitens: Unterhalb der Untergrenze spielt die Auslastung kaum eine Rolle. Halbieren Sie sie auf 25 %, verschiebt sich kein einziger Break-even-Punkt. Was ihn verschiebt, ist die fixe Untergrenze. Ohne Personalkosten sinkt der Nano-Break-even auf 24,1 Mrd. Ein einzelner Knoten ohne Personal, den wir so nicht produktiv betreiben würden, bringt ihn auf 12,7 Mrd. Verdoppeln Sie die Personalkosten auf 10.000 €, steigt er auf 59 Mrd. Die Entscheidung reagiert stärker auf Ihr Betriebsmodell als auf Ihre GPU.

Drittens: Die Form des Workloads ist die versteckte Variable. Unser Profil liest 778 Tokens und schreibt 73. Chat, Agenten und Code schreiben weit mehr, und Ausgabe-Tokens sind das, was eine GPU auslastet. Die Kapazität pro Knoten kann um eine Größenordnung sinken, die Stufen kommen viel früher, und die API steht oft besser da, als dieses Diagramm nahelegt. Messen Sie Ihren eigenen Token-Mix, bevor Sie irgendetwas kaufen.

Was ein GPU-Knoten pro Monat zu Listenpreisen kostet
Was ein GPU-Knoten pro Monat zu Listenpreisen kostet

Eine dreijährige Bindung senkt den Preis des H100-Knotens gegenüber Pay-as-you-go um 45 %. Das ist viel Geld und zugleich eine Dreijahreswette auf eine GPU-Generation. Spot-Kapazität für 1.099 € pro Monat kann jederzeit entzogen werden und eignet sich für Batch-Evaluierungen, nicht für den Produktivbetrieb. Die Hetzner-Zeile zeigt, warum dedizierte EU-Hardware souveränitätsgetriebene Teams anzieht. Behandeln Sie sie als Preispunkt, bis Sie die Karte selbst vermessen haben.

Aus einem aktuellen Projekt

Eine regulierte Organisation im DACH-Raum bat uns, einen Business Case zu prüfen: Ihre Assistenten für die Dokumentenverarbeitung sollten von einer US-gehosteten API auf selbst betriebene Open-Weight-Modelle umziehen. Der Business Case enthielt ein GPU-Angebot und einen Tokenpreis, sonst nichts: kein gemessenes Volumen, kein Token-Mix, kein Latenzziel.

Wir haben den Traffic vier Wochen lang über das bestehende Gateway instrumentiert. Das Volumen lag in jedem Szenario deutlich unter der Untergrenze, und der Workload war stark eingabelastig. Bei den Kosten verlor der Eigenbetrieb klar. Bei der Souveränität, dem eigentlichen Treiber, erfüllte eine Bereitstellung in der EU-Datenzone hinter einem Private Endpoint die Richtlinie für alle Anwendungsfälle bis auf einen: einen Produktionsstandort ohne verlässliche Netzanbindung.

Das Ergebnis war hybrid. Die API zog in die EU-Datenzone, mit Gateway-Routing und Kostenzuordnung je Team. Eine kleine Edge-Installation versorgt den Offline-Standort. Und ein schriftlicher Auslöser setzt den Eigenbetrieb wieder auf die Agenda, sobald das gemessene Volumen den Break-even überschreitet. Die längste Diskussion war nicht technisch. Es ging darum, wem der Evaluierungsdatensatz gehört, der entscheidet, ob ein kleines Modell gut genug ist.

Die Entscheidungstabelle

Lesen Sie jede Zeile als „Wenn das zutrifft, tendieren Sie zu".

SituationTendenzWarum
Volumen unbekannt oder unter ca. 1 Mrd. Tokens/Monat① oder ② APIWeit unter jeder Fixkostenschwelle; erst messen
Sprunghafter Traffic, viele Modelle, schnell wechselnde Anforderungen② Data Zone StandardZahlung pro Token, Verarbeitung in der EU, kein Kapazitätsrisiko
Konstant hohes Volumen, latenzkritisch, Modell muss vom Anbieter kommen② Data Zone ProvisionedReservierter Durchsatz ohne eigene GPUs
Volumen über Ihrem Break-even, und ein SLM besteht Ihre Evaluierung③ AKS + vLLMFixkosten verteilen sich auf genug Tokens
Richtlinie verlangt europäische Kontrolle über Gewichte und Stack③ auf EU-Infrastruktur oder ④Die Datenzone allein genügt womöglich nicht
Offline, Air-Gap oder Latenz in der Fertigung④ EdgeDie einzige Option, die ohne WAN funktioniert
Ausgabelastiger Chat oder Agenten bei mittlerem Volumen① oder ② APIDecode-lastige Arbeit füllt GPUs schnell; Stufen greifen früh
Große asynchrone Aufträge② Data Zone Batch50 % unter Listenpreis, Zielzeit 24 Stunden

Vergleichen Sie ein selbst betriebenes Modell nie mit einer API, die es auf Ihrem Evaluierungsdatensatz nicht erreicht, und reservieren Sie keine GPUs für drei Jahre ohne Plan für das Modell, das Sie im dritten Jahr betreiben.

Loading diagram...

Governance für europäische Unternehmen

DSGVO. Jede Option außer ④ beinhaltet einen Auftragsverarbeiter. Ihr Vertrag nach Art. 28 DSGVO, das Verzeichnis von Verarbeitungstätigkeiten und die Bewertung von Drittlandübermittlungen müssen zum tatsächlich genutzten Bereitstellungstyp passen: Global und Data Zone EU sind für denselben Modellnamen unterschiedliche Verarbeitungsorte. Fixieren Sie den Typ per Azure Policy, damit niemand wegen des höheren Kontingents stillschweigend auf Global wechselt.

KI-Verordnung. Das Hosting ändert nichts daran, ob ein Anwendungsfall ein Hochrisiko-System ist. Das hängt vom Einsatzzweck ab, und die Pflichten nach Anhang III gelten nun ab dem 2. Dezember 2027. Wer Open-Weight-Modelle unverändert betreibt, wird dadurch nicht zum Anbieter des KI-Modells mit allgemeinem Verwendungszweck; die Pflichten knüpfen an das KI-System an, das Sie darauf aufbauen. Durch Feinabstimmung werden Sie nur bei einer wesentlichen Änderung zum Anbieter eines veränderten KI-Modells mit allgemeinem Verwendungszweck. Die Leitlinien der Kommission vom Juli 2025 nennen als Richtwert mehr als ein Drittel der ursprünglichen Trainingsrechenleistung, weit über typischen LoRA-Feinabstimmungen. Dokumentieren Sie trotzdem Basismodell, Datenübersicht und eingesetzte Rechenleistung.

DORA. Für Finanzunternehmen ist eine API, die eine kritische oder wichtige Funktion unterstützt, ein IKT-Drittdienst. Sie gehört ins Informationsregister, und Art. 28 Abs. 8 verlangt eine Ausstiegsstrategie. Selbst betriebene Open-Weight-Modelle sind ein glaubwürdiger Ausstiegspfad, und der Rechner beziffert ihn. Schon das kann rechtfertigen, Option ③ auch unterhalb des Break-even betriebsbereit zu halten. Die Infrastrukturseite dieses Ausstiegs behandelt unser Vergleich souveräner Clouds.

Ein pragmatischer Einführungspfad

  1. Woche 1–4: messen. Leiten Sie den gesamten LLM-Traffic über ein Gateway und erfassen Sie Eingabe- und Ausgabe-Tokens je Anwendungsfall, Latenzziele und Modell. Was Sie protokollieren sollten, zeigt unser Leitfaden zum Token-Kosten-Engineering.
  2. Woche 3–6: Evaluierungsdatensatz aufbauen. Sammeln Sie je volumenstarker Aufgabe einige hundert echte Beispiele. Lassen Sie das Frontier-Modell, eine API der Nano-Klasse und ein bis zwei Open-Weight-SLMs dagegen laufen. Die Kosten entscheiden nur zwischen Modellen, die bestehen.
  3. Woche 6: den richtigen API-Tarif wählen. Verlagern Sie EU-sensible Workloads in die Data Zone, asynchrone Aufträge in Batch und erzwingen Sie die Bereitstellungstypen per Policy. Das spart oft mehr, als der Eigenbetrieb würde.
  4. Quartal 2: den Rechner mit Ihren Zahlen füllen. Ersetzen Sie Workload, Durchsatz (gemessen mit Ihrem Modell und Latenzziel), Personalkosten und Mindestknotenzahl. Liegt ein Workload klar über dem Break-even, pilotieren Sie AKS + vLLM nach Verbrauch, bevor Sie etwas reservieren.
  5. Jedes Quartal: neu rechnen. Preise fallen, GPUs ändern sich, Volumen wächst. Ein schriftlicher Auslöser je Workload sorgt dafür, dass die Entscheidung wegen Daten neu aufgerollt wird, nicht wegen eines Vertriebsgesprächs.

Das Fazit

Small Language Models sind ein echter Umbruch, aber ihr Eigenbetrieb ist ein Fixkostengeschäft. Zwei Knoten, eine Plattform und die Menschen, die sie betreiben, kosten 12.000 bis 17.000 € im Monat, bevor das erste Token fließt, und die meisten Unternehmens-Workloads füllen das bei Weitem nicht aus. Allein über die Kosten gewinnt eine API in der EU-Datenzone unterhalb von zig Milliarden Tokens pro Monat, und ihr Aufschlag von 10 % ist die günstigste Souveränitätsmaßnahme am Markt.

Der Eigenbetrieb gewinnt in drei Fällen: bei gemessenem Volumen klar über dem Break-even für eine Aufgabe, die ein kleines Modell gut beherrscht, bei einer Richtlinie, die europäische Kontrolle über den gesamten Stack verlangt, oder an einem Standort, der offline funktionieren muss. Stellen Sie ein Gateway davor, messen Sie, bevor Sie kaufen, und lassen Sie sich jeden Workload seinen Platz auf Ihren eigenen GPUs verdienen.

Wenn Sie eine zweite Meinung zu Ihren Zahlen möchten: Unser KI-Architektur-Team führt diese Rechnung als kurzes Review mit festem Umfang auf Basis Ihres gemessenen Traffics durch, einschließlich des Evaluierungsdatensatzes, der entscheidet, welches Modell gut genug ist.

FAQ

Ab welchem Volumen ist ein selbst betriebenes Small Language Model günstiger als eine API?

Mit unseren Annahmen ab mehreren Milliarden Tokens pro Monat. Bei 778 Eingabe- und 73 Ausgabe-Tokens je Anfrage kosten zwei für drei Jahre reservierte Azure-H100-Knoten samt Plattform und einer halben Stelle rund 11.900 € pro Monat. Das entspricht GPT-5.4 bei 3,4 Mrd., GPT-5.4 mini bei 11,3 Mrd. und GPT-5.4 nano bei 41,6 Mrd. Tokens pro Monat, gerechnet mit Listenpreisen der Data Zone EU vom 15. November 2026.

Mit welcher Formel vergleicht man API- und Eigenbetriebskosten für LLMs?

API-Kosten sind Monatstokens mal Mischpreis, wobei Eingabe- und Ausgabepreis nach Ihrem Token-Mix gewichtet werden. Eigenbetrieb kostet Anzahl GPU-Knoten mal Knotenpreis plus Plattform und Personal. Die Knotenzahl ist Volumen geteilt durch Kapazität je Knoten, aufgerundet, aber nie unter Ihrem Minimum für Verfügbarkeit. Der Break-even ist das Volumen, bei dem beide gleich sind.

Warum ist der GPU-Durchsatz weniger wichtig als gedacht?

Ein kleines Modell auf einer aktuellen GPU hat mehr Kapazität, als die meisten Unternehmens-Workloads nutzen. Eine H100 mit einem 8B-Modell schaffte im MLPerf-v5.1-Serverlauf von Red Hat rund 5.100 Ausgabe-Tokens pro Sekunde, bei 50 % Last etwa 78 Mrd. Tokens pro Monat für diesen Workload. Die zwei Knoten, die Sie für Verfügbarkeit brauchen, füllen die wenigsten aus. Deshalb bestimmt die fixe Untergrenze den Break-even.

Reicht eine API in der EU-Datenzone für Souveränität, oder müssen wir selbst hosten?

Oft reicht sie. Microsoft verarbeitet Data-Zone-EU-Anfragen innerhalb der EU Data Boundary und speichert ruhende Daten in Ihrer Geografie, zu einem Aufschlag von 10 % auf die Global-Listenpreise. Die Rechtslage eines US-Anbieters ändert das nicht. Eine strenge Souveränitätsrichtlinie kann daher weiterhin Open-Weight-Modelle auf EU-Infrastruktur oder eigener Hardware verlangen.

Ändert der Eigenbetrieb eines Open-Weight-Modells unsere Pflichten nach der KI-Verordnung?

Wer ein Modell unverändert betreibt, wird dadurch nicht zum Anbieter des KI-Modells mit allgemeinem Verwendungszweck. Durch Feinabstimmung werden Sie nur bei einer wesentlichen Änderung zum Anbieter eines veränderten KI-Modells mit allgemeinem Verwendungszweck; die Leitlinien der Kommission vom Juli 2025 nennen als Richtwert mehr als ein Drittel der ursprünglichen Trainingsrechenleistung. Hochrisikopflichten nach Anhang III, die nun ab dem 2. Dezember 2027 gelten, hängen vom Einsatzzweck ab, nicht vom Hosting.

Was gehört neben GPUs in eine TCO-Rechnung für selbst betriebene LLMs?

Cluster-Steuerungsebene und Systemknoten, Monitoring und Logs, mindestens zwei GPU-Knoten für Verfügbarkeit sowie Personal für Patches, Modell-Upgrades, Evaluierung und Rufbereitschaft. On-Premises kommen abgeschriebene Investitionen, Strom, Kühlung, Rackfläche und Supportverträge hinzu. Der häufigste Fehler, den wir sehen, ist das Weglassen des Personals: Eine halbe Stelle kostet pro Monat mehr als ein reservierter H100-Knoten.

Quellen

Alle Preise und Seiten geprüft am 15. November 2026. Listenpreise ohne Umsatzsteuer und ohne verhandelte Rabatte. Wo wir eigene Annahmen verwenden, sagen Text und Rechner das ausdrücklich.

Tier A: Primärquellen, Preislisten der Anbieter und Regulierung

Tier B: Forschung und Benchmarks

Tier C: richtungsweisend

Themen

SLM vs LLM KostenSmall Language Model KostenLLM selbst hosten KostenTCO KI-InferenzLLM On-PremisesAzure OpenAI Data Zone EU PreisevLLM AKS Kostensouveräne KI

Häufig gestellte Fragen

Mit unseren Annahmen ab mehreren Milliarden Tokens pro Monat. Bei 778 Eingabe- und 73 Ausgabe-Tokens je Anfrage kosten zwei für drei Jahre reservierte Azure-H100-Knoten samt Plattform und einer halben Stelle rund 11.900 EUR pro Monat. Das entspricht GPT-5.4 bei 3,4 Mrd., GPT-5.4 mini bei 11,3 Mrd. und GPT-5.4 nano bei 41,6 Mrd. Tokens pro Monat, gerechnet mit Listenpreisen der Data Zone EU vom 15. November 2026.

Expert engagement

Brauchen Sie Expertenberatung?

Unser Team ist spezialisiert auf Cloud-Architektur, Security, KI-Plattformen und DevSecOps. Lassen Sie uns besprechen, wie wir Ihrem Unternehmen helfen können.

Kontakt aufnehmenNo commitment · No sales pressure

Verwandte Artikel

Alle Beiträge