Bild ist KI-generiert
Die strategische Vorgabe in vielen Unternehmen ist eindeutig: Künstliche Intelligenz (KI) soll Prozesse automatisieren, Innovation beschleunigen und die Wettbewerbsfähigkeit langfristig sichern. So weit, so gut. Wie immer beginnt die eigentliche Herausforderung aber jenseits der Strategie: bei der Umsetzung.
Denn moderne KI-Anwendungen stellen völlig andere Anforderungen an die IT als klassische Unternehmenssoftware. Sie benötigen nicht nur Daten, Integrationen und sichere Betriebsplattformen, sondern auch enorme Rechenleistung für Training, Fine-Tuning und Inference von Modellen. Damit rückt eine zentrale Frage in den Fokus: Wie lässt sich eine leistungsfähige KI-Cloud aufbauen, die flexibel, wirtschaftlich und gleichzeitig souverän ist?
Für viele europäische Unternehmen lautet die Antwort nicht „eine größere Cloud“, sondern eine Architektur, die unterschiedliche Aufgaben gezielt auf spezialisierten Plattformen ausführt. Eine moderne KI-Cloud besteht heute aus mehreren Schichten, die Anwendungen, Daten und KI-Workloads automatisiert und effizient miteinander verbinden.
Bevor wir unterschiedliche Architekturen betrachten, lohnt sich ein Blick auf die Grundlagen. Was genau ist eigentlich eine Künstliche-Intelligenz-Cloud?
Der Begriff beschreibt die Verbindung von Cloud Computing und künstlicher Intelligenz. Anstatt KI-Modelle auf eigener Infrastruktur zu betreiben, nutzen Unternehmen Cloud-Ressourcen für Entwicklung, Training und Betrieb von KI-Anwendungen. Sie nutzen also das Cloud-Betriebsmodell, um KI einzusetzen. Eine KI-Cloud stellt die dafür notwendigen Rechen-, Speicher- und Plattformdienste flexibel bereit. Unternehmen können dadurch KI-Projekte schneller umsetzen, ohne zunächst hohe Investitionen in eigene Hardware tätigen zu müssen (die klassische Pro-Cloud-Argumentation).
Gleichzeitig haben sich die Anforderungen weiterentwickelt. Während frühe KI-Projekte häufig auf einzelne Anwendungsfälle beschränkt waren, sollen heutige KI-Lösungen ganze Geschäftsprozesse unterstützen. Damit steigen die Anforderungen an Skalierbarkeit, Sicherheit und Governance.
Viele Diskussionen rund um KI konzentrieren sich auf GPUs und Rechenleistung. In der Praxis besteht eine KI-Anwendung jedoch aus deutlich mehr Komponenten. Neben dem eigentlichen KI-Modell müssen Unternehmen Anwendungen entwickeln, Daten integrieren, Benutzeroberflächen bereitstellen, Sicherheitsrichtlinien umsetzen und Geschäftsprozesse orchestrieren – und das mit hoher Automatisierung.
Unterschiedliche Workloads profitieren von unterschiedlichen Infrastrukturen – ein Prinzip, das aus klassischen IT-Architekturen bekannt ist, in denen Datenbanken, Anwendungen und Speicherplattformen ebenfalls getrennt und jeweils für ihre Aufgaben optimiert betrieben werden.
Viele Unternehmen trennen heute bewusst zwischen Plattformen für Anwendungen und Daten sowie spezialisierten Infrastrukturen für GPU-intensive KI-Workloads. Damit entsteht eine zweilagige Architektur auf zwei verschiedenen Plattformen.
Auf der ersten Ebene laufen die klassischen Unternehmensanwendungen. Hier werden Daten verarbeitet, APIs bereitgestellt, Geschäftsprozesse orchestriert und Benutzeroberflächen betrieben. Diese Umgebung muss flexibel, skalierbar und wirtschaftlich sein. Sie bildet die Grundlage für Workflows, Agentic AI, Enterprise Search, intelligente Assistenten und datengetriebene Geschäftsprozesse.
Eine General-Purpose-Cloud kann in dieser Architektur die Rolle einer souveränen KI-Plattform für Anwendungen, Daten und Integration übernehmen. Sie stellt auch GPU-Ressourcen bereit – etwa NVIDIA H100 (mit NVLink) – und eignet sich damit für Inferenz moderater Größenordnung und GPU-gestützte Anwendungsdienste neben den klassischen Workloads.
Die zweite Ebene einer modernen KI-Architektur konzentriert sich auf die eigentliche KI-Verarbeitung. Hier laufen rechenintensive Workloads wie Modelltraining, Fine-Tuning, High-Performance-Inference, Simulationen oder GPU-basierte Analysen. Solche Aufgaben stellen völlig andere Anforderungen an Infrastruktur und Rechenleistung als klassische Unternehmensanwendungen. Sie benötigen hochperformante GPU-Cluster, schnelle Netzwerkverbindungen und eine Plattform, die für verteilte KI-Workloads optimiert ist. Diese Ressourcen werden typischerweise über eine spezialisierte GPU-Cloud bereitgestellt.
Moderne GPU-Cloud-Umgebungen bieten Zugriff auf aktuelle Datacenter-Beschleuniger der NVIDIA-Blackwell-Generation (z. B. B200) sowie auf weitere GPU-Klassen wie die RTX-Pro-6000-Serie. B200 eignen sich für das Training großer LLMs, die RTX Pro hat einen stärkeren Grafik-Fokus und passt gut für Omniverse- bzw. Digital-Twin-Szenarien. Gegenüber der Vorgängergeneration liefern sie ein Vielfaches an Tensor-Rechenleistung für KI-Workloads sowie deutlich schnellere Interconnects. Damit ermöglichen sie sowohl das Training großer Modelle als auch anspruchsvolle Inferenz- und Simulationsszenarien. Unternehmen profitieren dabei von einem professionellen GPU-Hosting, ohne selbst in teure Hardware investieren oder deren Betrieb sicherstellen zu müssen.
Für Unternehmen, die KI im industriellen Maßstab einsetzen möchten, wird die GPU-Cloud damit zur zentralen Rechenplattform für alle Workloads, bei denen maximale Rechenleistung und umfassende Skalierbarkeit gefragt sind. In der Kombination bilden beide Umgebungen eine leistungsstarke KI-Cloud-Plattform, in der jede Komponente dort betrieben wird, wo sie technisch und wirtschaftlich am sinnvollsten ist.
Agenten benötigen Zugriff auf Anwendungen, Datenquellen und Geschäftsprozesse. Während die Agentenlogik, APIs und Integrationsdienste auf der General-Purpose-Cloud laufen, kann die eigentliche Verarbeitung durch Sprachmodelle auf der Cloud für KI-Workloads erfolgen. Dadurch entsteht eine leistungsfähige KI-Cloud, die Unternehmensanwendungen und KI-Funktionen erstellt, verwaltet und nahtlos miteinander verbindet.
Viele Unternehmen möchten ihre internen Wissensbestände für KI nutzbar machen. In diesem Szenario werden Dokumente, Datenbanken und Fachanwendungen über die General-Purpose-Cloud angebunden. Die rechenintensiven Schritte – das Erzeugen der Embeddings und die Verarbeitung durch Large Language Models – erfolgen auf der leistungsfähigeren GPU-Cloud, während die eigentliche Vektorsuche je nach Volumen auf beiden Ebenen laufen kann. So entsteht eine KI-Plattform, die aktuelle Unternehmensdaten sicher für KI-Anwendungen verfügbar macht.
Standardmodelle reichen häufig nicht aus, um branchenspezifisches Wissen abzubilden. Beim Fine-Tuning werden bestehende Modelle mit eigenen Daten weiterentwickelt. Die Datenhaltung und Governance verbleiben in der Unternehmensumgebung, während die GPU-intensive Trainingsarbeit auf einer spezialisierten GPU-Cloud erfolgt.
Auch beim Training eigener Modelle können beide Plattformen kombiniert werden. Während die General-Purpose-Cloud die Grundlage für Datenmanagement, MLOps-Prozesse (Machine Learning Operations), Governance und die Aufbereitung von Trainingsdaten bildet, stellt die GPU-Cloud die für das Training benötigten leistungsfähigen GPU-Ressourcen bereit. Dieser Ansatz folgt einem bewährten Architekturprinzip: Jede Aufgabe läuft auf der Infrastruktur, die dafür optimiert ist. Hochpreisige GPU-Kapazitäten werden ausschließlich für rechenintensive KI-Workloads genutzt, während Datenmanagement, Orchestrierung und Betriebsprozesse auf einer kosteneffizienten Standardplattform verbleiben. Das verbessert nicht nur die Wirtschaftlichkeit, sondern erleichtert auch die Skalierung und den Betrieb von KI-Anwendungen.
Die größte Herausforderung moderner KI-Landschaften besteht häufig nicht im Betrieb einzelner Komponenten, sondern im Zusammenspiel verschiedener Plattformen. Sobald große Datenmengen zwischen unterschiedlichen Cloud-Umgebungen bewegt werden müssen, steigen Komplexität, Kosten und Sicherheitsanforderungen. Eine integrierte KI-Cloud-Plattform reduziert diese Herausforderungen erheblich.
Anstatt Daten über verschiedene Anbietergrenzen hinweg zu verschieben, bleiben Anwendungen, Daten und KI-Komponenten Teil eines abgestimmten Gesamtsystems.
Unter dem Mantel der T Cloud bietet die Deutsche Telekom mit der T Cloud Public und der Industrial AI Cloud eine passende Kombination von General-Purpose-Cloud und GPU-Cloud. Als flexible KI-Cloud kann sie eine breite Palette von KI-Workloads bedienen, sowohl temporäre als auch kontinuierliche.
In einem konkreten Kundenszenario übernimmt die T Cloud Public das Pre-Processing großer Datenmengen (1 PB Daten im Object Storage). Ein reduzierter Datensatz (etwa 400 TB) geht zum Training auf die Industrial AI Cloud in den dortigen High-Performance Storage. Nach der Verarbeitung wird das Ergebnis in die T Cloud Public zurückgespielt. Dieses hybride Setup setzt die beiden Clouds passend ein und optimiert die Kosten.
Klar ist: Für die Kopplung der beiden Clouds braucht es eine leistungsfähige Netzwerk-Verbindung. Die Industrial AI Cloud stellt dafür ein Site-to-Site VPN mit maximal 2x400 Gbit/s bereit. Dies ist bereits im Angebot inkludiert. Das Site-to-Site VPN nutzt für den IP-Transit den Backbone der Deutschen Telekom und damit eine der performantesten in Deutschland verfügbaren Netzwerk-Anbindungen. Eine weitere Möglichkeit für eine leistungsfähige Kopplung der Industrial AI Cloud und anderer General-Purpose Clouds bietet die Multi-Cloud Connectivity Platform (MCCP).
Neben Leistung und Skalierbarkeit gewinnt für europäische Unternehmen ein weiterer Faktor an Bedeutung: digitale Souveränität. KI-Systeme greifen zunehmend auf geschäftskritische Daten, Prozesse und Entscheidungen zu. Entsprechend steigen die Anforderungen an Transparenz, Kontrolle und regulatorische Konformität.
Gerade für regulierte Branchen wird dies zunehmend zur Voraussetzung für den produktiven Einsatz von KI.
Der Erfolg von KI hängt nicht allein von der Qualität der Modelle ab. Entscheidend ist die Architektur, in die diese Modelle eingebettet werden. Während klassische Cloud-Plattformen Anwendungen, Daten und Integrationen bereitstellen, benötigen KI-Workloads häufig spezialisierte GPU-Infrastrukturen. Die Kombination aus T Cloud Public und Industrial AI Cloud verbindet beide Welten zu einer integrierten KI-Cloud, die Leistung, Skalierbarkeit und Souveränität effizient miteinander vereint. So entsteht eine zukunftsfähige AI-Cloud für Unternehmen, die Anwendungen erstellen, Daten nutzen und künstliche Intelligenz im industriellen Maßstab einsetzen möchten – ohne Kompromisse bei Kontrolle, Sicherheit oder Innovationsgeschwindigkeit.
Eine General-Purpose-Cloud ist auf den breiten Betrieb von Anwendungen, Daten und Integrationen ausgelegt – flexibel und wirtschaftlich. Eine GPU-Cloud ist auf rechenintensive KI-Workloads wie Training, Fine-Tuning und High-Performance-Inference spezialisiert und stellt dafür hochperformante GPU-Cluster mit schnellen Interconnects bereit.
Nicht zwingend für jedes Projekt. Bei einzelnen, kleineren Anwendungsfällen im Bereich generativer KI kann eine Plattform genügen. Sobald jedoch produktive, komplexe KI im größeren Maßstab betrieben wird – mit eigenem Training, Fine-Tuning oder hohem Inferenzvolumen – zahlt sich die Arbeitsteilung wirtschaftlich und technisch aus.
Das ist die zentrale Herausforderung hybrider KI-Architekturen. Entscheidend ist eine direkte, performante Kopplung beider Plattformen. So bleiben Latenzen im Rahmen und Kostenstrukturen transparent. Anwender sollten den Netzwerkaspekt und dessen Kosten gleich vom Start weg mit dem/n Cloud-Provider(n) klären, beispielsweise auch verhandeln, dass Outbound-Kosten von der General-Purpose Cloud in die GPU Cloud kostenfrei bleiben.
Ja – Souveränität hängt nicht von der Anzahl der Plattformen ab, sondern davon, dass Daten in europäischen Rechtsräumen verbleiben, Betriebsmodelle europäische Compliance-Anforderungen erfüllen und die Kontrolle über Datenströme beim Unternehmen liegt. Eine integrierte, einheitlich und im Idealfall automatisch gemanagte Architektur kann das auch über zwei Plattformen hinweg gewährleisten.
Das hängt vom Workload ab. Für anspruchsvolles Training und High-Performance-Inference werden aktuelle Datacenter-Beschleuniger der NVIDIA-Blackwell-Generation eingesetzt; für andere Szenarien stehen weitere GPU-Klassen zur Verfügung. Die konkrete Auswahl richtet sich nach Modellgröße, Durchsatz- und Budgetanforderungen.
Durch offene Schnittstellen, portable Daten- und Modellformate sowie eine Architektur, in der Anwendungen und Daten nicht an proprietäre Dienste eines einzelnen Hyperscalers gebunden sind. Souveränität schließt die Fähigkeit ein, Workloads bei Bedarf zu migrieren.
Vor allem für regulierte Branchen und Organisationen, die geschäftskritische Daten verarbeiten und KI produktiv im industriellen Maßstab erstellen und verwalten wollen – also überall dort, wo Leistung und Kontrolle gleichzeitig gefragt sind.
