Ki-explosion: rechenleistung explodiert – zukunft ist da

Mustafa Suleyman, einst Kopf der KI-Entwicklung bei Google und jetzt bei Microsoft, warnt: Die rasante Entwicklung der Künstlichen Intelligenz ist nicht linear. Es ist eine Explosion, eine fundamentale Verschiebung, die die Regeln der Evolution in der Technologie sprengt.

Gigantische rechenzentren – das neue zeitalter

Suleyman beschreibt den Fortschritt als einen radikalen Wandel. Die Rechenleistung ist explodiert – von 10¹⁴ FLOPS im Anfangsstadium zu über 10²⁶ FLOPS in den aktuellen Modellen. Das ist keine lineare Steigerung, sondern eine Quantenverbesserung, fast eine atomare Veränderung.

Er vergleicht den Trainingsprozess von KI-Modellen mit einer gigantischen Menschenmenge, die mit Taschenrechnern arbeitet. Lange Zeit war das Problem, dass viele dieser Rechener die Daten nicht rechtzeitig erhielten – ein Engpass, der die Entwicklung verlangsamte. Heute geht es darum, dass alle diese Rechener gleichzeitig arbeiten und als eine einzige, denkende Maschine agieren.

Dabei spielen drei Schlüsseltechnologien eine entscheidende Rolle: Erstens die deutlich schnelleren Chips von Nvidia, die bereits heute eine Leistung von 2.250 Teraflops bieten. Zweitens die High Bandwidth Memory (HBM), die Daten mit unglaublicher Geschwindigkeit bereitstellt – bis zu dreifacher Bandbreite im Vergleich zu vorherigen Generationen. Und drittens die Vernetzung von Hunderttausenden von GPUs in Supercomputer, die sich wie eine einzelne, immense Rechenleistung erweisen.

Eric Schmidt, der ehemalige CEO von Google, stimmt ihm zu: Wir stehen erst am Anfang dieser Entwicklung. Die Auswirkungen der Künstlichen Intelligenz sind noch lange nicht vollständig erforscht.

Die Konsequenzen sind atemberaubend: Was 2020 noch 167 Minuten mit acht GPUs benötigte, geschieht heute in weniger als vier Minuten. Eine Verbesserung um das 50-fache – weit über das, was die Moore'sche Gesetzmäßigkeit versprochen hatte.

Die Prognosen sind düster, aber auch faszinierend. Die großen Laboratorien planen ein Wachstum der Rechenleistung von fast 4x pro Jahr. In den letzten drei Jahren hat die Rechenleistung bereits um das Fünffache zugenommen, und bis 2027 sollen es 100 Millionen H100 Chips entsprechen – ein Anstieg um das Zehnfache in nur drei Jahren. Microsoft und Nvidia stehen dabei im Zentrum dieser Entwicklung.

Suleyman betont, dass wir längst nicht mehr bei Prototypen sind, sondern bei echten, gigantischen Infrastrukturen – Clustern mit 100.000 GPUs, Racks, die den Abmessungen einer Kühlschrank fassen und 120 Kilowatt Strom verbrauchen. Das ist mehr Energie als das Vereinigte Königreich, Frankreich, Deutschland und Italien in ihrem Spitzenverbrauch verbrauchen.

Das Ziel dieser Entwicklung ist die Superintelligenz. Die Forschung konzentriert sich auf sogenannte