Künstliche Intelligenz verschlingt Strom wie der Krypto-Bergbau
Wer jemals Bildgeneratoren oder Chatbots ausprobiert hat, sieht nur eine freundliche Benutzeroberfläche. Im Hintergrund laufen jedoch gigantische Serverfarmen voller Prozessoren und Grafikchips. Diese Maschinen verbrauchen gewaltige Mengen an Energie, insbesondere beim Training komplexer Modelle einschließlich großer Sprachsysteme.
Je komplexer das neuronale Netz, desto mehr Berechnungen und Datenübertragungen zwischen Speicher und Prozessoren finden statt. Genau diese Operationen verursachen massive Energieverluste. Immer häufiger wird befürchtet, dass die Entwicklung von KI zu einem der größten Stromverbraucher weltweit werden könnte, vergleichbar mit ganzen Industriezweigen.
Die Lösung für das Energieproblem der KI liegt nicht mehr nur in der Optimierung von Code. Eine Änderung des Ansatzes bei der Hardware selbst und der Trainingsmethode ist unverzichtbar.
Memristoren: Speicher, der direkt vor Ort rechnet
Eine der Forschungsrichtungen für umweltfreundlichere künstliche Intelligenz sind sogenannte In-Memory-Berechnungen. Anstatt ständig Daten zwischen Speicher und Prozessor hin- und herzubewegen, werden Teile der Operationen direkt dort ausgeführt, wo die Daten gespeichert sind. Eine Schlüsselrolle spielen dabei Memristoren.
Ein Memristor ist ein spezielles elektronisches Bauelement, das als Widerstand mit Gedächtnis funktioniert. Sein Widerstand hängt von der Historie des durchfließenden Stroms ab und kann Gewichte in neuronalen Netzen repräsentieren. Dadurch erfüllt eine einzige Struktur gleichzeitig die Funktion von Speicher und Recheneinheit.
- speichert Informationen (Gewichte des neuronalen Netzes)
- ermöglicht lokale Berechnungen ohne Datenversand zum Prozessor
- kann die Datenübertragung und damit den Energieverbrauch erheblich reduzieren
Das klingt ideal, doch echte Memristoren sind weit von der Perfektion entfernt. Sie erzeugen Rauschen, verhalten sich instabil, und jede Schreiboperation ist energieintensiv und verkürzt ihre Lebensdauer. Deshalb funktioniert die simple Übertragung klassischer Trainingsmethoden auf solche Hardware nicht zufriedenstellend.
Neuer Ansatz: Weniger Korrekturen, größere Fehlertoleranz
Ein Team aus einem Labor im chinesischen Zhejiang entwickelte eine andere Trainingsphilosophie für KI auf Memristoren. Statt zu versuchen, alle Unvollkommenheiten zu eliminieren, schufen die Wissenschaftler eine Methode, die diese bewusst berücksichtigt. Sie nannten sie error-aware probabilistic update, also fehlergewahre probabilistische Aktualisierung, kurz EaPU.
Der Kern des Ansatzes ist eine einfache Idee: Das Netz versucht nicht, jede minimale Gewichtsänderung zu korrigieren. Wenn der Fehler innerhalb der Toleranzgrenzen der Hardware bleibt, wird der Parameter nicht angetastet. Erst größere Abweichungen lösen den Aktualisierungsprozess aus.
Anstatt fast alle Gewichte in jeder Lerniterationsphase zu korrigieren, aktualisiert das Netz weniger als 0,1 Prozent der Parameter. Weniger Schreibvorgänge bedeuten weniger Energie und längere Hardware-Lebensdauer.
Dieser Ansatz bringt mehrere Konsequenzen mit sich:
- die Anzahl der Schreiboperationen in Memristoren sinkt dramatisch
- der Einfluss von Rauschen verringert sich, da der Algorithmus nicht jede zufällige Fluktuation verfolgt
- der Trainingsprozess wird trotz unvollkommener Hardware stabiler
Wie viel Energie konnte eingespart werden?
Laut veröffentlichten Ergebnissen erfordert das eigentliche Training neuronaler Netze in einer auf Memristoren basierenden Architektur mit EaPU bis zu 50-mal weniger Energie im Vergleich zu früheren Methoden für solche Schaltkreise.
Das ist aber noch nicht alles. Beim Vergleich dieses Systems mit dem klassischen Training von Netzen auf Grafikkarten wird der Unterschied geradezu extrem. Wissenschaftler schätzen, dass der Gesamtenergieverbrauch um bis zu sechs Größenordnungen reduziert werden kann – also um etwa das Millionenfache.
Klassische GPU: Energieverbrauch 100 Prozent, hohe Modellgenauigkeit, Standardlebensdauer der Hardware.
Memristoren ohne EaPU: geringerer Verbrauch als GPU, aber immer noch hoch, deutlich schlechtere Genauigkeit, begrenzte Lebensdauer aufgrund häufiger Schreibvorgänge.
Memristoren mit EaPU: etwa millionenfach niedrigerer Verbrauch als GPU, Genauigkeit vergleichbar mit klassischen Supercomputern, bis zu tausendfach längere Lebensdauer.
Die Methode erhöht auch die Funktionsgenauigkeit des Netzes um bis zu 60 Prozent gegenüber früheren Memristor-Lösungen. Praktisch entspricht dies den Ergebnissen, die mit traditionellen Supercomputern erzielt werden, also ohne qualitativen Kompromiss.
Tests: Von Bildrauschen bis zur Detailschärfung
Um zu überprüfen, dass es sich nicht nur um Theorie handelt, konstruierte das Team eine echte Memristor-Matrix mit einer Größe von 180 Nanometern. Auf dieser Hardware trainierten sie Netze für zwei anspruchsvolle bildverarbeitende Aufgaben:
- Entfernung von Rauschen aus Fotografien
- Erhöhung der Auflösung, die sogenannte Super-Resolution
In den Tests erzielten sie Ergebnisse, die mit traditionellen Methoden auf Prozessoren und Grafikkarten vergleichbar waren. Der Unterschied lag im völlig anderen Energieverbrauchsprofil – die Memristor-Hardware mit EaPU benötigte deutlich weniger Strom.
Ist das die Chance auf umweltfreundlichere große Sprachmodelle?
Die größte Aufmerksamkeit ziehen heute große Sprachmodelle an, die hinter Chatbots und Textgeneratoren stehen. Ihr Training verschlingt enorme Energiemengen und erfordert Hunderte, manchmal Tausende parallel arbeitende Grafikkarten. Kein Wunder, dass Wissenschaftler erwägen, ob EaPU gerade auf diese Modellkategorie übertragen werden kann.
Die Autoren der Arbeit räumen ein, dass sie derzeit durch die verfügbare Hardware limitiert sind. Eine 180-nm-Matrix stellt nur einen winzigen Bruchteil dessen dar, was für das Training eines vollwertigen großen Sprachmodells erforderlich wäre. Gleichzeitig glauben sie, dass das Konzept des Algorithmus und des Fehlermanagements nicht spezifisch für einen Aufgabentyp ist.
Wissenschaftler gehen davon aus, dass derselbe Ansatz auf große Sprachmodelle angewendet werden kann, sobald ausreichend umfangreiche Hardwareschaltkreise auf Basis von Memristoren oder verwandten Technologien entstehen.
Interessant ist, dass EaPU nicht strikt nur an Memristoren gebunden ist. Das Team deutet an, dass eine ähnliche Methode der probabilistischen Parameteraktualisierung auch in anderen energieunabhängigen Speicherlösungen funktionieren könnte, wie ferroelektrischen Transistoren oder magnetoresistiven Speichern.
Neue Hardware-Generation für KI
Wenn solche Techniken die Labore verlassen, könnte dies die Entstehung einer völlig neuen Kategorie von KI-Beschleunigern erzwingen. Anstelle weiterer Generationen klassischer GPUs würden einen Teil der Aufgaben spezialisierte Schaltkreise für In-Memory-Berechnungen übernehmen. Solche Hardware könnte nicht nur in Rechenzentren, sondern auch in Edge-Geräten zum Einsatz kommen – von intelligenten Kameras bis zu medizinischen Geräten.
Stellen Sie sich ein Überwachungssystem vor, das direkt vor Ort Bilder verarbeitet, Ereignisse erkennt und einen Bruchteil der Energie heutiger Lösungen benötigt. Oder ein Smartphone, das ein lokales Sprachmodell ausführt, ohne die Batterie dramatisch zu entleeren. Genau solche Szenarien haben die Chance, Realität zu werden, wenn der Energieverbrauch um Größenordnungen sinkt.
Was bedeutet das für Nutzer und Unternehmen
Aus Sicht des durchschnittlichen Nutzers sind zwei Effekte am wichtigsten: niedrigere Servicekosten und geringere Umweltbelastung. Weniger Strom in Rechenzentren bedeutet niedrigere Betreiberrechnungen und damit eine größere Chance, dass fortschrittliche KI-Funktionen keine teuren Abonnements erfordern.
Für Unternehmen, die KI einführen, stellt ein solcher Effizienzsprung völlig neue Geschäftskalkulationen dar. Das Training eigener Modelle hört auf, ein Luxus zu sein, der Technologiegiganten vorbehalten ist. Wenn die Energiekosten um Hunderte oder Tausende Male sinken, können sich kleinere Akteure eigene Lösungen leisten, einschließlich Firmen aus Bereichen wie Medizin, Industrie oder Logistik.
Man muss allerdings bedenken: Eine echte Veränderung erfordert nicht nur neue Algorithmen, sondern auch die Massenproduktion spezialisierter Speicherschaltkreise. Das ist ein langer Prozess, der Investitionen und Zeit erfordert, ähnlich wie einst der Übergang von klassischen Prozessoren zu spezialisierten GPUs für Grafik und KI.
Das Thema Energieeffizienz von KI wird bei der Planung neuer Rechenzentren und Forschungsprojekte immer wichtiger. Universitäten und Unternehmen, die sich bereits heute für In-Memory-Berechnungen und fehlertolerante Techniken interessieren, werden einen Vorsprung haben, sobald solche Lösungen in den Mainstream eintreten.
