Nvidia, SK Hynix, Samsung und Micron arbeiten an einem neuen SOCAMM-Speicherstandard für KI-gestützte PCs
NVIDIA ist vor allem für seine Grafikkarten bekannt und hat erst vor wenigen Wochen die RTX 50 auf den Markt gebracht, von der wir nur sehr wenige Einheiten gesehen haben und die als Papiereinführung eingestuft wurde. Obwohl NVIDIA für seine GPUs bekannt ist, ist das Unternehmen auch für die Entwicklung neuer Technologien verantwortlich und arbeitet derzeit an einem Projekt zur Schaffung eines neuen Speicherstandards.
Laut SEDaily leitet NVIDIA Berichten zufolge eine Zusammenarbeit zwischen Samsung, Micron und SK Hynix, um einen neuen Standard für KI-fokussierten Speicher zu schaffen. Letzteres würde System On Chip Advanced Memory Module oder einfacher SOCAMM heißen.
Gaming-Grafikkarten und Profi- oder AI-Grafikkarten unterscheiden sich vor allem in der Menge und Art des verwendeten Speichers. Bei Gaming-GPUs haben wir bereits gesehen, dass sie GDDR6, GDDR6X oder GDDR7 im Fall von NVIDIAs neuester RTX 50 verwenden. Bei Grafikkarten für den professionellen Einsatz und künstliche Intelligenz ändert sich dies jedoch, da diese HBM-Speicher mit hoher Bandbreite und hoher Kapazität verwenden. So haben wir GPUs gesehen, die mehr als 100 GB Speicher haben, und das ist für Anwendungen dieser Art notwendig.
KI-GPUs werden auch in Zukunft HBM3E- und HBM4-Speicher verwenden, aber das bedeutet nicht, dass jedes Gerät diesem Beispiel folgen wird. Es stellt sich heraus, dass NVIDIA Computer wie Project DIGITS herstellen möchte, an die Sie sich wahrscheinlich als eine Art kompakten KI-Supercomputer erinnern. Es verwendet einen Grace Blackwell GB10 Superchip mit einer 20-Core-Arm-CPU und 128 GB DDR5X-RAM.
Mit diesem Chip und einer Blackwell-GPU mit 1 PetaFLOP von FP4 für KI ist es möglich, LLMs mit bis zu 200 Milliarden Parametern auszuführen und es nutzt Linux, um alle Arten von Tools nutzen zu können. Inspiriert von DIGITS hat NVIDIA gemeinsam mit seinen Partnern Samsung, SK Hynix und Micron ein Speicherformat namens SOCAMM (System on Chip Advanced Memory Module) entwickelt. Dabei handelt es sich um eine Weiterentwicklung des CAMM-Standards, der nur an das NVIDIA-Chipsystem angepasst wurde, und diese Hersteller hoffen, den neuen Speicher noch im Jahr 2025 in Massenproduktion herstellen zu können.
SOCAMM verfügt im Vergleich zu LPCAMM und DRAM über eine höhere Anzahl an I/O-Ports mit insgesamt 694 Ports, während die anderen beiden über 644 bzw. 260 Ports verfügen. Ein weiterer Vorteil besteht darin, dass SOCAMM kostengünstiger wäre als herkömmliches DRAM mit SO-DIMMs. Außerdem ist es kleiner als herkömmliche DRAM-Module und verfügt über ein herausnehmbares Modul, um Upgrades einfacher zu machen. NVIDIAs Ziel mit diesem Speicher ist es, handflächengroße PCs mit hohen KI-Fähigkeiten zu ermöglichen.
Angesichts der Tatsache, dass künstliche Intelligenz speicherabhängig ist, ist dieser neue Formfaktor sinnvoll, da er die Verwendung von Speicher in einem kleineren, effizienteren Format ermöglicht. Laut Jensen Huang werden Künstler, Ingenieure und alle, die mit KI zu tun haben, in Zukunft kleine persönliche Supercomputer benötigen, und hier macht SOCAMM Sinn. Wir wissen nicht, ob wir in Zukunft DIGITS-Supercomputer in unseren Häusern haben werden, aber die nächste Generation davon wird voraussichtlich solche Speicher nutzen.