Nvidia lanceert nieuw ai-platform voor datacenters

In dit artikel:

Nvidia heeft op CES in Las Vegas zijn nieuwe datacenter-ai-platform Vera Rubin onthuld. CEO Jensen Huang kondigde aan dat het server-systeem in de tweede helft van dit jaar op de markt komt en is bedoeld om in te spelen op de snel toenemende vraag naar rekenkracht voor het trainen en bedienen van grote ai-modellen. Rubin bestaat uit zes Nvidia-chips met in totaal 36 centrale processors en 72 grafische eenheden en zou de inferentiekosten per token tot tien keer kunnen verlagen; voor bepaalde “mixture-of-experts”-modellen zijn vier keer minder gpu’s nodig dan bij de voorganger Blackwell.

Huang presenteerde daarnaast meerdere datacenterinnovaties: een nieuwe geheugenlaag genaamd “context memory” om de koppeling tussen gpu’s en opslag te verbeteren, een herziene serverarchitectuur die snellere training en lagere kosten mogelijk maakt, en netwerk-switches met co-packaged optics voor snellere verbindingen. Om het belang van inferentie te onderstrepen, kondigde Nvidia recent een overname van ai-chipmaker Groq ter waarde van 20 miljard dollar aan.

Naast infrastructuur introduceerde Nvidia ook robotica- en simulatieplatforms en een nieuwe familie ai-modellen, Alpamayo, gericht op autonoom rijden; Mercedes-Benz is de eerste grote partner en toonde een demo van voertuigbesturing in complexe situaties. Met Rubin probeert Nvidia zijn voorsprong te behouden temidden van felle concurrentie zoals AMD.