Superpočítač ve velikosti Mac mini? Seznamte se s nVidia DIGITS

V dnešní době je jedním z hlavních témat umělá inteligence. Abyste ji mohli aktivně vyvíjet, potřebujete neskutečně drahé, velké a náročné počítače. A nebo ne? Společnost nVidia představila počítač, který tohle zvládne a nezabere na stole moc místa.

nVidia DIGITS

Project DIGITS je vybaven novým superčipem NVIDIA GB10 Grace Blackwell, který nabízí petaflopový výpočetní výkon umělé inteligence pro prototypování, dolaďování a spouštění velkých modelů umělé inteligence.

Výkon a efektivita s čipem GB10

Klíčovou součástí Projektu DIGITS je superčip GB10. Nabízí pokročilé možnosti díky propojení nejnovější GPU Blackwell s Tensor Cores a procesorem Grace. Tento vlastně jednočipový počítač (SoC) je výsledkem spolupráce se společností MediaTek, která zajistila jeho špičkovou energetickou efektivitu a výkon. Projekt DIGITS je vybaven 128 GB sdílené paměti, až 4TB úložiště NVMe a dokáže provozovat jazykové modely s až 200 miliardami parametrů. Dva propojené superpočítače DIGITS dokonce zvládnou modely s 405 miliardami parametrů.

Software

Projekt DIGITS běží na Linuxové platformě NVIDIA DGX OS. Je navržen tak, aby podporoval celý proces vývoje AI modelů od prototypování až po nasazení na cloudové a datové infrastruktury. Uživatelé mají přístup k bohaté knihovně AI nástrojů a frameworků, jako je PyTorch nebo NVIDIA NeMo, prostřednictvím NVIDIA NGC katalogu.

Podvodníci ztrácejí čas s umělou babičkou. O2 vymyslelo geniální obranu Libor Foltýnek Zprávičky Libor Foltýnek Zprávičky

Dostupnost a cena superpočítače

Superpočítač bude dostupný od května za cenu od 3 000 USD. Jak to bude s dostupnosti v Česku, není v této chvíli známo

Co je to petaflop

Flops (floating-point operations per second) je jednotka, která říká, kolik výpočtů s desetinnými čísly zvládne počítač za sekundu. Takže když řekneme petaflops, mluvíme o biliardách výpočtů za sekundu (10¹⁵).

Představte si, že máte kalkulačku a na ní děláte jeden výpočet za sekundu (např. 2+2, 5×3 apod.). Kdybyste chtěli udělat 1 biliardu výpočtů, trvalo by to asi 31 milionů let, pokud byste počítali bez přestávky a nezapočítali bychom čas na výměnu baterek.

Superpočítač s výkonem 1 petaflop to ale zvládne za jednu jedinou sekundu. Takhle obrovský výkon se používá třeba na simulace počasí, modelování složitých biologických procesů, návrh nových léků nebo výpočty potřebné pro kosmický výzkum. A samozřejmě pro účely umělé inteligence.

Spustí to ChatGPT?

Teď si říkáte, že na tom už musí běžet ChatGPT. No… skoro. Podle toho, co jsem vytáhnul přímo z ChatGPT, model 3 má velikost 175B, takže to by DIGITS mohl zvládnout. Horší to je s RAM, protože jen pro uložení ChatGPT 3 je třeba 350 – 700 GB RAM, pro trénink pak několik TB.

ChatGPT

OpenAI

Instalovat (Free)

Google Play

U modelu ChatGPT 4o jsme pak na velikosti modelu 1T a kolem 4 TB RAM pro provoz a 8 – 12 TB RAM pro trénink. To jen pro představu

Dali byste 3000 dolarů za nVidia DIGITS?

Zdroj: nVidia, StorageReview