Nejrychlejší čip umělé inteligence na světě je k vyzkoušení zdarma! Je ChatGPT i Elonův Grok v ohrožení?
Zuzana Přibylová
- Groq má být nejrychlejším AI čipem na trhu
- Jeho demoverze je k dispozici zdarma k vyzkoušení
- Tento výpočetní čip je zhruba 25krát rychlejší a 20krát méně nákladnější než GPT-3.5
Představte si, že můžete získat odpovědi na všechny otázky, jaké vás zajímají, během milisekund. To dokáže nejrychlejší AI čip na světě, který svou rychlostí může konkurovat všem generativním aplikacím na trhu. Tento nový přírůstek do konkurenčních bojů v oblasti umělé inteligence se stal populárním takřka přes noc a mohl by představovat novou éru velkých jazykových modelů. A největším benefitem je jeho demoverze, která je dostupná online a zcela zdarma. Mimo jiné nabízí také sadu nástrojů API, které umožňují vývojářům a různým softwarovým aplikacím komunikovat mezi sebou.
Groq je technologická společnost, založená bývalými vývojáři Google, specializující se na vývoj vysoce výkonných procesorů pro aplikace umělé inteligence. Samotný model byl navržen tak, aby ještě více urychlil pracovní zátěž AI a ML (machine learningu). To zajistí, že výsledný výstup dostanete mnohem rychleji, než například u konkurenčního ChatGPT. Taková rychlost je možná díky použití vlastního hardware, který místo GPU využívá lineární procesorové jednotky (LPU). Jednotky LPU tak nabízejí efektivnější přístup, stabilní odezvu i propustnost požadovaného výstupu. Díky tomu je zhruba 25krát rychlejší a 20krát levnější než GPT-3.5.
The first public demo using Groq: a lightning-fast AI Answers Engine.
It writes factual, cited answers with hundreds of words in less than a second.
More than 3/4 of the time is spent searching, not generating!
The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
— Matt Shumer (@mattshumer_) February 19, 2024
Ačkoliv se může zdát, že jde o největšího konkurenta pro OpenAI, obavy může mít spíše společnost Nvidia. OpenAI je výzkumná organizace zaměřená na podporu bezpečného používání AI, zatímco Groq i Nvidia nabízejí hardwarová a softwarová řešení. Je důležité zmínit, že na rozdíl od ChatGPT není typický AI model, jeho výkonný čip je navržen pro konkrétní účel běhu inference na velkých jazykových modelech.
Libor FoltýnekA pokud se ptáte, co je inference, můžete si ji představit jako proces, kdy AI použije své znalosti k tomu, aby něco zjistila nebo za vás provedla rozhodnutí. Během této fáze inference se AI nesnaží získat žádné nové informace, pouze využívá své znalosti získané během tréninkové fáze k aplikaci na nová data. To znamená, že pokud odesíláte výzvu v ChatGPT, inference se spustí nad modelem, aby dostal odpověď. Zatímco když použijete Groqa, čas potřebný ke zpracování informací a získání adekvátních odpovědí je téměř okamžitý, a hlavně je také mnohem levnější.
this is the fastest AI chip in the world: Groq explained
Společnost za pár dní získala neuvěřitelnou pozornost médií, a to nejen díky podobnosti názvu s jazykovým modelem z dílny Elona Muska. Mnoho uživatelů však neví, že společnost působí ve vývoji již od roku 2016, kdy si také na svůj název založila ochrannou známku. V listopadu 2023 byl však spuštěn Grok, jazykový model umělé inteligence převážně pro předplatitele X (dříve Twitter), čímž mezi oběma společnostmi vznikla lehká rivalita. Hardwarová firma požadovala Elonova svěřence o změnu názvu, avšak s žádostí nebyli úspěšní. Od té doby se žádná ze stran k této situaci nevyjádřila.
Wow, that's a lot of tweets tonight! FAQs responses.
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP— Groq Inc (@GroqInc) February 19, 2024
Vyzkoušeli jste již Groqa?
Zdroj: Groq, Gizmodo, dataconomy
Jana Skálová
Jakub Kárník
Adam Kurfürst
Komentáře (2)
Přidat komentář