Jak snadno spustit AI na vlastním počítači? Konec poplatků a nulového soukromí s lokálním AI!
- Instalace AI modelů na vlastním počítači je snadná
- Lokální AI modely fungují i offline
- Máme pro vás jednoduchý návod pro základní používání
Na internetu je dostupné nepřeberné množství AI modelů, které je možné spustit a používat přímo na vašem počítači. Pro některé z nich ani nepotřebujete výkonný počítač. V tomto článku se mrkneme na to, co ke spuštění AI lokálně potřebujete a které řešení je pro začátečníky vhodné.
Co budete potřebovat?
Jednotlivé modely je možné rozdělit podle náročnosti. Zpravidla záleží především na tom, kolik miliard parametrů dokáže model používat pro vytváření predikcí, které používá pro generování odpovědi. Tento parametr se označuje písmenem B (z anglického billion). Standardní velikosti se pohybují především okolo 3B, 7B, 13B, 30B a 70B. Setkat se můžeme ale i s extrémně malými modely, které mají pouze 1B, nebo naopak s enormními modely, které mají několik set B.
Které z těchto je tedy možné používat lokálně na vašem počítači? Rychlost závisí především na grafické kartě. Na počítači s 16 GB RAM a grafickou kartou střední třídy bude strop okolo 13B. Pokud ovšem máte lepší grafickou spíše vyšší třídy, mohli byste se dostat i k náročnějším modelům. Nad 70B ale nečekejte moc velkou rychlost generování. To, kde je pro daný počítač strop toho, který model dokáže provozovat, záleží také na vaší toleranci pro dobu, po kterou se bude odpověď generovat. Nejjednodušší je model zkrátka vyzkoušet a přesvědčit se sám, jestli je dostatečně rychlý. Pokud máte grafickou kartu, tak bych začal některým modelem, který má okolo 7B–9B, a podle spokojenosti případně vyzkoušel jiné.
Kvůli zajištění kompatibility se stále většinou doporučují spíše karty od společnosti NVIDIA, AMD však učinilo relativně velké pokroky, takže můžete zkusit štěstí i u této značky. Budete muset ovšem počítat s tím, že některé funkce nemusí být plně podporovány nebo bude potřeba dodržet jiný než tradiční způsob instalace některých nástrojů.
Jakub KárníkPokud silný počítač nemáte, můžete stále zkusit 1B–3B modely. Ty jsou velmi nenáročné na výkon a žádnou moderní grafickou kartu k nim určitě nepotřebujete.
Jak všechno nainstalovat?
K dispozici je dostupných mnoho nástrojů. Každý má samozřejmě své výhody a nevýhody, ale v tomto článku dám přednost především jednoduchosti. Proto se přikloním k nástroji Ollama.
Instalace je velmi jednoduchá. Prvně přejděte na oficiální stránku, poté vyberte svůj operační systém a dále postupujte podle instrukcí. Pro Linux stačí zkopírovat poskytnutý příkaz (tímto způsobem se Ollama, také aktualizuje). Pro Windows stačí stáhnout soubor a nainstalovat ho stejně jako jakýkoli jiný program. Na Linuxu potom nástroj funguje z terminálu a na Windows z CMD nebo PowerShell. Pokud nejste zvyklí pracovat ani s jedním, tak se opravdu ničeho nebojte. Je pochopitelné, že to může zprvu vypadat složitě, ale ve výsledku je to skutečně velmi jednoduché. Od této chvíle je postup stejný pro Linux i Windows.
Seznam dostupných modelů je k nalezení rovněž na oficiálním webu. Pro spuštění vybraného modelu napište příkaz ollama run <název_modelu> (a potvrďte klávesou Enter). Tedy například ollama run llama3.1. Tento příkaz model nejprve stáhne, pokud stažený už není, a až poté se spustí. Pokud byste chtěli model pouze stáhnout, ale ještě nespouštět, použijte příkaz ollama pull <název_modelu>. Je možné, že instalace v průběhu vyhodí chybu. V tom případě jen napište znova stejný příkaz – stahování se automaticky obnoví na místě, kde skončilo.
Pro ukončení konverzace s modelem stačí napsat \exit nebo \bye (příkazy jsou totožné).
Pro vymazání staženého modelu je dispozici příkaz ollama rm <název_modelu> a pro zobrazení seznamu všech stažených modelů můžete použít ollama list.
Kterými modely začít?
Pokud máte spíše slabší počítač, doporučil bych model tinyllama nebo phi3. Tinyllama je pouze 1B a phi3 je 3B. Je třeba mít na paměti, že tyto modely jsou skutečně velmi malé a tím pádem je i jejich užitečnost podstatně nižší, než u větších modelů.
Výchozím modelem pro ty, kteří mají herní grafickou kartu, může být Llama3.1. To je nejnovější model od společnosti Meta (bývalý Facebook). Za zkoušku ale bezesporu stojí také model Gemma2 od Googlu, nebo třeba Qwen2 od Alibaba.
V dalším článku se podíváme na to, proč používat AI lokálně a nikoliv v cloudu.
Jaké AI aplikace by vám pomohly v práci nebo v osobním životě?
Zdroj: Ollama
Jana Skálová
Adam Kurfürst
Libor Foltýnek
Komentáře (4)
Přidat komentář