Články

Hardware pro lokální AI: jaký stroj zvolit

Lokální AI běží na hardwaru ve vaší firmě, takže se vyplatí vědět, co na výběr stroje působí. Tady je přehled bez zbytečné technické mlhy.

Co výběr stroje určuje

• Velikost modelu. Větší model potřebuje víc paměti, a ta je obvykle první omezení.
• Počet lidí, kteří model používají současně. Jeden uživatel potřebuje méně výkonu než celý tým.
• Rychlost odpovědí, kterou považujete za přijatelnou.
• Jaká data model zpracovává a kde smí být uložená.

Počítač na stole

Pro malý tým stačí kompaktní stroj s velkou sdílenou pamětí, například NVIDIA DGX Spark se 128 GB paměti nebo počítač s procesorem AMD Ryzen AI Max+. Velké modely běží na stole, bez serverovny a bez hluku.

Server s GPU

Pro velké modely a mnoho uživatelů se používají servery s grafickými kartami, od NVIDIA RTX PRO 6000 po HGX B200, případně karty AMD Instinct MI350 s 288 GB paměti HBM3E. Počítejte s vyhrazeným místem, chlazením a napájením.

Bez nákupu: pronájem

• Pronajatý virtuální server s GPU (VPS), kde model běží na výkonu jen pro vás.
• Vyhrazený fyzický server s GPU v datacentru: plná kontrola, stálý výkon, data na stroji jen pro vás.

Jak vybíráme

Podle vašich dat, velikosti týmu a rozpočtu určíme model i hardware, stroj dodáme a nastavíme, propojíme s vašimi nástroji a na reálném úkolu ověříme, že vše funguje. Cena stroje se liší podle zvolené varianty, proto ji uvádíme až po rozhovoru. Licenci každého modelu před nasazením ověříme pro váš případ použití.

Kde se dozvědět víc

Přehled variant je na stránce lokální AI pro firmy. Pokud nechcete kupovat stroj, podívejte se na cloudovou AI.

Související články

• Kolik stojí software na míru
• Doména a hosting: co to je