Compact x86 Mini AI PCs
x86 based AI systems in a compact chassis.
| Zdjęcie | Produkt | Cena | Pojemność |
|---|
Zrozumienie pojemności modelu
Pojemność modelu odnosi się do liczby parametrów w modelu AI (np. 70B = 70 miliardów parametrów). Większe modele zazwyczaj wymagają więcej pamięci i mocy obliczeniowej, ale mogą oferować lepsze wnioskowanie i jakość wyników.
Precyzja (FP16 / FP8 / FP4) wpływa na ilość pamięci wymaganej dla danej pojemności modelu: formaty o niższej precyzji zmniejszają wymagania pamięciowe o połowę przy każdym kroku w dół (FP16 → FP8 → FP4), kosztem precyzji wyników.
| Rozmiar modelu | Typowa pamięć (FP16) | Typowa pamięć (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |