Mini-PC AI-system
Kompakta, skrivbordsvänliga system byggda för lokal AI-inferens, finjustering och edge-distribution.
| Foto | Produkt | Pris | Kapacitet |
|---|
Förstå modelkapacitet
Modelkapacitet avser antalet parametrar en AI-modell innehåller (t.ex. 70B = 70 miljarder parametrar). Större modeller kräver generellt mer minne och beräkningskraft, men kan erbjuda förbättrad resonemangsförmåga och utdatakvalitet.
Precision (FP16 / FP8 / FP4) påverkar hur mycket minne en given modelkapacitet kräver: lägre precisionsformat halverar ungefär minneskraven per steg nedåt (FP16 → FP8 → FP4), på bekostnad av utdataprecision.
| Modelstorlek | Typiskt minne (FP16) | Typiskt minne (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |