Kompiuteris dirbtiniam intelektui: kiek VRAM reikia AI modeliams

Jei dirbtinio intelekto modelius norite leisti savo kompiuteryje, svarbiausia yra vaizdo plokštės atmintis (VRAM), o ne procesorius. Praktinė taisyklė: 16 GB VRAM pakanka 7–14 mlrd. parametrų kalbos modeliams ir daugumai vaizdų generavimo darbų, 24 GB atveria 30–32 mlrd. parametrų modelius, o 70 mlrd. parametrų modeliui, net ir suspaustam iki 4 bitų, reikia daugiau nei 40 GB, todėl jam prireiks dviejų plokščių arba dalį jo teks laikyti operatyviojoje atmintyje. Žemiau – kiek atminties reikia konkretiems modeliams, kuo skiriasi NVIDIA ir AMD ir ką rinktis kitoms kompiuterio dalims.

Bendrai apie tai, kiek VRAM reikia žaidimams, rašėme straipsnyje „Ką reikia žinoti apie GPU VRAM 2026 m.“, todėl čia kalbame tik apie dirbtinį intelektą.

Kodėl svarbiausia VRAM

Lokalūs kalbos modeliai dažniausiai paleidžiami programomis Ollama, LM Studio arba llama.cpp. Kad modelis atsakytų greitai, visi jo svoriai turi tilpti į vaizdo plokštės atmintį. Jei netelpa, programa dalį modelio perkelia į operatyviąją atmintį ir skaičiuoja procesoriumi – modelis veikia, bet atsakymą rašo kelis kartus lėčiau. Ollama tai parodo komanda ollama ps: stulpelyje Processor įrašas 100% GPU reiškia, kad modelis telpa į plokštę, o, pavyzdžiui, 48%/52% CPU/GPU – kad nebetelpa.

Kai modelis telpa, teksto generavimo greitį daugiausia lemia atminties pralaidumas. Todėl plokštės su plačia 384 bitų atminties magistrale, kaip RTX 4090 ar RX 7900 XTX, tekstą paprastai rašo gerokai sparčiau nei 128 bitų magistralę turinčios RTX 5060 Ti 16GB ar RX 9060 XT 16GB, nors visos jos tą patį modelį sutalpina.

Kiek VRAM reikia kalbos modeliams

Dažniausiai modeliai naudojami suspausti (kvantuoti) iki maždaug 4 bitų – Ollama numatytasis formatas yra Q4_K_M. Toliau – realūs Ollama bibliotekos modelių failų dydžiai šiuo formatu. Prie jų pridėkite atsargos kontekstui: kuo ilgesnį pokalbį ar dokumentą modelis turi „atsiminti“, tuo daugiau atminties jam reikia.

Failų dydžiai – iš ollama.com modelių bibliotekos.

Iš lentelės matyti, kodėl 16 ir 24 GB yra dvi svarbiausios ribos. 16 GB plokštė patogiai sutalpina 14 mlrd. parametrų modelį su ilgu kontekstu, o 24 GB – jau 32 mlrd. parametrų modelį, kuris daugeliui užduočių pastebimai protingesnis.

Vaizdų generavimas: ComfyUI, Stable Diffusion, Flux

Vaizdus generuojant (ComfyUI ar kitomis programomis) VRAM taip pat lemia, kokius modelius galite paleisti. Pavyzdžiui, FLUX.1 [dev] modelio failas pilnu tikslumu užima 23,8 GB, todėl tokiu pavidalu jam reikia 24 GB plokštės. Sumažinto tikslumo versijos mažesnės: FP8 failas užima 11,9 GB, GGUF Q8_0 – 12,7 GB, labiau suspaustos GGUF versijos – 7–10 GB, todėl jas galima leisti su 12–16 GB plokštėmis, nors smulkiose detalėse ir tekste kokybė gali šiek tiek nukentėti. Jei dar naudojate papildomus tinklus (LoRA, ControlNet) ar didinate raišką, atminties reikia daugiau.

NVIDIA ar AMD: CUDA ir ROCm

NVIDIA su CUDA – paprasčiausias kelias: Ollama, LM Studio, ComfyUI ir beveik visi kiti įrankiai su GeForce plokštėmis veikia iš karto, tiek Windows, tiek Linux. Eksperimentuojant su naujausiais įrankiais ar mokant modelius, NVIDIA sukelia mažiausiai rūpesčių.

AMD Radeon plokštės veikia, bet reikia daugiau žinoti:

• Kalbos modeliai. Ollama Linux sistemoje naudoja AMD ROCm ir palaiko RX 7900 XTX, RX 9070 serijos ir RX 9060 XT plokštes. Ollama dokumentacijos Windows ROCm sąraše šiuo metu yra dauguma RX 7000 serijos plokščių, įskaitant RX 7900 XTX, o kitos AMD plokštės Windows aplinkoje veikia per Vulkan sąsają, kurią Ollama naudoja automatiškai. LM Studio su AMD plokštėmis paprastai veikia per Vulkan.
• Vaizdų generavimas. ComfyUI nurodo, kad Windows 11 sistemoje su AMD PyTorch paketais palaikomos RDNA 2, RDNA 3 ir RDNA 4 kartos plokštės, o Linux sistemoje – per ROCm. Diegimas sudėtingesnis nei su NVIDIA, o kai kurie papildiniai parašyti tik CUDA.

AMD privalumas – kaina už gigabaitą: atnaujinta 24 GB RX 7900 XTX pas mus kainuoja mažiau nei nauja 16 GB RTX 5080. Jei jums svarbiausia paleisti kuo didesnį kalbos modelį ir nebijote nustatymų, tai racionalus pasirinkimas. Jei norite, kad viskas veiktų be papildomo darbo, rinkitės NVIDIA. Platesnis abiejų gamintojų palyginimas – straipsnyje „AMD Radeon vs NVIDIA GeForce“.

Operatyvioji atmintis, diskas, maitinimo blokas

Operatyvioji atmintis

Programa modelį į vaizdo plokštę įkelia per operatyviąją atmintį, o netilpusi modelio dalis lieka joje. Rekomenduojame bent 32 GB, o jei planuojate leisti modelius, kurie netelpa į VRAM (pavyzdžiui, 70 mlrd. parametrų modelį su viena 24 GB plokšte), – 64 GB. Tiesa, taip modelis veiks lėtai, nes atsakymo greitį tada riboja operatyviosios atminties pralaidumas. Kaip pasirinkti atminties rinkinį, rašėme straipsnyje „Operatyvioji atmintis (RAM): kiek reikia“.

Diskas

Modelių failai dideli: vienas 32 mlrd. parametrų modelis užima apie 20 GB, 70 mlrd. – daugiau nei 40 GB, vaizdų generavimo modeliai su priedais – dar keliasdešimt gigabaitų. Rinkitės bent 2 TB NVMe SSD: iš jo modeliai įkeliami daug greičiau nei iš HDD.

Maitinimo blokas

Generuojant vaizdus ar apdorojant ilgas užduotis vaizdo plokštė būna apkrauta ilgą laiką, todėl maitinimo bloką verta rinktis su atsarga. Pavyzdžiui, NVIDIA nurodo, kad RTX 4090 galia – 450 W, ir rekomenduoja ne mažesnį kaip 850 W maitinimo bloką. Gamintojų partnerių plokščių galia gali skirtis, todėl visada žiūrėkite konkretaus modelio rekomendaciją. Kaip apskaičiuoti reikiamą galią, aprašyta straipsnyje apie maitinimo bloko pasirinkimą.

Ar verta antra vaizdo plokštė

Ollama ir llama.cpp moka padalyti kalbos modelį per kelias plokštes: kiekviena laiko dalį modelio sluoksnių. Taip dvi 24 GB plokštės sutalpina 70 mlrd. parametrų modelį, kuris į vieną netelpa. Tačiau greičio antra plokštė nepadvigubina: Ollama dokumentacijoje nurodoma, kad modelis, kuris telpa į vieną plokštę, joje paprastai ir veikia greičiausiai, nes mažiau duomenų siunčiama per PCIe magistralę. Antra plokštė perkama dėl atminties, ne dėl spartos. Vaizdų generavimui ji naudinga tik tiek, kiek leidžia vienu metu vykdyti dvi atskiras užduotis.

Dviem plokštėms reikia pagrindinės plokštės su tinkamai išdėstytais PCIe lizdais, didelio korpuso ir maitinimo bloko, kurio galios su atsarga užtektų abiem plokštėms kartu su procesoriumi.

Vaizdo plokštės su 16 GB ir daugiau atminties

* Sandėlyje esantys modeliai ir kainos 2026 m. spalio 24 d.

Abi RX 7900 XTX, RTX 4090, RTX 4070 Ti Super ir RX 9070 Challenger turime vietoje Vilniuje, jos išsiunčiamos per 24 valandas. Atnaujintos plokštės yra naudotos, mūsų patikrintos, parduodamos be originalios pakuotės, joms taikoma 6 mėnesių garantija. Lenovo RTX PRO 2000 Blackwell – darbo stotims skirta plokštė, kuri vartoja iki 70 W ir nereikalauja papildomo maitinimo kabelio, todėl tinka ir į mažesnius korpusus, kai 16 GB reikia, o vietos ir galios nedaug. RTX 4090 ir RTX 5080 skirtumus išsamiau aptarėme straipsnyje „RTX 5080 vs RTX 4090“. Kitas plokštes rasite vaizdo plokščių kategorijoje.

Kokį kompiuterį rinktis

• Pradžiai ir 7–14 mlrd. parametrų modeliams: 16 GB plokštė (RTX 5060 Ti 16GB, RX 9060 XT ar RX 9070), 32 GB operatyviosios atminties, 2 TB NVMe SSD.
• 30–32 mlrd. parametrų modeliams ir FLUX pilnu tikslumu: 24 GB plokštė (RTX 4090 arba RX 7900 XTX), 64 GB operatyviosios atminties, 850 W ar galingesnis maitinimo blokas.
• 70 mlrd. parametrų modeliams: dvi 24 GB plokštės arba darbo stotis – tokį kompiuterį geriau aptarti individualiai.

Kompiuterį iš atskirų dalių galite susidėti konfigūratoriuje: jį surinksime, išbandysime, suteiksime 24 mėnesių garantiją ir išsiųsime per 3 darbo dienas nuo apmokėjimo patvirtinimo. Windows 11 bus įdiegta, bet neaktyvuota. Kompiuterius profesionaliam darbui, įskaitant lokalų dirbtinį intelektą, renkame ir pagal individualų užsakymą – parašykite el. paštu info@variantai.lt arba paskambinkite tel. +370 602 25858 ir paruošime pasiūlymą.

Dažnai užduodami klausimai

Ar užtenka 8 GB VRAM dirbtiniam intelektui?

Mažiems 7–8 mlrd. parametrų modeliams – taip, jų failai užima apie 5 GB. Tačiau ilgesniam kontekstui, didesniems modeliams ar FLUX vaizdų generavimui 8 GB per mažai, todėl naujam kompiuteriui rinkitės bent 16 GB.

Ar galima paleisti AI modelį be vaizdo plokštės?

Galima: Ollama ir LM Studio moka skaičiuoti ir procesoriumi. Tačiau taip modelis atsako kelis kartus lėčiau, todėl tai tinka tik išbandyti mažus modelius.

Ar AMD vaizdo plokštė tinka Ollama?

Taip. Linux sistemoje Ollama naudoja ROCm ir palaiko RX 7900 XTX, RX 9070 ir RX 9060 XT. Windows aplinkoje dauguma RX 7000 serijos plokščių palaikomos per ROCm, kitos AMD plokštės – per Vulkan.

Kiek VRAM reikia 70B modeliui?

Suspaustas iki 4 bitų 70 mlrd. parametrų modelis užima 43–47 GB, todėl reikia dviejų 24 GB plokščių. Su viena 24 GB plokšte ir 64 GB operatyviosios atminties jis veiks, bet gerokai lėčiau.

Šios kategorijos prekės sandėlyje

Gigabyte RTX 5060 GV-N5060WF2MAX OC-8GD vaizdo plokštė, 8GB GDDR7579,00 € su PVMBiostar Radeon RX 580 VA5815RF82 vaizdo plokštė, 8GB GDDR5198,36 € su PVMPalit RTX 5060 Ti 16GB vaizdo plokštė, 16GB GDDR7989,56 € su PVMBiostar GeForce RTX 3080 VN3816RMT3 vaizdo plokštė, 10GB GDDR6X730,54 € su PVM

Žiūrėti visas prekes: Vaizdo plokštės