Gyakorlati útmutató a RAM és a GPU VRAM működéséhez, méréséhez és az LLM-tokenekhez.

1. Rendszermemória (RAM) effektív sebessége és sávszélessége

A PC-kben használt DDR (Double Data Rate) RAM az adatátviteli órajel emelkedő és süllyedő élén is továbbít adatot. Emiatt megkülönböztetjük a fizikai órajelet (MHz) és az effektív adatátviteli sebességet (MT/s). A kettő nem ugyanaz a mértékegység.

Alapvető képletek

Effektív sebesség (MT/s) = Fizikai adatátviteli órajel (MHz) × 2

Elméleti sávszélesség (MB/s) = Effektív sebesség (MT/s) × Adatbusz szélessége (bájt)

• Egy 64 bites adatcsatorna: 8 bájt/átvitel.
• Két 64 bites adatcsatorna: összesen 16 bájt/átvitel, azonos adatátviteli sebesség mellett.

A számítások a szabványos, 64 bites, nem ECC adatúton alapuló asztali DDR4/DDR5 memóriára vonatkoznak. A GB/s itt decimális egység (1 GB = 1000 MB).

Elméleti sávszélesség – egy- és kétcsatornás konfiguráció

DDR5: csatornák és alcsatornák

Egy hagyományos DDR5 UDIMM modul 64 bites adatútja két független 32 bites alcsatornára oszlik. Két megfelelően elhelyezett modul esetén egy kétcsatornás asztali rendszerben összesen négy 32 bites alcsatorna működhet. Ezért a CPU-Z egyes verzióiban 4 × 32-bit kijelzés látható. Ez nem jelent négy különálló, 64 bites processzor-memóriacsatornát. A tényleges csatornakonfiguráció függ az alaplaptól, a processzortól és a modulok foglalataitól.

2. Memória mérése és ellenőrzése szoftveresen

A memória jellemzőit különböző programok eltérő módon jeleníthetik meg:

• Windows Feladatkezelő: a Memória oldalon a konfigurált memória-adatátviteli sebesség ellenőrizhető.
• PowerShell: a Windows által kiolvasott modul- és sebességadatok lekérdezésére használható:

Get-CimInstance Win32_PhysicalMemory |
  Select-Object DeviceLocator, Speed, ConfiguredClockSpeed, PartNumber

A Speed és ConfiguredClockSpeed firmware/SMBIOS-alapú adatok; nem önálló memóriasávszélesség-mérések. A régi wmic memorychip get speed parancsot már nem ajánlott elsődleges módszerként használni, mert a WMIC segédprogramot az újabb Windows 11 rendszerekből eltávolították.

• CPU-Z – Memory fül: a DRAM Frequency a DDR-adatátviteli sebességhez képest fele akkora órajelértéket jelezhet (például 1600 MHz egy DDR4-3200 konfigurációnál).
• CPU-Z – csatornakijelzés: DDR4 esetén jellemző a Dual megnevezés, DDR5 esetén az alcsatornák száma is megjelenhet, például 4 × 32-bit.

AIDA64 Cache & Memory Benchmark – tájékoztató példák

Az AIDA64 külön Read, Write, Copy és Latency méréseket ad. Az értékeket a processzor, a memóriavezérlő, a modulok időzítése, a BIOS-beállítások és a tesztkörnyezet is befolyásolja. A következő tartományok szemléltető becslések, nem egységesen hitelesített referenciaértékek, és nem feltétlenül jellemzők valamennyi Read/Write/Copy mérésre.

Valódi összehasonlításhoz ugyanazon mérőprogram-verzióval, azonos tesztkörülmények között készült Read/Write/Copy/Latency eredményeket érdemes rögzíteni. Nincs minden konfigurációra érvényes, kötelező 85–95%-os kihasználtsági küszöb.

3. Videokártya-memória (GPU VRAM) architektúra

A dedikált videokártyák VRAM-jának sávszélessége sok esetben többszöröse a hagyományos, kétcsatornás rendszermemóriáénak. A különbséget a GDDR memória adatátviteli sebessége és a GPU memóriabuszának szélessége határozza meg. A VRAM sávszélessége nem azonos a CPU és a GPU közötti PCIe-kapcsolat sebességével.

A GDDR7 generáció újításai

A GDDR7 PAM3 (három jelszintű amplitúdómoduláció) jelátvitelt alkalmaz. A három jelszint segítségével átlagosan 1,5 bitnyi információ továbbítható szimbólumonként; ez leegyszerűsítve három bitnek felel meg két szimbólum alatt. A megfelelően kialakított 32 Gb/s/pin memóriarendszerek különösen nagy elméleti sávszélességet biztosíthatnak.

Elméleti VRAM-sávszélesség (GB/s) = Jelátviteli sebesség (Gb/s/pin) × Memóriabusz szélessége (bit) ÷ 8.

A táblázat matematikai példákat mutat, nem konkrét videokártyák műszaki adatlapjait. A tényleges kártyák buszszélessége és memória-sebessége eltérhet; nem minden generáció/buszszélesség kombináció létezik kereskedelmi termékben.

4. A token fogalma a mesterséges intelligenciában

A nagy nyelvi modellek (LLM-ek) a bemeneti szöveget tokenizáló segítségével kisebb egységekre, tokenekre alakítják. A token nem feltétlenül teljes szó: lehet szóelem, teljes szó, írásjel vagy más rövid szövegrészlet.

A tokenizáció alapjai

• Angol szövegben: durva becslésként 1 token ≈ 4 karakter, illetve 100 szó ≈ 130–135 token.
• Magyar szövegben: a tokenszám a szövegtől, a ragozástól és különösen a modell tokenizálójától függ; nincs általánosan érvényes token/szó arány.
• A tokenszám: meghatározza a feldolgozott bemenet hosszát, és hatással van a modell kontextusablakának kihasználására.
• Generálási sebesség: token/s (tokens per second) – azt mutatja, hogy a modell másodpercenként hány kimeneti tokent állít elő.

Mi korlátozza a helyi LLM teljesítményét?

• Prefill: a bemeneti prompt feldolgozása; sok esetben elsősorban a számítási teljesítmény határozza meg a sebességet.
• Decode: az új tokenek előállítása; kisebb párhuzamos terhelésnél gyakran a memória-sávszélesség jelentős korlátozó tényező.
• További tényezők: a modell mérete, kvantálása, a rendelkezésre álló VRAM, a KV-cache, a kontextus hossza, a batchméret és a használt futtatókörnyezet.

A token/s önmagában nem írja le egy AI-modell teljes teljesítményét. A válasz megkezdéséig eltelt időt (TTFT) és a tokengenerálás tempóját külön is célszerű vizsgálni.

Szakmai források

• Micron – DDR5 modulok és alcsatornák
• Micron – GDDR7 és PAM3
• Microsoft – WMIC kivezetése
• OpenAI – Tokenek értelmezése
• NVIDIA – Prefill és decode működése