Welche Karte für welches Sprachmodell?

Für LLMs (Large Language Models) brauchen Sie genug VRAM für das Modell und seinen Kontext. Hier finden Sie Richtwerte für gängige Modelle.

Kleine Modelle (bis 10 Mrd. Parameter)

Beispiele: Qwen3.5 4B und 9B, Gemma 4 E4B, Granite 4.2 8B, Llama 3.1 8B

Empfehlung: Tesla T4 16 GB oder V100 16 GB. In 4-Bit-Quantisierung passen diese Modelle problemlos auf 16 GB und laufen flüssig.

Mittlere Modelle (14–32 Mrd. Parameter)

Beispiele: Qwen3.8 27B, Gemma 4 31B, GLM-4.7-Flash, gpt-oss-20b

Empfehlung: Tesla V100 32 GB. Mit 4-Bit-Quantisierung passen Modelle bis ca. 40 Mrd. Parameter auf eine Karte.

Grosse Modelle (70+ Mrd. Parameter)

Beispiele: Llama 3.3 70B, Apertus 70B, gpt-oss-120b

Empfehlung: A100 80 GB oder 2× V100 32 GB. Llama 3.3 70B braucht in 4-Bit etwa 46 GB mit 8k-Kontext. Mehrere Karten teilen sich das Modell, werden dadurch aber nicht schneller.

Sehr grosse Modelle (120+ Mrd.)

Beispiele: Kimi K3, DeepSeek V4 Pro, GLM 5.3, Qwen3.5 397B

Empfehlung: Server mit mehreren A100 80 GB oder H100, teils nur mit Spezialberatung. Kontaktieren Sie uns für Serverkonfigurationen.

Was ist Quantisierung?

LLMs liegen meist in 16-Bit-Genauigkeit vor. Quantisierung (z. B. auf 4 Bit) reduziert den Speicherbedarf auf ca. ⅓ mit nur geringem Qualitätsverlust. Die gängigsten Formate sind Q4_K_M (llama.cpp/Ollama) und AWQ/GPTQ (vLLM, transformers).

Kontext und Geschwindigkeit

Der Kontext (z. B. 8k, 32k, 128k Tokens) bestimmt, wie viel Text das Modell gleichzeitig im Blick hat. Längerer Kontext braucht mehr VRAM und wird langsamer. Die Token-Geschwindigkeit hängt von der Speicherbandbreite der Karte ab – unsere V100 schafft ~25 Tokens/s bei einem 32B-Modell.

Weitere Fragen?

Unser Modell-Rechner gibt Ihnen eine genaue Schätzung für Ihr gewünschtes Modell. Für individuelle Beratung kontaktieren Sie uns.