Volta, CUDA und was noch läuft

Ältere Datacenter-GPUs wie die Tesla V100 (Volta) haben eine andere Architektur als neue Consumer-Karten. Hier erfahren Sie, welche Software läuft und wo es Einschränkungen gibt.

Was ist Compute Capability?

CUDA Compute Capability (CC) ist die Versionsnummer der GPU-Architektur. Sie bestimmt, welche CUDA-Features eine Karte unterstützt. Software kann eine Mindest-CC verlangen.

Unsere Karten im Überblick:

  • Tesla V100 (Volta): CC 7.0, CUDA ab 9.0
  • A100 (Ampere): CC 8.0, CUDA ab 11.0
  • Tesla T4 (Turing): CC 7.5, CUDA ab 10.0
  • AMD MI50/MI100: ROCm statt CUDA (siehe unten)

Was läuft auf der V100?

Die Tesla V100 ist für die meisten LLM- und ML-Workloads kompatibel:

✅ Gut unterstützt

  • llama.cpp und Ollama: volle Unterstützung, läuft schnell
  • PyTorch und TensorFlow: Standard-Training und Inferenz
  • Transformers (Hugging Face): die meisten Modelle laufen
  • vLLM: grundsätzlich ja, aber Performance-Optimierungen (z. B. FlashAttention-2) fehlen
  • Stable Diffusion, SDXL, Flux: laufen mit FP16, aber langsamer als auf neueren Karten

⚠️ Eingeschränkt

  • BFloat16: nicht in Hardware (erst ab Ampere). FP16 läuft aber.
  • FlashAttention-2: benötigt CC 8.0+, läuft auf der V100 nicht. V1 geht teilweise.
  • FP8 (8-Bit-Float): nur auf Ada/Hopper (L40, H100)

❌ Nicht unterstützt

  • Software, die explizit CC 8.0+ fordert (selten, aber kommt vor – prüfen Sie die Docs)

ROCm und AMD-Karten

AMD Instinct-Karten (MI50, MI60, MI100) nutzen ROCm statt CUDA. Viele Frameworks unterstützen ROCm:

  • PyTorch: offizielle ROCm-Builds verfügbar
  • llama.cpp: experimentelle ROCm-Unterstützung (CLBlast oder HIPBlas-Backend)
  • Ollama: läuft mit ROCm, aber Setup aufwändiger

Achtung: AMD-Treiber und ROCm-Stack sind weniger ausgereift als CUDA. Für Produktivumgebungen empfehlen wir NVIDIA.

Praktische Empfehlung

Für LLM-Inferenz (ChatGPT-ähnliche Anwendungen, Ollama, llama.cpp) ist die V100 eine ausgezeichnete Wahl. Für Training neuronaler Netze oder Experimente mit neuesten Optimierungen (FP8, FlashAttention-2) sind A100 oder neuere Karten besser.

Noch Fragen?

Kontaktieren Sie uns, wenn Sie unsicher sind, ob eine Karte für Ihre Software passt – wir beraten Sie gerne.