Om
GroqCloud levererar blixtsnabb AI-inferens genom specialbyggda Language Processing Units (LPU). Med 300+ tokens per sekund på Llama 2 70B -- 10 gånger snabbare än NVIDIA H100-kluster -- är det den snabbaste inferensplattformen för AI-applikationer i realtid.
Funktioner
300+ tokens per second
LPU custom hardware
OpenAI-compatible API
Real-time streaming
Multimodal support
SOC 2 compliant
