Hoppa till huvudinnehåll
framtiden.ai
GroqCloud logo

GroqCloud

Ultrasnabb AI-inferens på LPU-chip

Pris
Freemium
Lanserades
2024-02-20

Om

GroqCloud levererar blixtsnabb AI-inferens genom specialbyggda Language Processing Units (LPU). Med 300+ tokens per sekund på Llama 2 70B -- 10 gånger snabbare än NVIDIA H100-kluster -- är det den snabbaste inferensplattformen för AI-applikationer i realtid.

Funktioner

  • Över 300 tokens per sekund
  • Egen hårdvara (LPU)
  • API kompatibelt med OpenAI
  • Strömning i realtid
  • Stöd för text, bild och ljud
  • SOC 2-certifierad

Taggar