Groq
Сверхбыстрый инференс LLM на специализированных чипах LPU
4.6(412)
FreemiumКод и разработка
Компания: Groq
О Groq
Groq — платформа для сверхбыстрого инференса языковых моделей на специализированных чипах LPU (Language Processing Unit). Обеспечивает скорость генерации до 500+ токенов/сек. Поддерживает Llama, Mixtral и другие open-source модели.
Преимущества
- Рекордная скорость генерации — до 500 токенов/сек
- Щедрый бесплатный тариф
- Поддержка популярных open-source моделей
Недостатки
- Ограниченный набор моделей
- Rate limits на бесплатном плане
- Нет собственных моделей — только хостинг
Информация об инструменте предоставлена в ознакомительных целях. Цены, возможности и условия использования могут отличаться от указанных. Рейтинг отражает субъективную оценку редакции НейроСкоп. Перед использованием рекомендуем ознакомиться с актуальной информацией на сайте разработчика.