Groq

Сверхбыстрый инференс LLM на специализированных чипах LPU

4.6

— оценка редакции

Freemium

Код и разработка

Компания: Groq

Попробовать

О Groq

Groq — платформа для сверхбыстрого инференса языковых моделей на специализированных чипах LPU (Language Processing Unit). Обеспечивает скорость генерации до 500+ токенов/сек. Поддерживает Llama, Mixtral и другие open-source модели.

Преимущества

Рекордная скорость генерации — до 500 токенов/сек
Щедрый бесплатный тариф
Поддержка популярных open-source моделей

Недостатки

Ограниченный набор моделей
Rate limits на бесплатном плане
Нет собственных моделей — только хостинг

Информация об инструменте предоставлена в ознакомительных целях. Цены, возможности и условия использования могут отличаться от указанных. Рейтинг отражает субъективную оценку редакции НейроСкоп. Перед использованием рекомендуем ознакомиться с актуальной информацией на сайте разработчика.