stopwatch
Если вы работаете с большими языковыми моделями, то наверняка задумывались, как измерить их производительность. Удобно, когда есть инструмент, который поможет сравнить, насколько быстро разные LLM-серверы обрабатывают запросы и сколько ресурсов на это уходит.
Stopwatch — это CLI-утилита, написанная на Python, которая позволяет бенчмаркать популярные LLM-серверы, такие как vLLM, SGLang и TensorRT-LLM. Она разворачивает сервер, запускает тесты и сохраняет результаты в файл.
Особенно круто, что можно не только запустить обычный бенчмарк, но и использовать PyTorch profiler для детального анализа производительности. Это даёт глубокое понимание, что именно происходит под капотом, и позволяет оптимизировать работу LLM.
https://github.com/modal-labs/stopwatch | 56 звёзд
#сервисы
