NeMo Data Designer

NeMo Data Designer — фреймворк для создания синтетических наборов данных. Он предназначен для разработчиков и исследователей, которым необходимы разнообразные статистические распределения, осмысленные корреляции между полями или высококачественные выходные данные для обучения моделей.
Инструмент позволяет генерировать текст, структурированные данные и изображения, используя сэмплеры, большие языковые модели и модели изображений, либо на основе существующих наборов данных. Data Designer поддерживает создание мультимодальных рабочих процессов с контекстом изображений, аудио и видео, а также позволяет управлять взаимосвязями между полями с помощью генерации, учитывающей зависимости. Сгенерированные данные можно проверять и оценивать с помощью Python, SQL, пользовательских валидаторов и LLM-судей.
Для работы Data Designer требуется Python версии 3.10–3.14. Проект распространяется по лицензии Apache 2.0. Для использования функциональности, связанной с большими языковыми моделями, необходимо настроить API-ключи для таких сервисов, как NVIDIA Build API, OpenAI или OpenRouter. Проект собирает анонимную телеметрию, которую можно отключить.
NeMo Data Designer на GitHub · 2339 звёзд
Источники и документация
После подготовки описания документация изменилась. Перед установкой проверьте актуальные инструкции проекта.