**На этой неделе DeepSeek устроила неделю OpenSource и выложила свои козыри: один из которых...
**На этой неделе DeepSeek устроила неделю OpenSource и выложила свои козыри: один из которых суперсложный софт, который никто с нуля не пишет**
Fire-Flyer File System (3FS) — это параллельная файловая система, которая использует всю пропускную способность современных SSD и RDMA сетей.
⚡️ Совокупная скорость чтения составляет 6,6 ТиБ/с в кластере из 180 узлов.
⚡️ Пропускная способность 3,66 ТиБ/мин на бенчмарке GraySort в кластере из 25 узлов.
⚡️ Пиковая пропускная способность свыше 40 ГиБ/с на узел-клиент для поиска в KVCache.
🧬 Дизагрегированная архитектура с сильной согласованностью данных.
✅ Предобработка обучающих данных, загрузка наборов данных, сохранение/восстановление контрольных точек, поиск векторов встраивания и поиск в KVCache для вывода в V3/R1.
Подробнее:
3FS → https://github.com/deepseek-ai/3FS
Smallpond - фреймворк для обработки данных на 3FS → https://github.com/deepseek-ai/smallpond
Под капотом (обзор) — DuckDB
Fire-Flyer File System (3FS) — это параллельная файловая система, которая использует всю пропускную способность современных SSD и RDMA сетей.
⚡️ Совокупная скорость чтения составляет 6,6 ТиБ/с в кластере из 180 узлов.
⚡️ Пропускная способность 3,66 ТиБ/мин на бенчмарке GraySort в кластере из 25 узлов.
⚡️ Пиковая пропускная способность свыше 40 ГиБ/с на узел-клиент для поиска в KVCache.
🧬 Дизагрегированная архитектура с сильной согласованностью данных.
✅ Предобработка обучающих данных, загрузка наборов данных, сохранение/восстановление контрольных точек, поиск векторов встраивания и поиск в KVCache для вывода в V3/R1.
Подробнее:
3FS → https://github.com/deepseek-ai/3FS
Smallpond - фреймворк для обработки данных на 3FS → https://github.com/deepseek-ai/smallpond
Под капотом (обзор) — DuckDB
