Что такое профессионально уметь пользоваться LLM?
Что такое профессионально уметь пользоваться LLM?
Что спрашивать программистов на собеседованиях, если алгоритмы спрашивать теперь бессмысленно (код пишет LLM)?
Нашел отличную инструкцию от твиттер-товарища
Дублирую тут:
1) Понимание, когда LLM не нужна. Мета-навык: увидеть, что правильный ответ здесь - правильно подобранная регулярка, классический ML или детерминированный алгоритм, а LLM - выбор дорогой неправильный. Софт-скилл: отговорить коллег использовать LLM, когда она не нужна.
2) Базовый промт-инжиниринг и юзабилити. Как жить, работать и строить продукт поверх вероятностной штуки, которая почти всегда "врёт": human-in-the-loop, показ неуверенности, деградация вместо падения, стриминг, вменяемые фолбэки в интерфейсе.
3) Понимание и построение архитектур продуктов (systems design) с LLM как частью системы, в центральной или малозначимой роли
4) Использование особенностей существующих инструментов без их доработки - MCP/A2A, Claude/Codex/Opencode, Plugins/Skills/MCP для них). LLM tool calling, structured output.
5) Уметь дорабатывать существующие агенты и харнессы (публичный опенсорс, инхаус в компании)
6) Умение писать свои агенты и харнессы (используя как стандартное барахло, так и новые идеи, которые сейчас на повестке). Включая разные технические детали (ретраи с backoff, таймауты, обработка rate limit'ов, конкурентность, роутинг/каскады между моделями (когда дешёвая апгрейдится в дорогую), circuit breaker, семантический кэш, бюджеты и квоты по стоимости. Рантайм-гардрейлы и организация безопасности действий агента, чтобы он не удалил тебе базу на проде.
7) Умение организовать наблюдаемость и LLMOps в проде. Чтобы ты мог понять, что делают твои модели, агенты и харнессы, и оперативно реагировать на это.
8) Умение для разных задач пользоваться разными моделями (в том числе фронтирными и маленькими 32B, локальными, и специализированными - девопс-модель или медицинская модель)
9) Умение запускать их на разных движках инференса (vLLM, SGLang, TGI, TensorRT-LLM) и разном железе (Nvidia, AMD, Huawei)
10) Базовое понимание оптимизации. Квантизация под инференс (GGUF/AWQ/GPTQ/int8/fp8), управление KV-кэшем, батчинг, throughput vs latency, speculative decoding, prompt caching.
11) Умение работать с хранилищами (RAG/retrieval/context. Эмбеддинги, векторные базы, чанкинг, управление контекстным окном, системы памяти.)
12) Уметь использовать классическое машинное обучение и работу с данными вместе с LLM
13) Уметь писать промты и концепции, совместимые со всем вышеперечисленным (Spec-Driven, RLM, etc)
Три раздела "дорого-богато" со звездочкой (требует дорогого железа, выдержки и инвестиций в матчасть)
14*) Уметь дообучать готовые модели. Чтобы избегнуть вопросов "что ты имеешь в виду", разверну. Два основных вопроса: сколько учим (full fine-tuning, lora/qlora/dora, transformer adapters, soft prompts/prefix-tuning/prompt-tuning/P-tuning) и чему учим (дистилляция, continued domain-adaptive pretraining, supervised fine-tuning / instruction tuning, preference alignment/RLHF PPO/DPO/RLAIF, RLVR)
15*) Уметь обучать что-то с нуля принятыми в продакшене способами (любое трансформерное барахло)
16*) Уметь обучать что-то экспериментальное и мультимодальное
17) Умение джейлбрейкать и защищать всё вышеперечисленное (advanced prompting, abliteration, prompt injection, data leaks)
18) Уметь оценивать всё вышеперечисленное (tokenomics, LLM-as-judge, regression testing)
19) Иметь базовое понимание, как всё это работает под капотом, чтобы достичь ощущения "сродства с машиной" (токенизация, сэмплинг, температура/top-p, природа галлюцинаций...)
20) Уметь конструировать новые алгоритмы, архитектуры и руководящие принципы для всего вышеперечисленного
21) Скучное юридическое: персональные данные, региональные регуляции (EU AI Act), лицензирование, способы спрятать использование LLM от посторонних глаз и делать его недоказуемым, и т.п.
22) Умение по-человечески общаться на все эти темы (Обсуждение хотя бы одной идеи, которую никто пока нормально не сделал. Или статья в журнале, или хотя бы в блоге, телеграме)
Что спрашивать программистов на собеседованиях, если алгоритмы спрашивать теперь бессмысленно (код пишет LLM)?
Нашел отличную инструкцию от твиттер-товарища
Дублирую тут:
1) Понимание, когда LLM не нужна. Мета-навык: увидеть, что правильный ответ здесь - правильно подобранная регулярка, классический ML или детерминированный алгоритм, а LLM - выбор дорогой неправильный. Софт-скилл: отговорить коллег использовать LLM, когда она не нужна.
2) Базовый промт-инжиниринг и юзабилити. Как жить, работать и строить продукт поверх вероятностной штуки, которая почти всегда "врёт": human-in-the-loop, показ неуверенности, деградация вместо падения, стриминг, вменяемые фолбэки в интерфейсе.
3) Понимание и построение архитектур продуктов (systems design) с LLM как частью системы, в центральной или малозначимой роли
4) Использование особенностей существующих инструментов без их доработки - MCP/A2A, Claude/Codex/Opencode, Plugins/Skills/MCP для них). LLM tool calling, structured output.
5) Уметь дорабатывать существующие агенты и харнессы (публичный опенсорс, инхаус в компании)
6) Умение писать свои агенты и харнессы (используя как стандартное барахло, так и новые идеи, которые сейчас на повестке). Включая разные технические детали (ретраи с backoff, таймауты, обработка rate limit'ов, конкурентность, роутинг/каскады между моделями (когда дешёвая апгрейдится в дорогую), circuit breaker, семантический кэш, бюджеты и квоты по стоимости. Рантайм-гардрейлы и организация безопасности действий агента, чтобы он не удалил тебе базу на проде.
7) Умение организовать наблюдаемость и LLMOps в проде. Чтобы ты мог понять, что делают твои модели, агенты и харнессы, и оперативно реагировать на это.
8) Умение для разных задач пользоваться разными моделями (в том числе фронтирными и маленькими 32B, локальными, и специализированными - девопс-модель или медицинская модель)
9) Умение запускать их на разных движках инференса (vLLM, SGLang, TGI, TensorRT-LLM) и разном железе (Nvidia, AMD, Huawei)
10) Базовое понимание оптимизации. Квантизация под инференс (GGUF/AWQ/GPTQ/int8/fp8), управление KV-кэшем, батчинг, throughput vs latency, speculative decoding, prompt caching.
11) Умение работать с хранилищами (RAG/retrieval/context. Эмбеддинги, векторные базы, чанкинг, управление контекстным окном, системы памяти.)
12) Уметь использовать классическое машинное обучение и работу с данными вместе с LLM
13) Уметь писать промты и концепции, совместимые со всем вышеперечисленным (Spec-Driven, RLM, etc)
Три раздела "дорого-богато" со звездочкой (требует дорогого железа, выдержки и инвестиций в матчасть)
14*) Уметь дообучать готовые модели. Чтобы избегнуть вопросов "что ты имеешь в виду", разверну. Два основных вопроса: сколько учим (full fine-tuning, lora/qlora/dora, transformer adapters, soft prompts/prefix-tuning/prompt-tuning/P-tuning) и чему учим (дистилляция, continued domain-adaptive pretraining, supervised fine-tuning / instruction tuning, preference alignment/RLHF PPO/DPO/RLAIF, RLVR)
15*) Уметь обучать что-то с нуля принятыми в продакшене способами (любое трансформерное барахло)
16*) Уметь обучать что-то экспериментальное и мультимодальное
17) Умение джейлбрейкать и защищать всё вышеперечисленное (advanced prompting, abliteration, prompt injection, data leaks)
18) Уметь оценивать всё вышеперечисленное (tokenomics, LLM-as-judge, regression testing)
19) Иметь базовое понимание, как всё это работает под капотом, чтобы достичь ощущения "сродства с машиной" (токенизация, сэмплинг, температура/top-p, природа галлюцинаций...)
20) Уметь конструировать новые алгоритмы, архитектуры и руководящие принципы для всего вышеперечисленного
21) Скучное юридическое: персональные данные, региональные регуляции (EU AI Act), лицензирование, способы спрятать использование LLM от посторонних глаз и делать его недоказуемым, и т.п.
22) Умение по-человечески общаться на все эти темы (Обсуждение хотя бы одной идеи, которую никто пока нормально не сделал. Или статья в журнале, или хотя бы в блоге, телеграме)
