Андрей будет учить с нуля и буквально всему — архитектуре, подготовке датасетов, тюнингу, оптимизации, фреймворкам (PyTorch+Jax), CUDA. На выходе у студентов получится что-то похожее на ChatGPT, только написанное абсолютно с нуля.

Такое ему не в первой, он вместе со своим профом Ли Фей-Фей создал и вёл легендарный курс CS231 по глубокому обучению (https://cs231n.stanford.edu/) в Стенфорде (имхо этот курс – база, всем советую), да и обучающие видео у него выходят отличные.

В публичном доступе есть репа (https://github.com/karpathy/LLM101n) с содержанием курса, но самих лекций пока нету

Список туториалов Карпатого про LLM:

• Строим GPT с нуля, с разбором кода в ноутбуке (https://youtu.be/kCc8FmEb1nY) (2ч)
• Как тренировали ChatGPT (large scale) (https://t.me/ai_newz/1949)
• Интро в большие языковые модели (LLM), тоже от Карпатого. (https://t.me/ai_newz/2320) (1ч)
• Токенизация в GPT и как ее закодить (https://t.me/ai_newz/2429) (2ч)
• Как воспроизвести и натренировать GPT-2 (124M) с нуля (https://t.me/ai_newz/2796)(4ч)