Cookbook от HF как построить , world level LLM.
А пока орги продлили голосовуху до 5.11и всю эту суету 🥲 , почитаем cookbook от Huggingface 🤗. Как построить LLM мирового уровня, небольшой гайдик:
- Если ты не в курсе с чего начать, а оно вообще тебе надо?
- А в каком порядке идет pretrain, rl, sft, annealing?
- Что такое kv caching?
- А curriculum learning он зочем?
- Какие стратегии скейлинга по датке и gpu.
И многое другое, ты найдешь в данном небольшом руководстве на 200+ страниц, с фоомулами, картинками и графиками. Версия на сайте. Будет, что почитать на выходных.🧑🎓
А пока орги продлили голосовуху до 5.11
- Если ты не в курсе с чего начать, а оно вообще тебе надо?
- А в каком порядке идет pretrain, rl, sft, annealing?
- Что такое kv caching?
- А curriculum learning он зочем?
- Какие стратегии скейлинга по датке и gpu.
И многое другое, ты найдешь в данном небольшом руководстве на 200+ страниц, с фоомулами, картинками и графиками. Версия на сайте. Будет, что почитать на выходных.
