Создаём и обучаем свой ChatGPT с нуля — на GitHub появился интерактивный пошаговый гайд по созданию своей LLM для генерации текста, не используя готовую модель.
Покажет, как нейросеть превращает обычный текст в понятные ей числа;На простых примерах объясняет, как модель понимает связь между словами;Разбирает современные технологии, которые используются в больших LLM — RoPE, RMSNorm и SwiGLU;Показывает весь процесс обучения — как модель учится угадывать следующее слово;Объясняет, как ускорить обучение и заставить видеокарту работать эффективнее;В финале собираете собственную GPT-модель и запускаете её у себя;Для старта есть компактная модель на 17 млн параметров, не требующая мощного железа;Для более серьёзных экспериментов — модель на 151 млн параметров уровня GPT-2 Small.
Забираем тут.
Не баг, а фича
