https://www.youtube.com/watch?v=7xTGNNLPyMI
Это трех-с-половиной-часовое видео, которое снял Андрея Карпатый (был в команде OpenAI на старте, был в AI-команде Tesla) — один из лучших примеров объяснения чего-нибудь сложного, что я видел, пожалуй. Если хочется разобраться детальнее, как именно устроены LLM типа ChatGPT и подобных на уровне глубже, чем «ну это такой типа умный T9», но при этом у вас не computer science универ в анамнезе, то это прямо то самое.
Например, видео начинается с того, что он рассказывает на каких данных все эти LLM обучены, как это вообще возможно «скачать инетрнет», и что, оказывается, в чисто текстовом и специально хитрым образом сжатом виде этот самый «весь инетрнет» может занимать всего 44 тб. Потом он подробно рассказывает и, что еще отдельно круто, показывает на примере простых моделей, как именно вся эта информация превращается в токены, как происходит пре-тренинг и пост-тренинг моделей, как получается так, что можем чатиться с этими моделями (предлагает думать о диалоге с моделью, как о симуляции диалога с людьми, которые обрабатывали диалоги для этих моделей).
Мне, помню, в универе повезло с преподом по мат.статистике: он объяснял ровно то, что было необходимо нам (только наполовину инженерам) для прикладного использования, дополняя это ровно необходимым математичским аппаратом, не перегружая деталями, при этом подсвечивая все новые детали о том, как прикольно и интересно устроена его часть науки. Вот тут ровно та же история: получаешь ровно необходимый уровень знания о том, как это устроено, но по пути появляется аппетит погружаться еще глубже.
Стоит также отметить, что по пути прямым текстом звучат рекомендации о том, как можно использовать с большей точностью чат-ассистенты (например, подгружать в них кусок даже популярного текста, с которыми вы хотите, чтобы они поработали, даже если подозреваете, что они в курсе о его содержании и т.п.) и непрямым текстом идеи о том, как можно их использовать еще (например, он рассказывает, как LLM-ки сами себя перепровряют по вопросам-ответам о материалах -> частый прием, который вы уже, возможно, видели в духе попросить в одном чате «нагенерь вопросов вот к этому», а потом в другом окошке попросить ответить на эти вопросы).
А! И не пугайтесь хронометража, смысловые куски разбиты очень хорошо, можно смотреть «по чайной ложке» и все равно будет хорошо.
#ai_da_ii_base #ai_da_ii_techdetails
YouTube
Deep Dive into LLMs like ChatGPT
This is a general audience deep dive into the Large Language Model (LLM) AI technology that powers ChatGPT and related products. It is covers the full training stack of how the models are developed, along with mental models of how to think about their "psychology"…
8July 28, 2025 231 14
