Ребёнок к 13 годам успевает услышать около 100 млн слов с учётом повторений. В этом возрасте он свободно говорит и даже пишет сочинения. Языковым моделям нужны триллионы слов-токенов, чтобы достичь похожего уровня.
Учитывая, что новых данных для обучения ИИ становится всё меньше, когнитивисты, лингвисты и AI-инженеры ищут более эффективные способы развития LLM.
Одна из идей — скармливать ИИ видео о том, как ребёнок познаёт мир.
Прорывная идея или бред?
💯 — другой тип данных поможет
🤔 — очень сомневаюсь в успехе
GPT, помоги!
