Почему нейросети не могут посчитать буквы в слове strawberry?В ИИ-сообществе это давно стало мемом: даже самые мощные модели путаются в простейшем подсчете — в слове десять букв и три «r», но ответ регулярно приходит другой.
Дело в том, что языковые модели не работают с буквами напрямую. Текст разбивается на токены, и токен может соответствовать целому слову, его части или нескольким символам сразу. Strawberry в одних токенизаторах становится единым токеном, в других распадается на straw и berry. Отдельных букв модель просто не видит и выдает самый вероятный, с ее точки зрения, ответ.
Лучший способ понять, как устроены нейросети — спросить нейросеть. Алиса AI объясняет такие вещи ясно и доступно.
