По следам прошлой статьи на Хабре, которая на данный момент набрала 21 000 просмотров и рассказывала про то, что «волшебный» ChatGPT-5 не очень то и волшебный, как преподносят в презентации — а просто инструмент, и всё зависит от «владельца» инструмента, обнаружилась вот такая диковинка с математикой за 5 класс общеобразовательной школы, где проходят десятичные дроби:
Посмотрите на скриншот внизу с решением довольно простой задачки: 8.8-8.11=?
— Первый скриншот от ChatGPT-5
— Второй от Perplexity
— Третий из калькулятора (с правильным ответом)
Этот простой пример вычитания стал вирусной темой в сообществе ИИ, поскольку многие популярные языковые модели дают неправильный ответ. Большинство современных ИИ-моделей, включая ChatGPT, Claude и Gemini, ошибочно утверждают, что результат равен -0.31
Сейчас пройдёт ещё немного времени (или уже), инженеры загрузят патч и всё будет нормально :)
Почему это происходит?
Проблемы токенизации: LLM-ки «кушают» токены как отдельные последовательности и вполне возможно, что в голове у компуктера 11 явно больше, чем 8, плюс, это в первую очередь текст, а не числовое значение при обработке, как у калькулятора.
Обучение на левых данных: если посмотрите у меня в примере, там видно, что Perplexity в качестве источника указал: reddit, а это те ещё консистентные данные :)
«От любви до ненависти — один шаг», «от гениальности до глупости — примерно столько же» ¯\_(ツ)_/¯
Тут, конечно, кроется очень большая проблема в том, что модель способна одновременно решать и сложнейшие математические олимпиадные задачи и косячить на уровне математики 5-ого класса. Как в таком случае доверять более сложную работу по аналитике или медицине?
Прожарка от Димы Гарника
