На τ²-bench CoPE даёт 28,7% против 27,5% у GRPO. Пусто. А внутри… — Эй Ай Думай — TG.ME

На τ²-bench CoPE даёт 28,7% против 27,5% у GRPO. Пусто. А внутри Retail вырос с 17,5% до 29,4%, Airline просел с 26,2% до 16,2%.

Метод предсказывает не наблюдения, а собственные будущие действия: учит ту же LLM отвечать «что делают успешные агенты дальше с этой точки». Прогноз только на успешных эпизодах, одна модель, никакой второй сети на инференсе.

Зато на ScienceWorld обучение вдвое быстрее, а на AppWorld +14 пунктов успеха. Разброс внутри одного бенчмарка тут больше, чем разница между методами на трёх других. Среднее по пяти средам такую картину прячет.

Я бы такие расколы показывал отдельно, а не сводил к «+12,5 пункта». Иначе непонятно, где метод вообще работает.

Если на Airline метод теряет 10 пунктов, а на Retail приносит 12, чему верить в итоговой таблице?

Полный разбор в блоге: читать целиком
16 октября 2026 г. 4