🧠 AI-агентам навчилися стискати пам'ять у правильний момент
Доброго ранку ☕️
Ми звикли думати про контекстне вікно досить просто: чим більше токенів поміщається тим краще. Але з AI-агентами все трохи складніше.
Агент може годинами шукати інформацію, викликати інструменти, будувати проміжні гіпотези, відкидати їх, повертатися назад, і весь цей слід міркувань поступово накопичується в контексті. У якийсь момент там уже багато інформації яка більше не потрібна.
Тому контекст починають стискати. Наприклад 50 000 токенів історії перетворюють у короткий підсумок на 2 000 токенів і агент продовжує працювати. Звучить логічно. Але виникає інша проблема: коли саме це робити?
Якщо зробити підсумок надто пізно контекст уже переповнений старою інформацією. Якщо надто рано можна випадково викинути проміжні результати які модель ще використовує.
Дослідники з Johns Hopkins University та Apple запропонували досить елегантне рішення, SelfCompact. Ідея проста: не визначати момент стискання лише кількістю токенів а дозволити самому агенту оцінити на якому етапі задачі він зараз перебуває.
Для цього моделі дали два інструменти. Probe періодично перевіряє стан роботи. Compaction tool стискає попередній контекст у коротке резюме.
Приблизно кожні 16 000 токенів модель отримує спеціальний набір правил за якими повинна визначити чи настав хороший момент для стискання. Наприклад: підзадачу завершено, з'явився чіткий проміжний результат, робота сходиться до конкретного висновку. Тоді контекст можна стискати. Але якщо модель посеред математичного виводу, пошук ще не завершено, або агент застряг і намагається знайти рішення, стискання відкладається.
Тобто замість правила "у нас уже 50 тисяч токенів, стискаємо" з'являється щось ближче до "цей шматок роботи завершений, тепер його можна архівувати".
І це дало доволі помітний результат. На математичному тесті IMO-Answerbench для Qwen3-30B-A3B: без стискання 45.2%, стискання через фіксовані інтервали 48.7%, SelfCompact 52.1%. На BrowseComp-Plus де агенту потрібно шукати інформацію для GLM-4.7-Flash: без стискання 45.6%, фіксовані інтервали 50.0%, SelfCompact 54.1%. В окремих математичних експериментах приріст від SelfCompact порівняно з відсутністю стискання доходив до 18.1 процентного пункту. Автори також повідомляють про на 30-70% нижчу вартість на одне запитання порівняно з довгими сесіями без стискання, тобто це не просто прийом для обходу ліміту контексту а потенційно важлива оптимізація вартості inference.
Причому є особливо цікавий контрольний експеримент. Дослідники прибрали детальний набір правил і просто запитали модель приблизно: чи хочеш ти зараз стиснути контекст? І перевага SelfCompact майже зникла, результат став близьким до звичайного стискання через фіксовані інтервали.
Тобто справа не просто в тому щоб дати моделі кнопку стискання. Важливо дати їй чіткі критерії коли цю кнопку натискати.
І на мою думку це цікаво далеко за межами управління контекстом. Зараз багато агентних систем будуються приблизно так: модель плюс інструменти плюс промпт. А SelfCompact демонструє ще один важливий патерн: модель плюс інструмент плюс явна політика використання цього інструменту.
Тобто ми не обов'язково повинні донавчати модель або навчати окрему політику через reinforcement learning. Іноді достатньо дати моделі правильний інструмент і дуже чітко пояснити за яких умов ним користуватися.
І це ще один аргумент на користь того що майбутній прогрес AI-агентів залежатиме не тільки від розміру моделей чи контекстного вікна. А й від того наскільки добре ми навчимо систему керувати власним контекстом, пам'яттю та інструментами.
🔔 ПІДПИСАТИСЯ
7
4
218 вересня 2026 р. 333 3
