Короче, мем.
Вин в номинации что признать самой смешной защитой от prompt injection: обязать атакующего перейти на бумагу.
В Коннектикуте участник судебного процесса спрятал в документах инструкции для ИИ. Текст был набран мелким белым шрифтом: человек его не видит, а система, которая извлекает текст из документа, вполне себе читает. Внутри лежала команда согласиться с позицией автора и помочь отменить предыдущее решение суда.
Атака не сработала, потому что суд вообще не использует ИИ для анализа таких документов. Инъекцию заметил обычный человек по странным пустым местам на странице.
Но судья справедливо решил, что это не особо меняет дело. Документ мог попасть в AI-инструмент адвоката, помощника или другой стороны процесса. Поэтому автора лишили права подавать документы электронно: теперь только распечатка и личная подача.
Пока строят классификаторы и document sanitization, парни просто юзают аналоговый LLM firewall. Бумага.
