В сущности, конец эпохи «Да видно же, что это ИИ писал» наступил достаточно давно. Просто многие «эксперты-детекторы» так и не могут смириться с тем, что не вывозят, а если честно — то никогда и не вывозили. Пруфы будут, но это просто дополнение к сути поста.
В общем, есть на GitHub шикарный репозиторий, разобрал, делюсь.
Итак, немного истории вопроса тех самых «диванных детекторов ИИ-контента», пруфы и разоблачения, потом сразу перейду к обзору чудо-навыка.
Я уже сталкивался с этими исследованиями, но сейчас специально проверил данные за последний год, чтобы данные были посвежее. Погнали!
По данным исследований за последний год, большинство людей распознают ИИ-тексты не лучше случайного угадывания — если совсем просто — 50/50, угадал–не угадал, а уверенность в своём «чутье» чрезвычайно завышена. Для изображений картина та же самая: в реалистичных условиях люди дают ответы около уровня «монетки», особенно когда контент похож на обычный пост в некой ленте — новости или соцсети.
В исследовании «As Good as a Coin Toss: Human Detection of AI-Generated Content» участники в целом различали синтетический и человеческий контент примерно в 51% случаев, то есть почти на уровне случайности. И важно здесь то, что дизайн эксперимента был близок к реальному потреблению контента, а не к лабораторным играм с подсказками.
Есть и исключение: люди, которые сами часто используют ИИ для письма, куда лучше детектируют нейротексты, есть соответствующее исследование «People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text». Но здесь речь идёт о небольшой группе людей с особым опытом, а не о том, что рядовой читатель» умеет делать надёжно т гарантированно.
А ещё люди (думаю, это те, кто мало читает) склонны принимать за нейротворчество хорошо структурированный и грамотный человеческий текст. С их точки зрения, любая художественная книга, напечатанная до 90-х, результат работы ИИ, видимо.
Почему же люди так сильно и, в общем-то, сознательно завышают свой «детектинг»? Ответ есть в первой статье — понты. Всё.
Теперь, когда мы разобрались, что Васька/Серёга/Наталья Петровна, которые уверенно открывают чат с Алисой или даже Гигачат, определяют ИИ-тексты с той же уверенностью, что аквариумная рыбка, переходим к убер-навыку для очеловечивания текстов.
Называется навык (он же agent skill) Humanizer. Имечко подходящее. Совсем коротко о нём:
Humanizer — универсальный агентный навык, устраняющий признаки текста, сгенерированного ИИ, и придающий ему более естественное, «человеческое» звучание. Написан в формате Markdown, поэтому может работать в любой среде, поддерживающей инструкции в стиле «навыков».
Выявление производится аж по 33 (Лемони Сникет, привет!) паттернам, например: лексика, характерная для ИИ; отрицательный параллелизм; пассивный залог и безличные конструкции; раздувание значимости; рекламная лексика; шаблонные фразы о трудностях и куча других. На странице репозитория перечислены все признаки, есть примеры. И создан он не на пустом месте, а на основе руководства «Признаки текста, созданного ИИ», которое вёдет проект WikiProject AI Cleanup. Это подробное руководство составлено по результатам анализа тысяч примеров текстов, сгенерированных ИИ.
В запасе у меня есть ещё пара недурственных «литературных» навыков для агентов, их спокойно можно применять (с небольшими доработками) как системные инструкции для вашего любимого чат-бота. Лучше, конечно, работать с моделями из «стильных/модных», то есть Гигачат и DeepSeek можно даже не озадачивать.А, и самое главное: полностью унылое дерьмо никакое чудо в шедевр не превратит (-:
Ссылка на репозиторий: github.com/blader/humanizer (⭐️ 30,8k).Пользуйтесь на здоровье 🤘🏻
@neuro_man#НейроЧеловек #НейроГайд #НейроЛайфхак
