Хорошего понедельника желаем все уважаемым разработчикам… — Карлсон, который живет до Сrash'a | IoT, АСУТП, Linux, AI — TG.ME

Хорошего понедельника желаем все уважаемым разработчикам промышленного ПО и встраиваемых систем 🐧

В выходные делать было особо нечего в такую жару, сидели и размышляли о позиционировании openFB и о том, как вообще внедрять ИИ в АСУ ТП. И тут на тебе — в статье на EDN встречаем концепцию «составной неопределенности» (compound uncertainty). Прямо строка в лыко.
Признаемся честно: с таким термином мы встретились впервые. А суть вот в чем.

Даже если предположить, что ИИ-агент работает с точностью 98% на каждом отдельном шаге, то в многоэтапной задаче (например, из 34 последовательных действий без промежуточных проверок) общая вероятность успеха падает до 50,5%. Просто математика: 0.98 в степени 34 ≈ 0.505. То есть на финише длинной цепочки ты буквально подбрасываешь монетку — правильный результат или ошибочный.

Другое дело, конечно, - это существуют ли в реальной жизни такие цепочки в 34 степени? С ходу так и не пришло в голову. Но дело не в этом.

Дело вот в чем: не стоит ждать появления «идеального» и безошибочного ИИ. Его просто не будет. Нужен комбинированный подход — выстраивать рабочий процесс со строгими контрольными точками (gates). Статический анализ, модульное тестирование, жесткие требования к покрытию. ИИ делает свою работу, но классическая инженерия с проверками на каждом этапе ловит накопленные ошибки до того, как они приведут к проблемам.

В общем, утвердились в своем убеждении, что ключом к конвергенции двух профессиональных областей ИТ/ОТ является не ограничение технологий, а согласованный инжиниринг. Тем не менее, альтернативные и противоположные точки зрения мы так же готовы обсудить с вами в комментариях
🧘
EDN
Compound uncertainty: AI’s hidden risk in safety-critical development - EDN
You will never eliminate functional insufficiency from an AI system, but you can build an architecture that catches it before it becomes a safety event.
👏3🤔1
August 3, 2026 221 1 2