Чуваки из Твиттора три месяца изучали тему роботов общего назначения, перечитали кучу свежих научных публикаций, поговорили с ключевыми игроками рынка и собрали всё в одном документе.
Современная робототехника — это просто внедрение языковых моделей в роботов
– Большая часть рынка роботов использует архитектуру с «двумя мозгами», состоящей из медленного высокоуровневого планировщика (запоминает что делать) и быстрого низкоуровневого контроллера (манипулированием объектами). Такое разделение развилось органически из-за ограничений между долгосрочным планированием и краткосрочной ловкостью.
– Пропускная способность этой системы определяет скорость действий роботов. Цель работы любого робота — эффективно кодировать и декодировать данные о действиях, не теряя при этом едва заметных, но крайне важных деталей из реального мира.
– Сбор данных для обучения роботов является важнейшей частью их разработки и работы. На текущий момент есть три варианта: сбор данных из реального мира, физические симуляторы и моделирование мира.
– Проще/дешевле/быстрее всего — сбор данных реального мира через помещение человека в экзоскелет, который зеркально отображает его движения на робота, а также обучение через собственное восприятие человека (умные очки, тактильные перчатки и другие носимые устройства) в качестве источника данных.
Подводные камни в работотехнике старые:
1) Реализм. Роботы по-прежнему с трудом улавливают тонкие свойства физического мира и его материалов.
2) Оценка — одна из самых сложных задач по масштабированию в сочетании со сбором данных.
Современные роботы зависят от нечётких метрик успеха (например, удержался ли захват, чистая ли тарелка, убрана ли комната), что делает оценку эффективности работы робота составной и более сложной для разработчика, робота и человека, поэтому у каждой робо-лаборатории есть своя собственная метрика и определение «успеха».
3) Триллионы запусков/запросов по прежнему дорогие для вычислений + доступ к качественным данным для обучения есть только у Google (и Apple).
Больше интересного: https://github.com/aapatni/robotics-deep-dive-2025
TLDR:
