Робот-сыщик использует 3D-зрение для умного поиска потерянных предметов

Специалисты из Технического университета Мюнхена представили новую платформу для поисков различных предметов. Она предназначена для создания разных роботов, промышленных и бытовых, которые будут «понимать», где искать нужные вещи. Это дает прибавку в скорости поиска порядка 30 % в сравнении с последовательным сканированием всей местности.

У робота две составляющих: подвижная платформа с 3D-сканером и ноутбук с системой распознавания объектов на базе нейросети. Камера у робота простая, она делает двумерные снимки, но при помощи данных о глубине они превращаются в 3D-модель окружающей местности. Это минимизирует трафик между роботом и ноутбуком.

Когда модель выстроена, система автоматически идентифицирует все видимые объекты. Затем она устанавливает связи между ними — например, наличие зеркала и зубной щетки означает, что перед роботом раковина. Вряд ли в ней будут лежать очки – их надо искать на полке или подоконнике, которые можно отыскать по наличию книг или домашних цветов.

Когда объект найден, система проводит его идентификацию с точностью до 95 %. Данные остаются в памяти – теперь робот сразу поедет туда, где с наибольшей вероятностью может располагаться объект поиска. А на следующем этапе его собираются научить проверять закрытые объекты, шкафы и коробки, в поисках разных вещей.Источник &#8212 IEEE Robotics and Automation Letters