Американские инженеры создали робота, способного резать овощи на ломтики. Особенность подхода, выбранного разработчиками, заключается в том, что изначально робот учился другой задаче, которая помогла выучить основной навык — сначала робот был обучен предсказывать толщину ломтиков, а уже после этого научился качественно резать их, рассказывают авторы статьи, опубликованнойна arXiv.org.
Манипуляция с объектами — одна из основных задач в робототехнике. Для выполнения даже простых действий с предметами робот должен обладать множеством навыков: уметь распознавать объекты, рассчитывать оптимальное место захвата или другого действия, планировать траекторию перемещения манипулятора и предсказывать свойства объектов. Последний навык крайне важен при взаимодействии с мягкими объектами, форма и другие свойства которых могут меняться прямо во время взаимодействия. Одна из модельных задач, позволяющих отработать нужные для взаимодействия с различными объектами навыки — нарезка овощей. Во время этого казалось бы простого действия робот вынужден работать с предметами, которые деформируются при взаимодействии с ножом, что, к примеру, приводит к изменению траектории нарезки и конечной формы ломтика.
Оливер Крёмер (Oliver Kroemer) и его коллеги из Университета Карнеги — Меллон выбрали необычный подход для решения этой проблемы. Сначала они обучили алгоритм выполнению промежуточной задаче — предсказанию толщины ломтика и оставшегося овоща по одной двумерной фотографии. Для этого они создали датасет, состоящий из пар изображений, сделанных до и после разрезания. Во время создания датасета инженеры создавали случайный план нарезки (несколько ломтиков заданной толщины), а затем нарезали овощ и делали его снимки. Таким образом авторы работы набрали 50 демонстраций (по несколько отрезов) для огурцов и 25 для помидоров. Кроме того, инженеры обучили нейросеть обнаруживать овощи с помощью датасета из примерно четырех тысяч огурцов и помидоров.
Во время обучения нейросети для предсказания толщины ломтика инженеры научили ее переводить исходные данные в виде снимка в векторное представление. Авторы работы отмечают, что это позволило получить обученную часть нейросети, способную связывать снимки овощей с их свойствами. После обучения промежуточного алгоритма разработчики приступили к обучению основного. Его задача заключается в том, чтобы составить траекторию движения манипулятора с ножом. Для этого инженеры воспользовались методом имитационного обучения, при котором авторы руками управляли движением манипулятора во время отрезания ломтиков, а алгоритм впоследствии пытался воссоздать аналогичные движения как можно более точно.
Инженеры провели эксперименты на роботе с камерой и двумя манипуляторами. Один из них отвечает за фиксацию овоща на доске, а второй держит нож и отрезает ломтики. Во время нарезания манипулятор двигает нож к овощу и останавливается во время контакта. После этого он поднимает нож, передвигает на рассчитанное заранее расстояние, обеспечивающее нужную толщину ломтика, и приступает к отрезу, во время которого он имитирует движения людей во время аналогичного действия.
