Машинное обучение научило робота резать помидоры

Американские инженеры создали робота, способного резать овощи на ломтики. Особенность подхода, выбранного разработчиками, заключается в том, что изначально робот учился другой задаче, которая помогла выучить основной навык — сначала робот был обучен предсказывать толщину ломтиков, а уже после этого научился качественно резать их, рассказывают авторы статьи, опубликованнойна arXiv.org.

Манипуляция с объектами — одна из основных задач в робототехнике. Для выполнения даже простых действий с предметами робот должен обладать множеством навыков: уметь распознавать объекты, рассчитывать оптимальное место захвата или другого действия, планировать траекторию перемещения манипулятора и предсказывать свойства объектов. Последний навык крайне важен при взаимодействии с мягкими объектами, форма и другие свойства которых могут меняться прямо во время взаимодействия. Одна из модельных задач, позволяющих отработать нужные для взаимодействия с различными объектами навыки — нарезка овощей. Во время этого казалось бы простого действия робот вынужден работать с предметами, которые деформируются при взаимодействии с ножом, что, к примеру, приводит к изменению траектории нарезки и конечной формы ломтика.

Оливер Крёмер (Oliver Kroemer) и его коллеги из Университета Карнеги — Меллон выбрали необычный подход для решения этой проблемы. Сначала они обучили алгоритм выполнению промежуточной задаче — предсказанию толщины ломтика и оставшегося овоща по одной двумерной фотографии. Для этого они создали датасет, состоящий из пар изображений, сделанных до и после разрезания. Во время создания датасета инженеры создавали случайный план нарезки (несколько ломтиков заданной толщины), а затем нарезали овощ и делали его снимки. Таким образом авторы работы набрали 50 демонстраций (по несколько отрезов) для огурцов и 25 для помидоров. Кроме того, инженеры обучили нейросеть обнаруживать овощи с помощью датасета из примерно четырех тысяч огурцов и помидоров.

Во время обучения нейросети для предсказания толщины ломтика инженеры научили ее переводить исходные данные в виде снимка в векторное представление. Авторы работы отмечают, что это позволило получить обученную часть нейросети, способную связывать снимки овощей с их свойствами. После обучения промежуточного алгоритма разработчики приступили к обучению основного. Его задача заключается в том, чтобы составить траекторию движения манипулятора с ножом. Для этого инженеры воспользовались методом имитационного обучения, при котором авторы руками управляли движением манипулятора во время отрезания ломтиков, а алгоритм впоследствии пытался воссоздать аналогичные движения как можно более точно.

Инженеры провели эксперименты на роботе с камерой и двумя манипуляторами. Один из них отвечает за фиксацию овоща на доске, а второй держит нож и отрезает ломтики. Во время нарезания манипулятор двигает нож к овощу и останавливается во время контакта. После этого он поднимает нож, передвигает на рассчитанное заранее расстояние, обеспечивающее нужную толщину ломтика, и приступает к отрезу, во время которого он имитирует движения людей во время аналогичного действия.

Источник

Теги:

ТОБІ СПОДОБАЄТЬСЯ

Fortnite проти Apple: найпопулярніша гра позивається на найдорожчу компанію світу

Початок конфлікту між Fortnite та Apple ознаменував, зокрема, ролик, який кадр за кадром пародіює іконічну рекламу Apple «1984».

Компанія Optus збудувала велетенську іграшкову трасу для перегонів, щоб пояснити логотип «yes»

Все почалося з того, що новачок погодився приєднатися до монументального задуму дітей і збудувати разом з ними велетенську іграшкову трасу для перегонів.

Американські стоматологи зняли серію сатиричних відео про самолікування

Як показує ця серія сатиричних відео про самолікування від Американської асоціації ортодонтів, сам собі лікар – не те саме, що сам собі перукар.

Ахтем Сейтаблаєв зрежисерував ролик для Одеського міжнародного кінофестивалю

Цього року Одеський міжнародний кінофестиваль з відомих усім причин уперше в історії відбудеться онлайн. Та попри те, що звичний перегляд ...

День, коли мегаполіс зупинився: ООН привертає увагу до проблеми транспорту в містах

Фільм «CIDADE INERTE» розповідає про проблеми транспорту в містах, показавши той гіпотетичний день, коли весь дорожній рух у Сан-Паулу намертво зупиниться.

Додаток Doodlar вгадує намальовану тварину та відтворює її в AR

Новий додаток Doodlar дозволяє вам «оживити» намальовану на папері або на екрані смартфону тварину, надавши їй реалістичного тривимірного вигляду в AR.