Американские инженеры создали инвалидное кресло с роботом, способным распознавать еду на тарелке, захватывать ее нужным образом и подносить ко рту человека. Авторы разработки считают, что в будущем система может пригодиться людям с нарушениями подвижности верхних конечностей. Разработка была представлена на конференции NeurIPS 2018, а ее описание доступно на сайте Вашингтонского университета.
Достаточно большое количество инженеров, работающих в области робототехники, разрабатывают устройства, предназначенные для людей с ограниченными возможностями. Многие из них создают экзоскелеты, компенсирующие потерю конечностей, а часть работает над созданием роботов, помогающих людям в бытовых ситуациях. К примеру, в прошлом году Toyota испытала робота, который умеет по команде приносить и протягивать бутылку с водой, а также нажимать кнопку, открывающую входную дверь в дом.
Сиддхартха Сриниваса (Siddhartha Srinivasa) и его коллеги из Вашингтонского университета создали робота, способного выполнять более сложную задачу — кормить человека фруктами и овощами. Доклад, представленный на конференции NeurIPS, пока не опубликован в открытом доступе, однако некоторые выводы об устройстве системы можно сделать по видеоролику и предыдущей статье авторов. Инженеры использовали двухсекционный робоманипулятор Kinova JACO с закрепленными на его конце захватом и камерой глубины. Он установлен на правой части инвалидного кресла, а на задней части располагается блок управления с аккумулятором, вычислительными модулями и датчиками. Во время работы роборука сначала захватывает вилку, которая обычно закреплена на левой части кресла, затем накалывает на нее фрукты или овощи, и подносит их ко рту человека.
Самыми сложными в разработке были два этапа работы манипулятора — надежный захват еды и удобное расположение вилки перед человеком. Перед захватом робоманипулятор направляет камеру на тарелку и распознает объекты на ней благодаря алгоритму, обученному распознаванию и классификации овощей и фруктов. После этого он выбирает нужную еду и подносит вилку. Разработчики оснастили манипулятор двумя датчиками смещения, которые сжимают вилку. Благодаря этому робот может с достаточно высокой точностью определять силу, с которой он вставляет вилку в еду. Кроме того, для надежного накалывания еды разработчики научили манипулятор по-разному обращаться с разными типами пищи. К примеру, поскольку кусок банана может легко соскользнуть с вилки, робот накалывает его под углом, а не вертикально.
После того, как робот захватил кусочек пищи, он начинает второй этап и подносит еду ко рту человека. Для этого используется алгоритм распознавания лица, который размечает на нем ключевые точки, в том числе и элементы рта. Благодаря тому, что робот отслеживает положение лица, он может подстраивать свое положение под движения человека. Также алгоритм управления был обучен подносить еду максимально удобным образом, с помощью тестов на реальных людях. Например, продолговатые овощи он подносит концом ко рту и под углом, а не вертикально. Инженеры опубликовали ролик, на котором можно видеть, как работали разные версии алгоритма и с какими проблемами пришлось столкнуться при разработке:
