Люди, страдающие синдромом Аспергера и некоторыми другими расстройствами, испытывают проблемы с невербальной коммуникацией. Для таких людей порой очень тяжело различить изменение тона разговора или понять настроение собеседника. Кроме того, проблемы с восприятием настроения собеседника бывают и у абсолютно здоровых людей. Благодаря программе, разработанной в CSAIL, подобные проблемы можно будет решить с помощью умных часов.
В качестве платформы исследователи из MIT использовали часы Samsung Simband, снабженные большим количеством датчиков. Умные часы позволяют собирать данные о движении, пульсе, артериальном давлении, токе крови и температуре тела пользователя. Также гаджет записывает и распознает устную речь собеседников, анализируя тон, высоту звука, энергичность и используемые слова.
За анализ речи и биометрических данных отвечают два алгоритма, которые были обучены на примере 31 записанной беседы продолжительностью несколько минут каждая. Один алгоритм определяет общий тон беседы как «веселый» или «грустный», а второй анализирует данные более подробно, определяя для каждый пятисекундный блок как «веселый», «нейтральный» или грустный — других подробностей о работе программного обеспечения не сообщается.
На данный момент система показывает точность распознавания настроения пятисекундных интервалов в 83 процента, однако в будущем исследователи планируют натренировать систему, используя больший объем данных. Также авторы планируют в качестве новой аппаратной платформы использовать Apple Watch, чтобы наглядно показать возможность применения подобной системы в реальном мире.