• Про проєкт
  • Контакти
  • Логін
CreativityUA - Official CIAU Media
  • Ідеї
  • Інсайти
  • Ремесло
  • Бізнес
  • Люди
  • М’язи
  • Тренди
  • Натхнення
  • Більше
    • Всі новини
    • Відео
    • Спецпроєкти
      • LIONS Live
      • Креативний дайджест
      • Cannes Lions 365
      • Філософський Сад
      • Комунікації для культурних менеджерів
      • Знакові проєкти України
Немає результатів
Переглянути всі результати
Creativity Ukraine
  • Ідеї
  • Інсайти
  • Ремесло
  • Бізнес
  • Люди
  • М’язи
  • Тренди
  • Натхнення
  • Більше
    • Всі новини
    • Відео
    • Спецпроєкти
      • LIONS Live
      • Креативний дайджест
      • Cannes Lions 365
      • Філософський Сад
      • Комунікації для культурних менеджерів
      • Знакові проєкти України
Немає результатів
Переглянути всі результати
Creativity Ukraine
Головна Бізнес та Інновації

Нейросеть научили реалистично озвучивать панорамные снимки

1 Березня, 2019
Час прочитання: 1 хв.
A A
Нейросеть научили реалистично озвучивать панорамные снимки
Share on FacebookShare on Twitter

Американские разработчики создали алгоритм, способный самостоятельно добавлять на панорамные снимки звуки от объектов, таких как автомобили и люди. При анализе снимка алгоритм учитывает расположение объектов на нем и располагает источники звука соответствующим образом, благодаря чему пользователь может понять откуда исходит тот или иной звук, рассказывают авторы статьи, которая будет представлена на конференции CHI 2019.

Поскольку шлемы виртуальной реальности получают все большее распространение, разработчики программного обеспечения уделяют больше внимания программному обеспечению для них, в том числе программам для просмотра панорамных снимков. Для достижения большего эффекта погружения в мир на снимке инженеры и программисты предлагают различные разработки. К примеру, Google и Disney создали экспериментальные многокамерные установки, позволяющие создать панорамный снимок с имитацией эффекта объемного восприятия. Кроме того, компании представляют шлемы виртуальной реальности со все более качественными экранами и другими визуальными технологиями, к примеру, поддержкойфовеального рендеринга. Однако все эти разработки нацелены на улучшение визуального восприятия, тогда как в области звука в VR-устройствах подобных работ намного меньше.

Лап Фай Юй (Lap-Fai Yu) из Университета Джорджа Мейсона и его коллеги создали алгоритм, позволяющий добавлять на панорамные снимки реалистичные звуки, расположение и тип которых соответствует объектам на снимке. Единственные данные о реальном мире, изображенном на снимке, которые получает алгоритм — это сам панорамный 360-градусный снимок. Звуки, которые алгоритм накладывает на панораму, не записываются во время ее съемки, а берутся из базы данных, составленной авторами. Она состоит из 512 аудиозаписей, разбитых на два типа — фоновые звуки, такие как звуки моря или улицы, а также звуки от конкретных объектов, к примеру, разговоры людей, шум автомобилей или звуки от животных. Всего в обоих типах собраны звуки от объектов примерно 50 типов, каждому из которых присвоена соответствующая метка.

Во время анализа снимка алгоритм сначала определяет тип окружения, к примеру, улица, пляж или лес, и присваивает соответствующую метку для наложения фоновых звуков. Для этого он нарезает панораму на десять частей, определяет тип окружения для каждой из них, а затем присваивает всему снимку наиболее часто встретившийся во время классификации тип. Затем сверточная нейросеть, обученная на известном датасете различных объектов COCO, приступает к более тщательному анализу и определяет на снимках отдельные объекты и присваивает им метки, соответствующие их типу. После этого алгоритм определяет не только пространственное расположение этих объектов, но и рассчитывает их расстояние от центра панорамы. Для этого пользователю необходимо один раз ввести расстояние до одного из объектов, после чего алгоритм будет использовать его в качестве калибровочных данных. Благодаря этому звуки от объектов, расположенных далеко от центра, будут тише.

После того, как нейросеть разметила все объекты и рассчитала их расположение, пользователь может запустить программу для просмотра панорам. В ней можно видеть саму панораму, а также слышать звуки всей сцены и звуки конкретных объектов, взятые из базы данных. При использовании шлема виртуальной реальности человек воспринимает эти звуки объемными благодаря тому, что при движении головы расположение их источника меняется относительно человека, как и в реальном мире.

Источник

Теги: новинитехнології

СХОЖІ ПУБЛІКАЦІЇ

Digital-набір піарника: від робочих додатків до джерел натхнення
Аналітика

Digital-набір піарника: від робочих додатків до джерел натхнення

30 Червня, 2025

Ефективність у PR залежить не лише від досвіду, а й від правильно підібраних інструментів. Які додатки економлять час на рутинних завданнях, а де знайти натхнення для креативних ідей?  Валерія Васильченко,...

Читати даліDetails

“Зароблені” комунікації проти “оплачених”: як знайти гармонію для бренду

MasterZoo представив рекламну кампанію про сни пухнастих особистостей

РЕКОМЕНДОВАНО

Відповідальність

ВРК створює нову категорію в комунікаціях – Військова реклама (Military advertising)

20 Червня, 2025
Аналітика

18-й Рейтинг агентств маркетингових сервісів згідно доходів за 2024 рік

16 Червня, 2025

БІЛЬШЕ МАТЕРІАЛІВ

Шопінг у стилі “Гри в кальмара”: відкриття нового супермаркету TA-DA! у Києві
Ідеї

Шопінг у стилі “Гри в кальмара”: відкриття нового супермаркету TA-DA! у Києві

30 Червня, 2025
“AVANGАRDEN”: МИСТЕЦТВО, БІЗНЕС І ЖИТТЯ ПОПРИ ВИКЛИКИ ВІЙНИ
Бізнес та Інновації

“AVANGАRDEN”: МИСТЕЦТВО, БІЗНЕС І ЖИТТЯ ПОПРИ ВИКЛИКИ ВІЙНИ

3 Липня, 2025

Про медіа

CreativityUA – ми пишемо про креатив, що трансформує бізнес, змінює людину та розвиває суспільство. Надаємо можливість брендам та особистостям ділитись досвідом та цікавою інформацією. Тримаємо в курсі важливих новин креативних індустрій і надаємо майданчик для поширення свіжих думок.

Тематичні напрями

  • Творчість і дизайн
  • Бізнес та Інновації
  • Маркетинг і Комунікації
  • Культура і Життя
  • Наука і Технології
  • Розвиток і Ефективність
  • Суспільство та Держава
  • Фестивалі та можливості
  • Відповідальність

Контакти

Відділ реклами

Імейл редакції

+380 44 221 6131

Новини Каннських Левів в Україні

Cannes LIONS 365  |  LIONS Live

Подкаст Creative Digest

Soundcloud  |  Apple Podcasts |  Google Podcasts

Ми у соцмережах

© 2021 CreativityUA | Офіційне медіа Асоціації Креативних Індустрій України | CIAU

Політика конфіденційності

З поверненням!

Увійдіть з логіном Facebook
Увійдіть з логіном Google
OR

Увійти в обліковий запис

Забули пароль?

Відновіть свій пароль

Будь ласка, введіть своє ім'я користувача або адресу електронної пошти, щоб скинути пароль.

Увійти
Немає результатів
Переглянути всі результати
  • РУБРИКИ
    • Ідеї
    • Інсайти
    • Ремесло
    • Бізнес
    • Люди
    • М’язи
    • Тренди
    • Натхнення
  • ТЕМАТИКА
    • Маркетинг і Комунікації
    • Бізнес та Інновації
    • Творчість і дизайн
    • Культура і Життя
    • Розвиток і Ефективність
    • Наука і Технології
    • Суспільство та Держава
    • Фестивалі та можливості
  • СПЕЦПРОЄКТИ
    • Cannes Lions 365
    • LIONS Live
    • Креативний дайджест
    • Філософський Сад
    • Комунікації для культурних менеджерів
    • Знакові проєкти України
  • ТИП МАТЕРІАЛУ
    • Новини
    • Добірки
    • Історії
    • Точка зору
    • Інтерв’ю
    • Аналітика
    • Відео
    • Події

© 2021 CreativityUA | Офіційне медіа Асоціації Креативних Індустрій України | CIAU

Цей вебсайт використовує файли cookie. Продовжуючи користуватися цим вебсайтом, ви даєте згоду на використання файлів cookie. Відвідайте сторінку Політика конфіденційності.