Google намагається відтворити синестезію і озвучує картини Василя Кандинського

Google Arts & Culture спільно з культурним комплексом Центр Помпіду, що в Парижі, вирішили вшанувати художника Василя Кандинського, який вважається першим абстракціоністом. Відтак, кожен, хто бажає, має можливість відвідати віртуальну виставку, яка представляє як роботи митця, так і пов’язані з його життям історичні документи. В центрі цієї виставки – експеримент Google з машинного навчання, який намагається відтворити притаманну цьому художнику синестезію.

Синестезія є явищем, коли інформація, що стимулює лише одне з чуттів, перетворюється на дещо мультисенсорне. Для деяких людей (серед яких Василь Кандинський, Біллі Айліш та Фаррелл Вільямс) ця властивість створює глибокі асоціації між кольорами, звуками і настроями.

«Коли Кандинський малював, ці два чуття систематично працювали разом: слух та зір. Кольори та форми перетворювалися на гармонійні звуки, а вібрації породжували лінії та візерунки», – пояснив Серж Лавінь, президент Центру Помпіду. Наприклад, червоний колір художник чув як скрипку, а жовтий звучав для нього як труба.

Відтворити мультисенсорність

В експерименті «Зіграти Кандинського» Google та культурний центр задіяли музикантів-експериментаторів Антуана Бертіна та NSDOS (справжнє ім’я – Кіріку Дес). Сучасні митці спробували передати, що, ймовірно, чув Кандинський, коли писав свої картини. Музиканти проаналізували записи художника, в яких він розповідав про відчуті ним ефекти синестезії, і спробували відтворити звуки, що лунали для художника, коли він працював над картиною «Жовте-червоне-синє».

Команда натренувала нейромережу Google Transformer, використовуючи музику часів Кандинського. А потім система створила нові музичні композиції, щоб з’ясувати, як ця картина могла б «звучати» у наш час.

Глядачі (і слухачі) можуть клацнути на різні частини картини, щоб почути звуки, які креативна команда (і, можливо, сам Кандинський) асоціювали з формами та кольорами. Google також пропонує відвідувачам цієї віртуальної виставки спробувати самим створити власний мікс, який передавав би синестезію, і поділитися ним з іншими.

Тим із нас, для кого синестезія не властива, мабуть, ніколи не вдасться повністю зрозуміти, що таке мультисенсорні переживання. І навіть ті, хто наділені цією здатністю, ймовірно, почують зовсім інші звуки, дивлячись на ті самі кольори. Але експеримент є доволі цікавим, адже він дозволяє хоч трохи уявити, як це, коли різні чуття активуються одним стимулом.

Джерело

Теги:

ТОБІ СПОДОБАЄТЬСЯ

NASA обрало рішення українського розробника для онлайн-мапи марсохода

Американське космічне агентство NASA використовує рішення українського розробника Володимира Агафонкіна для створення онлайн-мапи свого нового марсохода Perseverance. Про це сам ...

У паризькому Центрі Помпіду з’явиться зала з роботами українських митців

У Центрі Жоржа Помпіду в Парижі з’явиться колекція робіт українських митців. Завдяки ініціативі Українського клубу колекціонерів сучасного мистецтва в постійну колекцію ...

Оголошено конкурс з розробки айдентики до 30-ї річниці незалежності України

Оголошено конкурс з розробки айдентики до 30-ї річниці незалежності України

Міністерство культури та інформаційної політики оголосило конкурс з розробки айдентики до 30-ї річниці незалежності України. Айдентика має розкрити тематику Дня незалежності України ...

Українські рекламісти додали свої плейлисти на Twenty Songs — платформу музичних вподобань рекламників світу

Українські рекламісти зробили свій внесок у платформу, на якій зібрані музичні плейлисти креативників з кращих рекламних агенцій світу. У проєкті ...

Собаче життя тоді і зараз: якби собаки могли мандрувати в минуле, вони б цього не робили

Бренд CESAR запустив кампанію, підкреслюючи, наскільки комфортним є собаче життя зараз, порівняно з тим, яким воно було у минулі століття.

Ненудний простір: якби дизайн офісів створювали діти

Агенція Jellyfish нещодавно запропонувала дітям своїх співробітників дати волю уяві і створити дизайн для офісу майбутнього.