Google Arts & Culture спільно з культурним комплексом Центр Помпіду, що в Парижі, вирішили вшанувати художника Василя Кандинського, який вважається першим абстракціоністом. Відтак, кожен, хто бажає, має можливість відвідати віртуальну виставку, яка представляє як роботи митця, так і пов’язані з його життям історичні документи. В центрі цієї виставки – експеримент Google з машинного навчання, який намагається відтворити притаманну цьому художнику синестезію.
Синестезія є явищем, коли інформація, що стимулює лише одне з чуттів, перетворюється на дещо мультисенсорне. Для деяких людей (серед яких Василь Кандинський, Біллі Айліш та Фаррелл Вільямс) ця властивість створює глибокі асоціації між кольорами, звуками і настроями.
«Коли Кандинський малював, ці два чуття систематично працювали разом: слух та зір. Кольори та форми перетворювалися на гармонійні звуки, а вібрації породжували лінії та візерунки», – пояснив Серж Лавінь, президент Центру Помпіду. Наприклад, червоний колір художник чув як скрипку, а жовтий звучав для нього як труба.
Відтворити мультисенсорність
В експерименті «Зіграти Кандинського» Google та культурний центр задіяли музикантів-експериментаторів Антуана Бертіна та NSDOS (справжнє ім’я – Кіріку Дес). Сучасні митці спробували передати, що, ймовірно, чув Кандинський, коли писав свої картини. Музиканти проаналізували записи художника, в яких він розповідав про відчуті ним ефекти синестезії, і спробували відтворити звуки, що лунали для художника, коли він працював над картиною «Жовте-червоне-синє».
Команда натренувала нейромережу Google Transformer, використовуючи музику часів Кандинського. А потім система створила нові музичні композиції, щоб з’ясувати, як ця картина могла б «звучати» у наш час.
Глядачі (і слухачі) можуть клацнути на різні частини картини, щоб почути звуки, які креативна команда (і, можливо, сам Кандинський) асоціювали з формами та кольорами. Google також пропонує відвідувачам цієї віртуальної виставки спробувати самим створити власний мікс, який передавав би синестезію, і поділитися ним з іншими.
Тим із нас, для кого синестезія не властива, мабуть, ніколи не вдасться повністю зрозуміти, що таке мультисенсорні переживання. І навіть ті, хто наділені цією здатністю, ймовірно, почують зовсім інші звуки, дивлячись на ті самі кольори. Але експеримент є доволі цікавим, адже він дозволяє хоч трохи уявити, як це, коли різні чуття активуються одним стимулом.
