Візуалізація звуку: Подорож у світ хеві-металу

Коротка історія хеві-металу

Ведучий заходу, Олександр Балицький, Lead Software Engineer в EPAM, детально поділився власним досвідом взаємодії з українською та світовою хеві-метал музикою та влаштував глибокий екскурс в історію цього музичного жанру. Якщо вас цікавить ця тема, раджу подивитися фільм «Metal: A Headbanger's Journey (2005)» та прочитати книгу Іана Крісті «Sound of the Beast: The Complete Headbanging History of Heavy Metal».

Хеві-метал зародився наприкінці 1960-х - початку 1970-х років, переважно у Великій Британії та США. На звучання хеві-металу вплинули індустріальні, робітничі райони Британії, особливо в Мідлендсі та на півночі Англії, де були поширені сталеливарні заводи (The History of Metal Music). Піонери хеві-металу, зокрема Black Sabbath, Led Zeppelin та Deep Purple, надихалися звуками цих заводів, а також потужними гітарними рифами британських блюз-рок гуртів початку 60-х років.

З роками хеві-метал розгалузився на численні піджанри, кожен зі своїми особливими рисами. Ось деякі з найвідоміших піджанрів:

• Дез-метал
• Дум-метал
• Глем-метал
• Готик-метал
• Грув-метал
• Павер-метал
• Прогресивний метал
• Симфонічний метал
• Треш-метал та інші

“History of Heavy Metal” by arCool (Deviantart)

Творчий виклик

У той час я брала участь у програмі «Visual Mentoring» з чудовою наставницею, Іриною Шкаровською, Associate Director, Experience Design в EPAM, що і підштовхнуло мене до ідеї мого наступного творчого випробування.

Завданням було знати відповідь на питання: як можна візуалізувати пісні з різних метал-піджанрів, щоб показати їхні унікальні характеристики? Додатковою вимогою було проілюструвати пісні за допомогою техніки візуалізації даних.

Тож я почала своє творче випробування із швидкого дослідження того, як саме візуалізували музику протягом минулих років.

Способи візуалізації

Безумовно, найочевидніший і найточніший спосіб запису музики — це нотна грамота. Але чи існують альтернативи, можливо, не такі точні, але ефективні в інтерпретації музики?

В ході свого дослідження я дізналась про безліч творчих та навіть наукових підходів до візуалізації музики. Деякі з цих прикладів ви можете знайти в розділі «Додаткові матеріали».

Про певні творчі експерименти з інтерпретації музики варто розказати детальніше, тож саме з них ми й почнемо подорож дивовижним світом креативних ідей.

Колір і музика

Одна з найпопулярніших концепцій для дослідження митцями та науковцями — це зв'язок між музикою та кольором. Існує багато свідчень про модерністських та сучасних митців, які шукали в музиці натхнення для нових форм творчого вираження.

Понад два століття тому сер Ісаак Ньютон розмірковував над природою світла та його зв'язком зі звуком. Ньютон пов'язав кожен із семи кольорів, які він бачив у призматичному світлі, з сімома нотами гармонійної шкали.

Ідея співвідношення нот музичної гами (До, Ре, Мі, Фа, Соль, Ля, Сі) з різними кольорами виникала багато разів протягом наступних двох століть. Однак у цих шкалах є деякі проблеми. Одна з головних полягає в тому, що вони не враховують, наскільки по-різному ми сприймаємо візуальну та аудіо інформацію. Візерунок, який звучить гармонійно, не обов'язково виглядає гармонійно.

Rob Nichols, “A Brief History of Visual Music”

Згодом спроби поєднати музику та колір переросли в мистецький рух синестезії, який включав різноманітні експерименти митців, що досліджували взаємодію відчуттів, таких як зір і слух. До речі, цей мистецький рух був не лише про творче самовираження митців. Насправді це медичний феномен, який було зафіксовано ще у 1812 році.

Музика як танцювальний перфоманс

Танцювальне перфоманс — це ще один давній спосіб інтерпретації музики. Протягом історії різні культури по всьому світу використовували танець як форму художнього вираження музики, передаючи емоції, історії та культурні традиції через рух.

Нещодавно я знайшла чудовий приклад хореографічного перфомансу, який дав мені розуміння того, як танець служить одночасно інтерпретацією та візуалізацією музики через суб'єктивне сприйняття митця.

Цим прикладом є відеокліп Daft Punk «Around the World». Це унікальний експеримент з візуалізації музики, який творчо перекладає інструментальні доріжки пісні у візуальні образи. Режисер Мішель Гондрі представив у відео п'ять груп персонажів, що символізують різні інструменти в пісні:

• роботи для вокалу
• атлети для бас-гітари
• дівчата в стилі диско для високотональної клавіатури
• скелети для гітарної партії
• мумії для драм-машини

Комп'ютерна графіка

З появою осцилографа та постійним розвитком цифрових технологій, візуалізація звуку зазнала значних змін. Сьогодні найпоширенішим підходом до представлення аудіоданих є використання хвильових форм та спектрограм.

Хвильова форма представляє звук як графік амплітуди (гучності) відносно часу, показуючи зміну інтенсивності звуку з плином часу. По суті, це графік, який демонструє, як звукова хвиля змінюється з часом.

 Хвильова форма пісні у стилі хеві-метал

Спектрограма зазвичай зображується у вигляді теплової карти. Це тривимірне візуальне представлення звуку. Вона показує час горизонтально, частоту вертикально, а інтенсивність — кольором.

Спектрограма запису скрипки

Візуальне оповідання

Далі я зосередилася на розробці відповідного рішення для візуалізації даних. Складність цієї задачі полягала в тому, що візуалізація даних значною мірою спирається на аналіз великих обсягів інформації для представлення тенденцій, та закономірностей у даних у доступній формі. Однак поточне завдання візуального менторства полягало в ілюструванні лише трьох пісень. Тому я вирішила порівняти пісні різних метал-гуртів і, розкриваючи їхні музичні патерни, показати унікальність стилю кожного гурту.

Метал-гурти, які я обрала для роботи:

1. Deep Purple — британський рок/хеві-метал гурт, заснований у Лондоні в 1967 році
2. System of a Down — вірмено-американський хеві-метал гурт, заснований у 1994 році
3. Nightwish — фінський симфо-метал гурт, заснований у 1996 році

Покроковий процес аналізу даних пісень

Необхідно було розробити власний алгоритм дій для опрацювання даних, який дозволив би мені ефективно проілюструвати пісню та пізніше порівняти візуалізації пісень. Після деякого мозкового штурму я визначила наступні змінні, що буду використовувати для візуалізації:

• Часова шкала пісні
• Структура пісні
• Види інструментів та вокальних доріжок
• Рівень інтенсивності звуку для кожного інструмента
• Інтенсивність звуку інструментів відносно до структури пісні
• Система координат

Одне з найпоширеніших застосувань візуалізації даних — це спостереження за зміною значення змінної з часом. У моєму випадку одна вісь була очевидною: часова шкала пісні. Щодо другої осі, я вирішила представити інструменти та вокальні доріжки. Крім того, часова шкала пісні була розділена на сегменти, щоб відобразити структуру пісні, як-от вступ, куплет 1, приспів, куплет 2 ... фінал. 

Відображення даних

Процес відображення даних був максимально природним. Це означає, що я покладалася на власне сприйняття музики (завдяки навичкам, отриманим у музичній школі) для відображення кожної з інструментальних доріжок та їхньої інтенсивності звуку. Щоб полегшити цей процес, я створила хвильову форму та спектрограму кожної пісні, що дозволило мені дізнатись реальні рівні інтенсивності звуку та його частоти.

Візуалізація змінних

Для візуалізації даних можна використовувати ілюстративні елементи, такі як положення елемента в композиції, розмір та форма елементу, рівень прозорості, колір, текстура, орієнтація, товщина ліній та множення елементів. Або навіть поєднувати деякі з них!

Для цієї роботи я експериментувала з простими формами, такими як прозорість та накладання шарів об’єктів. У результаті цього експерименту я відобразила дані у форматах теплових карт, стовпчикових діаграм та діаграм з областями. 

Альтернативні варіанти

Працюючи над власними концепціями, я постійно шукала референси та нові ідеї. Саме тоді я натрапила на вебсайт Hooktheory, який має на меті допомогти музикантам створювати музичні композиції та отримати практичне розуміння того, як працює музика. На цьому сайті я виявила ще один цікавий спосіб візуалізації, що базувався на системі даних та метрик.

Визначена метрична система Hooktheory включає показники складності акордів, складності мелодії, напруженості акордів і мелодії, новизни акордових прогресій та оцінки басової мелодії акордів.

Для візуалізації даних оцінок ідеальним рішенням може бути пелюсткова діаграма (також відома як полярна діаграма, зіркова діаграма, вебдіаграма або павутинна діаграма). На зображенні нижче ви можете побачити які оцінки отримала кожна з обраних мною пісень.

Дані на діаграмах показують, що значно складнішою за типову пісню, порівняно з обраними композиціями, є «Chop Suey» гурту System of a Down. Вона має вищі за середні показники за всіма 5 метриками. Щодо акордів і мелодії, «Wish I Had An Angel» гурту Nightwish є простішою за типову пісню, маючи нижчі за середні показники у 4 з 5 метрик. «Smoke on the Water» гурту Deep Purple має вищу складність, ніж середня пісня, з погляду показників мелодичної складності та напруженості акордів і мелодії.

Показники на діаграмі не корелюють з якістю пісень і не вказують на те, чи пісня хороша, чи погана. З мого погляду, вони скоріше вказують на те, наскільки стандартно чи унікально звучатиме кожна пісня в середньому порівняно з іншими.

Результат творчого експерименту

Фінальні візуалізації набули форми постерів, створених шляхом поєднання патернів візуалізації даних, включаючи стовпчикові діаграми та теплові карти. Кольорова схема для кожної пісні була обрана на основі характерних візуальних особливостей музичних гуртів:

• постер для пісні Deep Purple виконаний у фіолетово-пурпуровій палітрі, щоб підкреслити назву гурту;
• постер для System of a Down виконаний у яскравих червоно-помаранчевих тонах, щоб відобразити інтенсивність музики гурту;
• палітра для постера Nightwish була натхненна походженням гурту з Фінляндії, а також передавала загальний настрій готичного металу.

1. Deep Purple, «Smoke on the Water»

Жанри гурту: психоделічний рок (ранні роки), хеві-метал, хард-рок, прогресивний рок

Рік випуску пісні: 1973 

Гармонія і тональність: блюзова гама, соль мінор Інструменти: електрогітара, орган, ударна установка, бас-гітара

Про пісню: текст пісні базується на реальних подіях, описуючи пожежу 1971 року в казино Монтре в Монтре, Швейцарія.

Вважається візитівкою гурту, а гітарний риф є одним з найвідоміших в історії рок-музики. Центральна тема пісні, розроблена гітаристом Річі Блекмором, це чотиринотна мелодія блюзової гами в соль мінорі, гармонізована паралельними квартами.

Текст «Smoke on the Water» розповідає справжню історію про досвід Deep Purple у Монтре, Швейцарія, де під час концерту Френка Заппи спалахнула пожежа, яка знищила комплекс казино. Назва пісні стосується диму, що підіймався від пожежі в казино.

2. System of a Down, «Chop Suey!» 

Жанри гурту: хеві-метал, треш-метал, альтернативний метал, нью-метал, прогресивний метал тощо 

Рік випуску пісні: 2001 

Гармонія і тональність: соль мінор та соль фригійський 

Інструменти: електрогітара, ударні, бас-гітара

Про пісню: пісня відзначається унікальним поєднанням стилів, включаючи оперний вокал, панк-вокал, скримінг, метал-гітари, фанк-гітари, поп-структури та рок-ударні.

Пісня досягла мільярда переглядів на YouTube і вважається однією з візитівок гурту.

3. Nightwish, «Wish I had an Angel» 

Жанри гурту: Симфонічний метал, павер-метал, фолк-метал, готичний метал 

Рік випуску пісні: 2004 

Гармонія і тональність: мі мінор 

Інструменти: електрогітара, синтезатор, ударні, бас-гітара

Про пісню: композиція демонструє фірмове поєднання важких гітар, високого вокалу та оркестрових аранжувань, характерне для гурту. Вона вважається класикою жанру симфонічного металу і неодноразово виконувалася наживо.

Текст пісні торкається тем кохання, втрати та пошуку сенсу життя. Крім того, вона увійшла до саундтреків двох американських фільмів. Пісня досягла 60-го місця в UK Singles Chart, що є найвищим показником серед усіх синглів гурту у Великобританії.

Додаткові матеріали:

Відео:

1. «An Optical Poem» — візуальний експеримент, створений Оскаром Фішингером у 1938 році
2. «Visualizing Music» — дискусійна панель, Університет штату Огайо, Коледж мистецтв і наук

Статті та наукові роботи:

1. «Візуалізація музики за допомогою світлового живопису» — стаття
2. «Чути колір, бачити звук: Зв'язок між звуком і візуальним, музикою та мистецтвом» — стаття
3. «Музика як мультидисциплінарне мистецтво: Обмін музичними та візуальними елементами та роль учасників» — наукова робота
4. «Field of Sound» — кінетична інсталяція, що перетворює звукові хвилі на рух

Авторка: Аліна Степанова

Першоджерело