директором Центра Электроакустической Музыки "Термен Центр", Москва
А: Виртуальная реальность, киберпространство, интерактивность... Любимые термины новой артистической тусовки. Мне все чаще кажется, что представление большинства ее членов о ВР сводится к компьютерной игре "Doom", а под интерактивностью понимается просто отражение в зеркале или возможность переключения телепрограмм с помощью дистанционного пульта. Как бы то ни было, эти слова приходится слышать чаще от представителей визуальных искусств, чем от музыкантов. Интересно, что думают об этом композиторы?
С: К сожалению, у нас практически отсутствуют композиторы, компетентные в области музыкальной технологии. Это наша беда. Компьютерная музыка никогда не была у нас в почете, этому не учили, серьезные исследования практически не проводились. В то же время, тема интерактивности была одной из главных в исследованиях всех ведущих центров, таких, как IRCAM в Париже, CCRMA в Стэнфорде, STEIM в Амстердаме. Именно музыканты создали первые интерактивные программы и целые языки, позволяющие создавать сложные интерактивные системы, поведение которых изменяется в соответствие с воздействием исполнителя. Наиболее известны программа Cypher Роберта Роу, язык HMSL (the Hierarchical Music Specification Language) и, конечно, знаменитый МАХ, созданный десять лет назад в IRCAM'e . С помощью этих программ композитор сам создает интерактивные системы и способы взаимодействия с ними. На входе программы мы имеем данные, поступающие с музыкальных инструментов, датчиков, сенсоров и вообще чего угодно. Композитор создает алгоритм анализа и интерпретации этих данных в поток команд управления музыкальными инструментами.
А: Интересно, какими способами музыканты могут взаимодействовать со своими инструментами, помимо привычной клавиатуры?
С: Даже в случае с клавиатурой возможны очень неожиданные концепции взаимодействия, но весь спектр способов чрезвычайно широк. Используются всевозможные оптические датчики, световые арфы, потолки, заполненные инфракрасными детекторами, различные электромагнитные, емкостные и прочие электронные системы, перчатки типа PowerGlove, системы регистрации биопотенциалов мышц и мозга. Каждый способ требует особого обсуждения, так как его следствием является целый класс различных концепций и систем.
А: Какой из способов наиболее интересен?
С: Думаю, нам следует рассмотреть подробнее концепции биомузыки. Это очень локальная область интерактивной музыки. Композиторов и исследователей в ней можно пересчитать по пальцам. Однако, мне кажется, что концептуально эта область чрезвычайно интересна, а имеющиеся наработки актуальны для всех интерактивных искусств в целом.
А: Отлично. Что же такое биомузыка?
С: Идея биомузыки принадлежит поэту Райнеру Рильке, в эссе которого "The Primal Sound" (1919 г.) содержится идея считывания информации с мозговых извилин с помощью специального зонда, аналогичного граммофонной иголке. В 1934г. пионеры психофизиологии Е.Адриан и Б.Мэтьюс сообщили о попытке преобразования электроэнцефалограммы мозга (ЭЭГ) в звук. Адриан пытался скоррелировать субъективные ощущения при прослушивании альфа ритма своего мозга с активностью собственного взгляда.
А: Думаю, надо пояснить: альфа ритм - это устойчивые колебания с частотой около десяти герц, регистрируемые при анализе электроэнцефалограммы мозга, возникновение которых связано со зрением и зрительным воображением. Возникновение альфа-ритма может быть обусловлено, например, закрыванием глаз или "размышлением о черном".
С: Ранние опыты по использованию в музыке нервных и мускульных биоэлектрических сигналов (биопотенциалов) проводились в конце 60-х, середине 70-х в контексте экспериментов с биологическими обратными связями (Biofeedback): вы реагируете на внешний звуковой или визуальный раздражитель, прибор детектирует вашу реакцию и изменяет определенным образом внешний раздражитель, который, в результате, реагирует на вашу реакцию, вы реагируете на изменение и т.д. Был создан целый ряд интерактивных систем, использующих принцип биологической обратной связи.
А: Представляю, вас сажают в кресло, надевают на голову тесный шлем, приклеивают электроды, приковывают проводами к щитку полиграфа над головой. И не вздумайте шевелиться! Пойдут артефакты, помехи то есть, эксперимент будет испорчен. Сидите, воспринимайте, реагируйте, но про себя. До музыки ли тут?
С: При всем неудобстве и ненадежности такого рода систем, композиторы создали целый ряд интерактивных композиций на их основе. Но времена меняются. Созданы компактные и надежные биоусилители, миниатюрные телеметрические системы позволяют обойтись без громоздких полиграфов, снизить вероятность помех, дать испытуемому (простите, исполнителю) свободу движения.
А: Обнадеживает. Хотелось бы примеров.
С: В конце 80-х конструкторы Бенджамин Кнапп и Хью Люстид, проводившие исследования в Университете Сан-Хосе и центре CCRMA в Стэнфордском Университете в Калифорнии, создали специализированный биоконтроллер Биомуз (Biomus), состоящий из биоэлектрического интерфейса и сигнального процессора на базе микросхемы TMS-320-25. Биоэлектрический интерфейс состоит из 4-х эластичных поясов. На каждом из трех поясов установлено по 3 электрода, используемых для регистрации миограмм - биопотенциалов, связанных с работой мышц тела. Пояса одевают на бицепсы, предплечия, бедра, голени и т.п. Четвертый пояс одевают на голову. Он содержит 4 электрода, два из которых регистрируют электроокулограмму (биопотенциал, связанный с движением глаз), а два оставшихся электрода регистрируют электроэнцефалограмму мозга (ЭЭГ) в лобных отведениях. Биопотенциалы усиливают в 500000 раз, преобразуют в цифровую форму и обрабатывают с помощью цифрового сигнального процессора (DSP), DSP регулирует усиление, анализирует все входные сигналы в реальном времени, обменивается информацией с внешним компьютером через последовательный интерфейс, формирует звуковой сигнал с помощью цифро-аналогового преобразователя (ЦАП) и работает с MIDI интерфейсом (MIDI - стандартный интерфейс всех электронных музыкальных инструментов). После обработки и фильтрации входные сигналы преобразуют в MIDI коды соответствующие семи независимым MIDI контроллерам, пересылают во внешний компьютер для последующей интерпретации, например, с помощью программы МАХ и, наконец, используют для управления синтезаторами звука.
А: Значит еще чуть-чуть, и я могу буквально сделать шаг в Виртуальную Реальность: все мои движения могут быть отслежены, проанализированы и переданы моему виртуальному двойнику! Жаль, телеметрии не хватает - проводов много.
С: На семинаре по новой музыке в Нью-Йорке в 1990г. был продемонстрирован четырехканальный Биомуз, запрограммированный для игры на "воздушной скрипке". Суть интерактивной композиции состояла в имитации исполнителем игры на воображаемой скрипке, приводящей, тем не менее, к вполне адекватному звуковому результату, благодаря анализу биопотенциалов мышц исполнителя.
А: Виртуальная скрипка, значит...
С: Четыре входных канала Биомуза подключали к исполнителю, регистрируя миограммы бицепсов обеих рук, окулограмму глаз и электроэнцефалограмму мозга. Первый канал Биомуза регистрировал миограмму правого бицепса, измеряя амплитуду медленно изменяющихся мышечных напряжений, возникающих при имитации игры смычком на скрипке. После преобразования в MIDI , формировались команды включения нот (Note On) и управления громкостью (Volume) синтезатора. Второй канал регистрировал миограмму левого бицепса, измеряя амплитуду мышечных напряжений, возникающих при имитации работы левой руки скрипача во время исполнения. После преобразования в MIDI, формировались команды выбора ноты (Note Nomber) при звукоизвлечении и вибрато на тянущемся звуке. Третий канал регистрировал электроокулограмму (движение глаз), управляя стерео-панорамой.
А: Ведь так можно и ракеты наводить...
С: Четвертый канал регистрировал электроэнцефалограмму мозга, в результате спектрального анализа которой выделяли колебания, соответствующие альфа-ритму мозга (8-13 гц.), связанного со зрением и зрительным воображением. Появление альфа ритма включало MIDI команду смены номера звука (Program Change) и изменяло скрипичный тембр на звук колокольчиков.
А: Отличная мысль! Чуть расслабился, закрыл глаза - звонит будильник. Можно ли купить такой прибор?
С: Первый коммерческий музыкальный биоконтроллер "Wave Rider" был выпущен американской фирмой "Wave Access" зимой 1994 г. По архитектуре он напоминает Биомуз и комплектуется программами, работающими под Windows, правда довольно примитивными. Но, думаю, все впереди.
А: С мышцами все ясно, но как насчет мозговых извилин?
С: Пик исследований биологических обратных связей с использованием биопотенциалов мозга пришелся на середину 70-х. Пожалуй, наиболее интересные исследования проводил в этот период американский композитор и исследователь Дэвид Розенбум (David Rosenboom), начинавший с опытов по изучению связи альфа-волн мозга с музыкальным восприятием и различными состояниями сознания в процессе исполнения музыки. В 1972 г. им была создана Лаборатория Экспериментальной Эстетики в университете Йорк в Торонто (Канада) (Laboratory of Experimental Aesthetics at York University , Toronto), в которой проводились исследования состояний нервной системы в зависимости от эстетического опыта и состояний сознания в процессе артистической деятельности. Одновременно Манфред Итон (Manfred Eaton) проводил исследования ЭЭГ, дыхания, кожно-гальванической реакции (КГР), кровяного давления, электрокардиограммы (ЭКГ) в экспериментальном центре в Канзас Сити (ORCUS Research Center in Kansas City) в 1960-1970, изучая эстетические отклики на стимулы и предполагая возможность генерирования сложных паттернов стимулов в контексте музыки, телевидения и кинетических искусств.
А: Мне кажется, что регистрируемые нами биопотенциалы мозга похожи на волны на поверхности океана. Мы можем судить по ним о погоде, но определить поведение рыб под водой по характеру волн представляется крайне затруднительным, хотя, теоретически, и это возможно. Несет ли в действительности ЭЭГ информацию о сложных процессах, происходящих в мозгу во время артистической деятельности?
С: Ранние эксперименты использовали простое отслеживание параметров, но скоро стало ясно, что, своего рода "алхимия", основанная на более сложной статистическая обработке биопотенциалов, в особенности ЭЭГ, дает более значимые результаты. В 1972 г. Дэвид Розенбум создал композицию "Portable Gold and Philosophers' Stones" ("Портативное золото и философские камни") для четырех исполнителей и техника, проводящего статистическую обработку ЭЭГ исполнителей в реальном времени, выделяя с помощью функции автокорреляции моменты когерентности ЭЭГ каждого исполнителя в разных частотных полосах, а также кросс-корреляции между парами исполнителей. Время когерентности ЭЭГ исполнителя определяло диапазон прямого управления музыкальной фактурой. С ростом корреляции влияние исполнителя на звук усиливалось, определяя спектральный состав музыки. Температура тела и КГР также управляли тональностью музыкальной фактуры.
А: То есть, говоря модными словами, эти четыре парня и техник создают свое киберпространство, находя в групповой медитации способы коррелировать свои биопотенциалы. Буквально по Уильяму Джибсону: "Киберпространство - это консенсуальная галлюцинация, созданная этими людьми. Это как, если бы с помощью этой техники, вы могли согласиться поделить одни и те же галлюцинации. Фактически, они создают мир. Это — не реальное пространство. Это — пространство представлений".
С: Своего рода кульминацией многолетних исследований Розенбума стала композиция "On Being Invisible" (1976-77), основанная на анализе вызванных потенциалов мозга. Вызванные потенциалы (ВП), в отличие от альфа, бета, тета и дельта волн - непериодические переходные процессы, связанные с определенным стимулирующим событием. Для их выделения требуются сложные статистические преобразования. ВП содержат ряд пиков, размер и маскировка которых указывают на очевидное существование процессов в мозге, связанных с иерархической обработкой информации, включая различные эффекты, связанные со временем реакции, отличиями в реакциях внимания, степенях узнавания или удивления, со стимулом и эффектами, ведущими к формированию ментального образа и энграммы памяти о событии. Часть пиков имеет экзогенную природу, меняющуюся с физическими аспектами стимула, часть эндогенную, меняющуюся с психологическими или когнитивными (познавательными) процессами. Основная парадигма "On Being Invisible" - звуковая среда, зависимая от внимания. Суть структуры композиции - модель пути обретения языка. Музыкальная форма не является фиксированной, но создается в процессе развития самоорганизующейся динамической системы, в которой текущие параметры ЭЭГ и ВП являются индикаторами изменений вектора внимания солирующего исполнителя. Они анализируются компьютером и используются для прямого стохастического развития адаптивной интерактивной системы. Нет партитуры - есть со-эволюция исполнителя и системы, стохастическая форма развивающегося языка. "On Being Invisible" - это попытка создать ситуацию, в которой синтаксис звукового языка зависел бы от способа восприятия звука. Прямой результат - изменение состояния концентрации внимания, отображаясь в ЭЭГ, сразу же вызывает физические последствия, влияя на способ самоорганизации звукового потока во времени, проходя некоторые характерные иерархические уровни. Как модель биологической обратной связи это можно назвать "кибернетикой языка и познания". Цель этой модели, как самоорганизующегося процесса, представляется средним статистическим поведения системы, в то время как вариации реального поведения около среднего определяют уровень достижения цели.
А: Другими словами: сижу, слушаю. Слышу шум. Меняется. Никакой логики. Сижу, слушаю. Шум. Шум?! Осенило. Уловил связь, паттерн среди шума. Мгновенная концентрация внимания (темпоральный гештальт по Розенбуму). Возникает вызванный потенциал. Компьютер фиксирует звуковой паттерн - причину реакции. Банк данных для статистической обработки пополнился. Каждый из зафиксированных паттернов - очередной шаг к достижению цели - самой желанной звуковой фактуры. Хотя таких целей может оказаться много. Это ландшафт. Каждый пик - цель. Это — мое киберпространство. Но чем дальше, тем очевиднее: меня осенило, а компьютер уже знает по какому поводу. Карта киберпространства уже создана.
С: В композиции использован стохастический механизм генерации структуры. Выбранная модель музыкального восприятия была поставлена в зависимость от вероятности изменения внимания и позволяла предсказывать степень возбуждения изменений различных акустических параметров при синтезе. Величины, генерируемые в соответствии с Гауссовым распределением, подавались на управление соответствующими параметрами пяти голосов синтезатора звука. Вариации этих параметров уплотнялись или рассеивались в соответствии с механизмом управления структурой. Средние значения параметров изменялись по случайному закону несколько медленнее, чем генерируемые величины, формируя второй уровень управления. Точная форма Гауссиан ассоциировалась со степенью неуверенности, введенной в представление о желаемой цели. Сами же цели являлись, соответственно, наиболее желанными музыкальными фактурами, предсказанными в процессе стохастического анализа.
А: Неужели все это работало?
С: "On Being Invisible" неоднократно исполнялась группой хорошо тренированных исполнителей до 1980 г. Впоследствии Розенбум начал работу над новой версией композиции "On Being Invisible II", незаконченной до сих пор. Композиция задумана как музыкальный театр, использующий биотелеметрическое представление взаимодействия исполнителей - людей и животных - с аудиторией, другими исполнителями, другими пространствами. Предполагается создание своего рода синергетического театра, объединяющего участников в единый организм, онтогенез которого носит отпечаток мифа, заложенного в основу процесса и определяющего некоторые скрытые законы его развития. Все компоненты биологических обратных связей в данной композиции антропоморфны, и характер их проявлений зависит от мифологического сценария, основанного на принципах эволюции и социальной организации.
А: Здесь уместно вспомнить об исследованиях в области Искусственной Жизни (Artificial Life), предметом которых является изучение искусственных систем, проявляющих поведенческие характеристики, свойственные живым системам.
С: Безусловно. Все это - различные пути к Виртуальной Реальности. Это неотъемлемые компоненты будущего организма. Вспомним классиков: Виртуальная Реальность - это телефон будущего. Она создается людьми. Все, что здесь есть - это групповое самовыражение во всех мыслимых формах. Смысл этих бесконечных изменчивых форм - это просто персоналии других людей. Фактически, мы пытаемся создать мир. Это не реальное пространство. Это пространство представлений. Изначально оно мертво. Компьютеры переводят жизнь в информацию, в последовательности чисел. Это все, на что они способны. Жизнь возникает в тот самый момент, когда в нашем сознании формируется новый гештальт, целостность, ментальный образ. Если существует обратная связь и система понимает нашу реакцию, отвечает на нее, все, что требуется от нас, — это сделать следующий шаг, переступить порог и войти в дверь, за которой скрыт Виртуальный Мир.
Журнал "Виртуальные Миры" ( Virtual Worlds ) , №1(2), апрель, 1995, стр. 44-49
