A performance interativa em Pele

Fernando Iazzetta
Departamento de Música - ECA - Universidade de São Paulo (USP)
Av. Prof. Lúcio Martins Rodrigues, 443 - CEP 05508-900 - São Paulo - SP - Brazil
iazzetta@usp.br

Resumo. Este artigo descreve os processos empregados na elaboração de
espetáculos multimídia envolvendo dança, música e vídeo. É feita uma
reflexão a respeito das possibilidades oferecidas por diversas tecnologias
digitais para a integração de informação sonora, gestual e imagética num
mesmo ambiente computacional. Em seguida são descritos os processos de
composição da trilha sonora para um desses espetáculos, intitulado Pele.

1. Introdução

Durante a década de 1980, a idéia de interação musical ganha corpo à medida em que
sistemas capazes de controlar e gerar informação musical em tempo real vão se
tornando mais acessíveis (em termos de custo e flexibilidade de uso). Dois eventos
foram decisivos nesse processo: o estabelecimento do protocolo MIDI e a difusão dos
computadores pessoais. Durante a década de 1990, o rápido crescimento na capacidade
de processamento de máquinas digitais tornou possível não apenas o processamento de
símbolos musicais (notas, acordes, esquemas rítmicos), mas também a geração, controle
e processamento de sinais de áudio em tempo real. Quer dizer, além das abstrações
previstas pelo protocolo MIDI, tornou-se possível trabalhar sons de maneira concreta
durante a performance. Além disso, MIDI e outros protocolos de transmissão de dados
permitiram a integração e controle de diversos tipos de equipamento (consoles de luz,
projetores de vídeo, etc) a partir de um mesmo ambiente computacional (Rowe 2001).

Isso alimentou a possibilidade de desenvolvimento de um grande número de
projetos de performance multimídia em que elementos como música, luz e imagem
ocorrem de modo integrado por meio da correlação da informação de mídias variadas.

Assim, tornou-se possível utilizar informação sonora para controlar a projeção de
sequências pré-gravadas de imagens, bem como a utilização de sinais captados por
sensores diversos pôde ser usada para o controle de dispositivos de produção sonora
(módulos sintetizadores, samplers, etc) ou de iluminação cenotécnica.

O ferramental eletroacústico deixou de ser quase que exclusivamente voltado
para a produção e composição dentro do estúdio e conquistou um espaço bastante
razoável no ambiente da performance. Diversos programas foram desenvolvidos nessa
fase visando especificamente a atuação do músico em tempo real, entre eles M, Max,
PD, Interactor e SuperCollider. Se na década de 1980 a maioria dos programas voltados
para performance operava basicamente com informação MIDI, em meados da década de
1990 o poder de processamento de computadores pessoais passou a permitir o
processamento direto de áudio em tempo real.

Nos últimos 3 ou 4 anos, avanços na área de computação gráfica aliados à
chegada ao mercado de computadores pessoais com velocidade de processamento de
algumas centenas de megahertz e com capacidade de armazenamento de grande
quantidade de informação digital, fizeram com que certos tipos de processo em tempo
real que apenas recentemente tinham se tornado possíveis na área de áudio, passassem a
ser aplicados também a vídeo digital. Isso representou um salto em relação à integração
entre som e imagem em espetáculos de diversas naturezas, a um custo relativamente
baixo e com a utilização de programas que oferecem interfaces amigáveis ao usuário e
que, embora muitas vezes possam exibir uma certa complexidade de uso, não exigem
conhecimentos avançados de programação.

Essa integração deu-se em dois sentidos. Por um lado, permitiu que se
desenvolvessem projetos na área de captura de movimentos a partir de sistemas
relativamente simples, geralmente baseados em uma câmera de vídeo conectada ao
computador (BigEye, EyesWeb). Esses sistemas permitem extrair informação dos
movimentos de um performer (um músico, um bailarino, ou do próprio público) e
utilizar essa informação para controle e geração de sons. Por outro lado, ampliou a
possibilidade de realização de sistemas em que som e imagem interagem em tempo real
por meio de processamentos diversos, em que o vídeo pode ser utilizado para modificar
ou criar uma informação sonora e vice-versa (Imagine, Isadora, PixelToy, BigEye,
ArKaos).


2. Trabalhos em performance

Desde 1996 foi iniciado na Pontifícia Universidade Católica de São Paulo (PUC-SP) um
trabalho de experimentação em performances envolvendo música, imagem e dança com
diversos artistas colaboradores. As apresentações começaram de modo informal visando
a participação em eventos artísticos e acadêmicos. Durante esse período estabeleceu-se
um processo de colaboração entre a bailarina e coreógrafa Ivani Santana e o compositor
Fernando Iazzetta, com a participação frequente de outros artistas e colaboradores, entre
eles o compositor Silvio Ferraz e a iluminadora Simone Donatelli. Durante esse período
foram criados diversos trabalhos em que a tecnologia atuou como objeto de exploração
de processos interativos e de conexão entre linguagens. Aos poucos estabeleceu-se um
ambiente de performance baseado na utilização de alguns programas de produção e
tratamento de imagem e som em tempo real.

Nesses trabalhos o processo de criação é colaborativo e a tecnologia funciona
como agente de conexão entre sons, imagens e movimento. Processos de improvisação
e acaso dividem espaço com processos determinísticos, a partir dos quais os espetáculos
são criados. A coreografia e concepção geral (a cargo da coreógrafa Ivani Santana)
servem de ponto de partida para a construção da música e das imagens. Diversas
estratégias têm sido utilizadas para a integrar temporal e espacialmente os elementos de
criação.

O uso de microcâmeras presas ao figurino dos bailarinos ou instaladas em
pontos estratégicos do palco oferecem um ponto de vista dinâmico da performance. As
imagens captadas são projetadas em telas dispostas no palco permitindo que o público
tenha a visão de detalhes inacessíveis a partir de sua posição na plateia. Eventualmente,
essas imagens podem ser enviadas a um computador e processadas antes de serem
projetadas nas telas, gerando um contraponto entre o evento real que ocorre no palco e
sua imagem modificada pelas tecnologias. Muitas vezes os processamentos da imagem
são controlados por parâmetros da própria música que está sendo gerada em tempo real.
Assim configura-se uma rede de inter-relação em que o movimento dos performers
fornecem a matéria-prima para a geração das imagens e para o desenvolvimento da
música, enquanto que as informações sonora e imagética podem ser cruzadas nos
computadores influenciado no resultado produzido em termos de música e vídeo.

No espetáculo Gedanken (2000) (Santana, 2002), a própria coreografia parte de
um ambiente computacional, tendo sido criada no programa Life Forms (desenvolvido
por Thomas Calvert na Simon Fraser University, Canandá). Em sua transposição para o
palco, imagens de microcâmeras eram enviadas para um computador executando o
programa Image/ine (desenvolvido por Tom Demeyer na Fundação Steim), antes de
serem projetadas em uma tela. Image/ine permite que a imagem capturada por uma
câmera sofra diversos processamentos cujos parâmetros podem ser alterados em tempo
real, inclusive via informação sonora ou MIDI proveniente da música que está sendo
executada.

Já no espetáculo Corpo Aberto (2001) (Santana, 2002), entre os procedimentos
utilizados para a integração entre coreografia, imagem e música, estava a geração de
imagens abstratas fazendo uso do programa PixelToy (desenvolvido por Leon McNeill).

Este programa funciona como um sintetizador de imagens que são configuradas por
meio de um 'script'. Diversos processamentos podem ter seus parâmetros modificados
em tempo real de acordo com a amplitude do sinal sonoro enviado para o computador,
ou por dispositivos como mouse e joystick que permitem o controle de diversos aspectos
da imagem, inclusive seu deslocamento na tela. Embora a interface do programa seja
bastante simples e o mesmo permita apenas uma intervenção limitada do usuário, o uso
criativo de seus scripts mostrou-se bastante eficaz na produção de imagens e de
interação entre os elementos da cena.

Em Op_Era (2001), concebido por Daniela Kutschat e Rejane Cantoni, foram
introduzidas algumas ferramentas computacionais novas na produção de processos
interativos. O palco foi circundado por três telas de projeção -- uma no fundo, uma na
lateral direita e uma tela frontal transparente -- onde eram projetadas imagens de três
projetores independentes numa espécie de espaço virtual, criando a impressão de que os
limites do palco eram dados por imagens e não por superfícies concretas como cortinas
ou paredes. As projeções eram geradas por um programa desenvolvido pelo Laboratório
de Sistemas Integrados (LSI) da USP, especificamente para o projeto a partir de um
computador com três saídas independentes de vídeo, uma para cada projetor. No chão
do palco, circundados pelas telas de projeção, foi instalada uma matriz de 16 (8x8)
sensores de luz infravermelha. Esses sensores permitiam acompanhar o movimento da
bailarina no palco cada vez que interceptava os feixes de luz infravermelha com o
corpo. Digitalizada, essa informação posicional era usada para controlar a geração e
posicionamento das imagens nas três telas criando uma sincronia entre movimentos
corporais e movimentos imagéticos. Além disso, a informação dos sensores era
codificada em informação MIDI e enviada a um segundo computador, sendo
decodificada por um programa criado no ambiente MAX/MSP. Esses dados convertidos
em informação MIDI eram então utilizados para disparar sons pré-gravados na memória
do computador ou para controlar parâmetros de síntese sonora.

3. A experiência em Pele

Pele (2002) é um espetáculo concebido por Ivani Santana e apresentado no Teatro
castro Alves, em Salvador - Bahia, durante o Ateliê de Coreógrafos Brasileiros em
setembro de 2002. No espetáculo um grande aparato tecnológico faz contraponto com o
movimento de 5 bailarinos. Foram utilizadas várias câmeras de vídeo cuja imagem
gerada durante o espetáculo era distribuída por 4 projetores e vários monitores de TV.
Imagens em slides, iluminação e cenografia completavam o ambiente cênico do
espetáculo que aborda as fronteiras entre a dança e a tecnologia, jogando com as noções
de presente/ausênte, real/virtual.

Nosso trabalho consistiu na elaboração da trilha sonora do espetáculo e em sua
execução durante a performance. Toda a música foi produzida no ambiente MAX/MSP.

Para a apresentação foi realizado um programa que controlava a geração sonora em
tempo real. Basicamente o programa foi constituído de dois módulos. O primeiro,
chamado "tocador", permitia que fossem executados até oito arquivos de áudio prégravados
e armazenados na memória do computador. Esse módulo oferecia recursos
para sincronização de arquivos, looping, fadein/out e volume. O segundo módulo
continha diversos sub-módulos (patches na linguagem usada no ambiente MAX)
interativos que podiam ser controlados em tempo real.

Três tipos diferentes de material foram utilizados para compor a trilha sonora de
quase uma hora de duração e executada em tempo real: sons sintetizados no ambiente
MAX/MSP; sons retirados de gravações diversas de música brasileira; e sons produzidos
durante o próprio espetáculo por instrumentos de percussão (acústicos e eletrônicos), e
vozes dos bailarinos e do próprio músico. Uma vez que todas essas fontes eram
manipuladas num mesmo programa, era possível fazer com que as mesmas fossem
controladas de modo interativo durante a performance.

Na cena que abre o espetáculo uma sequência de acordes tocados com timbres
sintetizados serviam de base para o desenvolvimento da trilha sonora. Sobre esses
acordes diversas trilhas de áudio eram mixadas em tempo real no módulo tocador. O
material básico dessas trilhas foi extraído de uma gravação de cantoria nordestina cuja
temática é um ciclo sobre o Padre Cícero. Foi utilizada uma faixa em que uma criança
entoa uma espécie de louvação à Padre Cícero, com um forte sotaque nordestino. O
áudio foi fragmentado em pequenas sessões de duração em torno de 1 segundo em
programa realizado no ambiente MAX. Os fragmentos receberam envoltórias dinâmicas
variadas e foram remontados em um novo arquivo cujo resultado foi uma rica e densa
polifonia de sons vocais. Embora nesse processo de fragmentação tenha se perdido o
sentido das palavras, permaneceram as características fonéticas (sotaque, entonação)
presentes no registro original. A trilha de áudio resultante serviu como fio condutor de
toda a primeira cena. Dela foram extraídos também outros arquivos de áudio que
passaram por processamentos no ambiente MAX (granulação e time stretch)
completando o material usado nessa primeira parte.

A segunda cena apresenta dois focos nas laterais do palco. Num deles, um dos
bailarinos costura a própria mão enquanto produz sons vocais, de respiração e pequenos
ruídos que são captados por um microfone, processados e amplificados. No outro foco,
as mãos do músico executam pequenos gestos sobre uma membrana plástica esticada
que funciona como um tambor. Os sons de baixa intensidade resultantes são captados
por um microfone de contato e processados no ambiente MAX antes de serem
amplificados. Foram utilizados uma série de filtros de ressonância em paralelo cujas
frequências de sintonia encontram-se em relação harmônica. Os sons captados da
membrana serviam de impulso para alimentar esses filtros gerando sonoridades
irregulares, mas que conservavam sempre alguma relação harmônica. As frequências de
sintonia dos filtros sofrem pequenas alterações de acordo com a intensidade do sinal
sonoro gerado pela membrana conferindo um comportamento dinâmico aos sons
produzidos. As mãos, tanto do bailarino, como do músico, eram filmadas e projetadas
em uma tela e em monitores de TV. O que se cria é um conflito entre dimensões: por
um lado, as mãos que produzem gestos pequenos em relação ao tamanho do palco e
sonoridades com pouca energia; por outro, esses gestos e sonoridades são amplificados
pelas projeções nas telas e monitores de TV, e pelos processamentos realizados no
computador e reproduzidos pelos alto-falantes.

Em seguida é utilizado novamente um arquivo de áudio pré-gravado. Dessa vez
o material sonoro foram dois discos de embolada nordestina. Os procedimentos foram
muito semelhantes aos utilizados por DJs na criação de músicas baseadas na montagem
de pequenos loopings de material retirado de outras gravações. O ritmo do pandeiro e as
vozes dos emboladores foram, mais uma vez, processados e trabalhados em diversos
programas, entre eles o MAX/MSP. Segue-se, ao final deste trecho, um solo do músico
de aproximadamente 3 minutos. Um instrumento com 6 pads para percussão funciona
como interface de sensores para a improvisação do músico. Dois tipos de informação
são geradas simultaneamente: sons de caráter percussivo e informação MIDI referente
ao disparo de cada um dos pads. Dois pedais geram informação adicional, permitindo
que sejam feitas mudanças rápidas nos parâmetros de processamento dessa informação
no ambiente MAX.

Após uma cena em que basicamente os bailarinos intercalam movimentos e falas
que se referem aos próprios movimentos, inicia-se a última cena. Além de resgatar
sonoridades das cenas anteriores, é apresenta uma base rítmica que passa a dominar até
o fim do espetáculo. Essa base é montada em MAX numa estrutura complexa que acaba
gerando um ritmo estável, mas que jamais se repete exatamente. Três elementos sonoros
foram utilizados. O primeiro é um clic que, processado por diversos filtros e efeitos,
adquire uma sonoridade aguda e brilhante e é usado de modo semelhante a um prato de
contra-tempo de bateria. A condução rítmica baseia-se numa estrutura ternária regida
por regras probabilísticas. Essas regras gerenciam a ocorrência dos sons no tempo, sua
acentuação, e pequenos desvios de afinação. Desse modo, embora possa-se "sentir" uma
pulsação ternária, como num compasso 6/8, a execução dessa base nunca se repete de
modo idêntico, como se estivesse sendo tocada por um músico que improvisa sobre uma
fórmula rítmica dada. Um atraso (delay) sincronizado com o andamento e de disparo
intermitente (também controlado de modo probabilístico) adiciona outro fator de
variação a esse pulso. O mesmo ocorre com o segundo elemento sonoro composto por
dois sons graves separados por um intervalo de terça menor. Sua ocorrência é também
vinculada a processos probabilísticos e está atada às transformações do pulso ternário.

Mais uma vez, são formadas frases que são percebidas como sendo referentes a um
compasso ternário, mas que são deslocadas durante todo tempo criando uma
instabilidade rítmica. O terceiro elemento são sons percussivos que dialogam com os
dois elementos anteriores. Alterando os parâmetros de probabilidade que regem a
produção dessa base rítmica o resultado pode ser modificado pelo músico em tempo real
tornando-a mais densa ou mais instável, por exemplo. Sobre essa base é realizado um
improviso com elementos percussivos processados por filtros e com o disparo de
módulos de síntese.

Durante essa cena, três imagens são projetadas simultaneamente em telas no
fundo do palco. Uma delas é pré-gravada; as outras são geradas por dois cinegrafistas
situados nas coxias esquerda e direita do palco e que fornecem pontos de vista da
coreografia diferentes daqueles vistos diretamente pela plateia. Uma dessas imagens,
antes de ser projetada é enviada a um computador controlado pelo músico em que é
executado o programa Isadora (desenvolvido por Mark Coniglio). Este programa
oferece objetos gráficos que desempenham funções de processamento digital de
imagem. Esse processamento pode ser controlado em tempo real, inclusive via MIDI ou
pela informação sonora gerada pelo músico. Assim, o processamento das imagens pode
ser controlado pelo mesmo ambiente criado em MAX para gerar a música. A conexão
entre o computador em que se processa a música e o computador em que se processa o
vídeo é feita por uma interface MIDI e pelas entradas e saídas de áudio. Desse modo,
informações gerados para o processamento de imagem podem ser utilizadas para
controlar eventos musicais (sincronizando o disparo de um arquivo sonoro com a
mudança do tipo de processamento aplicado ao vídeo, por exemplo) ou vice-versa.

4. Conclusões

A realização de espetáculos interativos em colaboração com a bailarina e coreógrafa
Ivani Santana tem se configurado com uma importante experiência na utilização de
sistemas computacionais para a integração de diversas mídias num mesmo ambiente.

Nossa proposta tem se dirigido à exploração da presença física, corporal dos intérpretes
em interação com ferramentas tecnológicas. Ao mesmo tempo que as tecnologias
digitais introduzem elementos artificiais nas performances, elas podem também
amplificar as relações entre os diversos participantes (bailarinos, músicos, técnicos e
mesmo o público). Embora a articulação entre dança e tecnologia venha se
desenvolvendo desde as pioneiras experiências de Merce Cunningham nos anos 70
(Wechsler 1997, Santana 2002), no Brasil essa tem sido uma das únicas realizações que
tem se desenvolvido de modo regular nessa área.

Futuros trabalhos deverão explorar de modo mais intenso as tecnologias de
captura de movimento (por meio de sensores e câmeras de vídeo) de modo a permitir
uma simbiose mais efetiva entre os gestos dos performers e os resultados produzidos
por esses gestos. O ambiente de programação MAX tem se mostrado como ferramenta
ideal para esse tipo de aplicação em função de estabilidade de funcionamento e
flexibilidade de uso. Neste momento estão sendo avaliadas possibilidades introduzidas
nesse ambiente para a manipulação de imagens em tempo real (Jitter, Cyclops, Eyes), o
que possibilitará a integração de informação MIDI, áudio e vídeo digital num mesmo
ambiente e de modo transparente.

5. Referências
Rowe, Robert (2001). Machine Musicianship. Cambridge, Massachusetts: The MIT
Press.
Santana, Ivani (2002). Corpo Aberto: Cunningham, dança e novas tecnologias. São
Paulo: Educ/Fapesp.
Wechsler, Robert (1997). "O Body Swayed to Music (and Vice Versa): roles for the
computer in dance". In Leonardo, nº 5, pp. 385-389.