Introduksjon
Interaktiv elektronisk musikk har blitt en populær genre blant komponister som slik kan kombinere signalbehandling og computerkomposisjon med samtidens fremføringspraksiser der musikernes kompetanse former både det akustiske og elektroniske materialet. Interaktivitet er også ofte en vesentlig del av lydinstallasjoner, der forskjellige handlinger hos de besøkende påvirker både presentasjon og behandling av lydmaterialet. Begge uttrykksformene er velkjente, og mye beskrevet i bøker, tidsskriftartikler og konferansepresentasjoner. Det har imidlertid vært mindre fokus på krysningspunktet mellom computermusikk og dataspill. Men dataspillindustrien genererer hvert år større omsetning enn Hollywoods filmindustri sett under ett, og er ikke lenger en neglisjerbar sektor i populærkulturen. Dermed blir dataspill en interessant arena for skapende arbeid fra et kunstnerisk perspektiv, med potensiale til å berike spilldomenet. Denne artikkelen vil ta for seg perspektiver som har vært viktige i byggingen av computermusikkspillet Construction Drive, og vil diskutere tilnærminger og betraktninger som har oppstått i arbeidet med denne nye genren.

Construction Drive er et interaktivt kunstprosjekt som samler dataanimasjon og computermusikk i form av et computermusikkspill for Windows,1 og prosjektet sikter mot å utfordre den vanlige oppfatningen om at dataspill kun er underholdning, mens kunsten helst bare er seriøs. Lyden og bildene i spillet dreier seg om kunstens identitet og i utfordringene som ligger i persepsjon og meningsdannelse. Det visuelle miljøet i spillet bygger opp om behandlingen av lydmaterialet som et slags musikalsk spill: Spilleren navigerer en virtuell verden som er bygget over et velkjent maleri gjennom å ”kjøre” som i en motorsykkelsimulering. Dette er en komposisjonsteknikk som også har blitt brukt i spill som for eksempel Jurassic Park for Microsoft Xbox (Schütze 2003). Spillet er basert på filmen ved samme navn.

Lyddesign og narrativ
Construction Drive inneholder både enkeltlyder og ferdigmiksede deler med mer tydelig musikalsk innhold. Lydmaterialet er innlest tekst fra dikteren og kunstkritikeren Guillaume Apollinaire (1880-1918) om temaer som knytter an til surrealismen, og feltopptak av forskjellige slag. Apollinaire skrev mye om sin tids avant-garde, og tekstene som er brukt i Construction Drive er utdrag fra Everyman-utgaven av tekstene hans, oversatt og redigert av Robert Chandler. Tekstutdragene er lest av Howard Gamble, og feltopptakene er av motorsykkelmotorer, tråsykler, og for eksempel fugler, insekter og regn.  Lydmaterialet har blitt behandlet med computermusikk-teknikker, og er satt sammen med intensjon om trekke frem indre sammenhenger mellom de forskjellige lydene, med håp om at det skal gjøre spillet interessant å utforske. En ”fremføring” av spillet tar form som en utforskning av hva spillet har å by på: et landskap der lyder er strødd utover og høres når spilleren kommer inn i deres aktive sone. Miksingen av lydene er basert på spillerens handlinger, og det er få restriksjoner på spillerens bevegelser i landskapet. Spillet kan avsluttes og tas opp igjen når som helst, og er over kun når spilleren har løst en gåte gjennom å kombinere forskjellige lydspor som er laget av innspilt tekst. Etter at spillet er avsluttet, kan spilleren begynne på nytt; lydsporene vil da bli plassert forskjellig fra forrige gang. Musikalsk utdanning eller trening er ingen forutsetning for å spille – konstruksjonen av verket avhenger kun av øre og øye – men det er selvfølgelig slik at en erfaren og kritisk spiller lettere vil ”få til noe fint.”

Elektronisk bearbeidet lyd utgjør hoveddelen av lydmaterialet i Construction Drive, og dette har gitt stor frihet til å forme et narrativ med flere abstraksjonsnivåer, gjennom å trekke på representasjonsaspekter og den semantikken som lydene gir. Signalbehandlingsteknikkene gjør det mulig å endre lyder bort fra og i retning av gjenkjennelighet, og kan slik tilsløre og dempe den enkle semantikken som ofte følger med bruk av tekst. Slik oppstår en ambiguitet i Construction Drive, en ambiguitet som åpner for mer enn enkel, refererende lytting. Signalbehandlingen åpner lydene for tolkning, og ble for eksempel brukt til å elde den innspilte stemmen, slik at spilleren kan oppleve illusjonen av at stemmene som gir hjelp til løsningen av gåten som ligger begravet i landskapet kommer fra fortiden. Landskapet er fylt med rester av liv og tomme strukturer. Hva kan ha skjedd den gangen? Hvilke spor er det stemmene gir? Referansen til J. G. Ballard og hans perspektiver i beskrivelsene av sin samtid er ment å være åpenbar, nesten på samme måte som i verket Concrete Net, som ble komponert sent på 90-tallet.2

Narrativet i Construction Drive består ikke av en kombinasjon av det som på filmspråket kalles diegetisk og ikke-diegetisk lyd – lyder som bare filmpublikummet kan høre, eller som også skuespillerne i filmen kan høre. Siden det ikke finnes personer i spillet, består narrativet i Construction Drive av lyder som spilleren hører, og lydene finner spilleren som del av utforskningen; i omgivelsene, som lydspor i løsningen av gåten, og som statuslyder som forteller spilleren hvordan det har gått med hans eller hennes handlinger. Siden spillet også er en form for simulering, blander statuslydene seg med den øvrige utforskningen og inngår slik i musikken, selv om de forskjellige lydgruppene i utgangspunktet har forskjellig funksjon. Dette er uproblematisk, fordi maskering og utydelighet er naturlige elementer i nær sagt alle lydopplevelser - vi trekker mening ut av komplekse sammenhenger der vi ut fra erfaring har forventninger om hva som hører til, hva vi gjerne skulle hørt og hva vi like gjerne kunne vært foruten. (Bregman 1990). Måten spillet er bygget opp på gir derfor ikke spilleren problemer med å finne sammenhenger. Noen lyder er knyttet til spesielle handlinger med stor nok tydelighet til å bli lydikoner, mens andre er knyttet til flere typer handlinger, og derfor flertydige. Det blir opp til spilleren å skape sammenhengene. Denne type estetiske og analytiske spørsmål er mye diskutert innenfor spektromorfologien (Smalley 1986, 1997), som er en videre utvikling av Pierre Schaeffers tanker slik de kommer til uttrykk i hovedverket Traité des Objects Musicaux (1966).

Interaksjon
Å komponere interaktiv musikk er som oftest temmelig forskjellig fra å skrive musikk som skal reproduseres fra partitur. I interaktive verk som dataspill gir komponisten i varierende grad avkall på kontrollen med lydhendelser langs tidsaksen i stykket, til fordel for utøverne eller brukerne. Grensesnittet kan være et musikkinstrument, en sensor eller en metanivå-kontroller. Denne tilnærmingen til komposisjon er en slags parallell til mer konvensjonell komposisjon med tilfeldighetselementer og rutiner som styres av eksterne forhold. Eksempler kan være Xenakis’ lydskyer, Cages tilfeldighetsoperasjoner med I Ching og Nordheims lydinstallasjoner som styres av lys, vind og fuktighet. I mange dataspill har komponistene brukt sekvenseringsprogrammer som for eksempel Microsofts Direct Music, der lydsporet genereres fra General MIDI-biblioteker og innspilt lyd, og hvor orkestreringen forandres av data fra brukerhandlinger, spillbegivenheter og hvor brukeren er i spillverdenen. Dette er en effektiv metode for å sikre en høy grad av sanntidskontroll med lydsporet, men egner seg bedre til å lage stemningsendringer i lydspor til spill enn til å lage computermusikk i mer konvensjonell forstand. Et relativt nytt eksempel på kreativ bruk langs denne aksen er spillet Limbo, som ble lansert i 2010. Den gangen Construction Drive ble påbegynt, var det store begrensninger i hvilke signalbehandlingsmetoder spillkonsollenes prosessorer kunne klare, og man måtte være med forsiktig med bruken av minne til innlasting av materiale som skulle bearbeides. Playstation hadde for eksempel 1MB tilgjengelig, og den plassen skulle romme all lyd som enten skulle spilles i sløyfe eller behandles på annen måte. Computermusikken har gjennomgående alltid gjort tyngre bruk av signalbehandling gjennom sitt fokus på nye klanger og detaljert kontroll.

I Construction Drive kan rekkefølgen og balansen mellom lydene som følger av brukerbevegelsene variere svært fra spill til spill. Det samme er tilfelle med tidsaksen, og slike situasjoner er krevende for komponisten. Det er allikevel mulig å bunte lyder i forskjellige områder for slik å gi dem distinkte klanglige eller tematiske karakterer, og på den måten beholde en rimelig grad av kontroll med sammenhengen i stykket, selv om man på grunn av interaksjonsaspektet gir slipp på detaljene. De visuelle elementene bidrar også til konstruksjonen av tematiske rom, selv om brukeren selv kan velge hvor i landskapet han eller hun vil bevege seg, og videonarrativet derfor ikke er strengt lineært. Det har vært mulig å sørge for at de musikalske resultatene har vært ”gode nok” til at spillerne får lyst til å vende tilbake for å spille en ny runde. Som styrking av ”gjenbruksverdien” har det blitt tatt hensyn til spillparadigmet der det oftest er et poeng med spillet; en grunn til at man spiller, et mål å nå.

Å komponere interaktiv musikk omfatter en balansering av behovet for kompositorisk kontroll med utvikling av materialet og den frihet som utøvere trenger for at sanntidskontrollen skal være stor nok til å gi mening. Denne balansekunsten er like viktig i all slags interaktiv musikk, for konserter, installasjoner eller media. Kontrollmetoden bør utvikles med tanke på brukerne, som fra sitt perspektiv for eksempel har behov for å forstå brukergrensesnittet i en installasjon for å kunne interagere meningsfullt med den. I Construction Drive utvikles musikken gjennom spillerens bevegelser i spill-landskapet. Sted bestemmer materiale, mens retning, krengningsvinkel og hastighet kontrollerer lydbehandlingen. Lydmaterialet er bundet til landskapsmodellen, som med få begrensninger gir spilleren frihet til å velge musikalsk retning gjennom å navigere med øret.

Denne typen komposisjon kan kalles meta-komposisjon – i betydningen at et sett med begrensinger definerer musikken gjennom råmateriale, signalbehandlingsmetoder og ytre grenser på parameterverdier. Som nevnt tidligere, er denne måten å tenke på ikke ny i musikalsk sammenheng, og for eksempel mange prosessorienterte lydinstallasjoner gjør bruk av liknende prinsipper for å gjøre besøkende til utøvere. Bevegelser eller handlinger fanges opp med sensorer og brukes til å styre aspekter ved lyden. Men det er få eksempler på interaktive verk med lyd innenfor spillparadigmet, der spillet i seg selv er et lydspill. Unntaket er et visst utbud av spill rettet mot blinde. Construction Drive består av et interaktivt miljø, og verket er for spilleren en reise i dette miljøet – en av et uendelig antall mulige reiser, hvert spill blir forskjellig.

Historiefortelling
Et narrativ er en historie, mens historiefortelling er en handling - på samme måte som komposisjon og komponering. Komponering kan være abstrakt historiefortelling, eller fortelling av abstrakte historier – kanskje begge deler. En utlegning av Vareses definisjon av musikk som organisert lyd er at musikk er en kontekstualisering av lyder, der enkeltlydene opparbeider mening når de betraktes som del av et hele. I Construction Drive blir eksterne referanser vevet inn for å speile og kommentere kompleksiteten i natur og menneskelig interaksjon, og gir kontekst. Temaet for komposisjonen stammer fra tanker om sammenhenger mellom handling og konsekvens, særlig med hensyn til flertydighet og hvordan opplevelse blir strukturert og utviklet til mønstre, samt hvordan emosjonell resonans og fornemmelser oppstår – kort sagt, hvordan våre myter formes. I dag betraktes myter som mer eller mindre falske påstander, mens det greske mythos beskriver kraftfulle innsikter om verden, ofte kapslet inn i historier.

Komponisten kan fortelle flere historier samtidig gjennom å modellere komplekse situasjoner med forskjelligartet materiale, og det kan være vanskelig å gripe helheten uten å ha et forhold til enkeltelementene. Delene kan også miste sin betydning dersom de fjernes fra helheten. I denne komplekse veven konkurrerer også enkeltelementene om oppmerksomheten, og selv lyder som kan være vesentlige utgjør kun små deler av den samlede klangen. Intensjonen i Construction Drive er at når de elementene i musikken det er vanskeligst å legge merke til – dem som maskeres av omliggende lyder og som ytes mest mostand – blir lagt merke til, så belønnes lytteren med en følelse av retning eller kontinuitet. Motstand fordrer innsats, og lytterne må kanskje også overvinne sin egen motstand og unngå å kjede seg. Det kan ta tid før man klarer å avdekke ideen. Muligheten for denne typen reaksjoner er komponert inn i verket, som slik blir del av en tradisjon der tilhørernes tålmodighet blir strukket utover det normale. (Forfatteren har komponert inn det samme behovet for utholdenhet hos publikum i de første tre minuttene av stykket When Timbre Comes Apart.) Gjennom å strekke lytterens tålmodighet og forventning til musikalsk utvikling i tid på denne måten, oppnås at lytteren tvinges til å være kreativ i å finne sine egne mønstre heller enn å vente på komponistens ”budskap” eller påstand. Et parallelt poeng om risikoen med overdreven sikkerhet kan finnes i Czeslaw Milosz’ roman The Captive Mind fra 1951: “Når noen har 55 % rett så er det veldig bra, og hvis noen har 60% rett, så er det virkelig flott. Men om noen har 75% rett, så er det mistenksomt, og den som sier at han har 100% rett, er fanatiker!” Usikkerhet og oppfattelse av flertydighet er et menneskelig egenskap som kan forsterkes eller dempes ved hjelp av visuelle og/eller klanglige elementer.

Som med andre visuelle media, ”fremfører” øyet bildet når blikket glir over det, og det ”geologiske” underlaget for bildet, samt volumet og fargene på de modellerte objektene antyder sammenhenger og leder blikket i bestemte retninger. Fargepalletten i videodelen ligger nær maleriets opprinnelige palett, og antyder, på grunn av lett filtrering, assosiasjoner til malerens stil, vokabular og objekttyper. Intensjonen fra forfatterens side har vært å lage en historie om konstruksjon av kunst, dens identitet og kontekst.

Bilder og mapping
Det visuelle spillmiljøet i Construction Drive er modellert på Joan Miros L’estel matinal (Morgenstjernen) fra 1940. Maleriet plasserer seg i surrealismen. Bortsett fra assosiasjonene som skapes av bildet selv, er bildet brukt på to måter i Construction Drive. Maleriet har blitt lagt over et digitalt modellert, tredimensjonalt landskap der de geologiske formasjonene følger linjer som bildet antyder. Geometriske og andre former i maleriet har blitt gjort tredimensjonale, og plassert som objekter i landskapet der de opprinnelige formene var. Bakgrunnen i bildet har slik blitt reformulert som et 3D-landskap, og Miros rike samling av forskjellige objekter - løselig forbundet med et nett av linjer - har blitt forandret til 3D-objekter som vises i spillet som etterlatte rester og konstruksjoner. Fargene og teksturene i modelleringen er holdt nær Miros palett, men den 3-dimensjonale modelleringen er en fri fortolkning. Noen av objektene har også blitt løftet bort fra overflaten, og henger enten over landskapet eller står som broer i det.

Underlaget og den konkrete bruken av L’estel Matinal blir ikke gjort tydelig for spilleren før mot slutten av spillet, og da kun i et kort øyeblikk. Siden spillet ikke legger spesiell vekt på at det er akkurat dette bildet som blir brukt, er det kun spillere som er kjent med bildet eller Miro generelt som vil forlate spillet og kjenne referansen. Apollinaires tekstlige bidrag plasserer bildets ideer i tid, og språket han brukte er forskjellig fra språket som brukes i dag. Apollinaires tekster har sammen med bildet har vært inspirasjon for den kompositoriske ideen som har blitt formet som en surrealistisk diskusjon med gjenkjennbare ord og ideer, men med lite forståelig logikk; litt likt ideen om at kunsten har en indre logikk som ikke uten videre kan forklares uten gjennom verket selv.

Notasjon, lyttepartiturer og andre visuelle representasjoner i tids- og spektraldomene viser forskjellige aspekter ved musikk. Hver representasjonstype fokuserer på forskjellige deler eller parametere ved den musikalske ideen eller det klingende objektet, og representasjonene blir verktøy for komponisten og kunstneren, fordi de legger til rette for forskjellig type manipulasjon av det kunstneriske materialet. Men ikke alle slike former for notasjon er ment å være interessante visuelle objekter i seg selv, selv om det finnes mange eksempler på partiturer som også kan ses som visuell kunst. Eksempler på dette er Agglomaration (1960) av Anestis Logothesis, December 1952 av Earle Brown, and Five Piano Pieces for David Tudor (1959) av Sylvano Busotti.

Mapping kan betraktes som en underdeling av representasjon, og i binært format kan data flyttes lett mellom domener. Men det betyr ikke at dataene nødvendigvis gir særlig mye mening når de flyttes fra ett mediedomene til et annet, og et nært eksempel her er fasevokoderfunksjonen i NOTAMs programvare Ceres, som først ble skrevet av Øyvind Hammer hos NOTAM 3 i 1994.4 En digital kopi av et bilde utgjorde ikke et særlig godt utgangspunkt for resyntese dersom det ble lest som et bilde av spekterets utvikling over tid. For å kunne vise musikk eller lyd visuelt i tverrfaglig sammenheng, må det tas en del beslutninger om hvilke aspekter som skal vises, og denne mappingsprosessen innebærer nødvendigvis en tolkning. Kryssdisiplinære representasjoner kan også omfatte auditive metoder for å vise data, som for eksempel sonifisering – selv om siktemålet der som oftest ikke er kunstnerisk. Å tilegne datatyper og verdier til bestemte lyder innebærer også en tolkning, og kan forkludre forståelsen av sammenheng.

Kryssdisiplinære representasjoner er ikke trivielle fra et lydsynspunkt, og de gir trolig mest mening dersom de inngår i mer komplekse lydsammenhenger. Et eksempel her kan være lyd i dataspill der feedback og lyder fra brukergrensesnittet gir informasjon om status og brukerhandlinger, og der musikken endrer seg med sted, handling og miljøtype (Schütze 2003). Nye muligheter for bygging av narrativ oppstår når andre representasjons- og uttrykksformer legges til lyden, og når komponisten må avgjøre hvilke forbindelser, om noen, som det kan være attraktivt å etablere mellom representasjonsformene i verket. Det finnes mange interessante eksempler fra interaktive sceneproduksjoner, spesielt dans, der en stor variasjon av metoder for datainnhenting har blitt brukt (Siegel 1998; Bevilacqua, Ridenour, og Cuccia 2002; se også Todor Todoroffs verk En Jeu fra 1988 og In Between fra 2000). I disse eksemplene har bevegelsesdata blitt knyttet til lydgenerering og –behandling, og delvis til styring av lys og digital scenografi, og alle har forskjellige begrensninger. Motsatt kan videobilder lages fra parameterverdier hentet i musikken, som for eksempel i Roger Dannenbergs verk Uncertainty Principle (2000). En populær programvare for slikt arbeid er i dag (2014) Max-utvidelsen Jitter. Utfordringen er stadig den samme; enkel speiling er problematisk, fordi en én-til-én migrering mellom sansene er umulig – og mye av det som spilles i fullt alvor er ikke særlig forskjellig fra skjermspareralgoritmer.

Avsluttende kommentarer
Komposisjon for dataanimasjon er en relativt ny kunstprosess som betinger at lyd og bilde henger meningsfullt sammen. Dette var ikke en reell kunstnerisk mulighet før ca. 1995, og da først og fremst gjennom datamaskintypen Silicon Graphics og dens unike metoder for bildesyntese og -behandling. Som ofte i det digitale domenet overskygger de tekniske mulighetene de kunstneriske intensjonene, og overflaten blir innholdet. Prosessen reiser flere spørsmål: Hvordan skal bildene forholde seg til lydene? Skal de være refererende eller ikke, skal de være konkrete eller symbolske, bør de være kjente eller abstrakte? Skal aspekter ved bildene være hentet fra lyden, eller skal bildene være uavhengige? I tillegg kommer spørsmål om aspekter ved den animerte bevegelsen: farge, lys, kameravinkel og hastighet. Vekting og balansering av forskjellige visuelle og lydlige elementer både kompliserer og beriker interaktive komposisjoner som Construction Drive.

Spillgenren i seg selv byr også på utfordringer, fordi langsom dveling ved klingende elementer med musikalsk betydning kan komme i motsetning til behovet for handlinger som driver spillet fremover.

For mange komponister er det å lage musikk et utforskningsarbeid; en personlig utvikling av ideer og hvordan de kan gis klingende form. Kombinasjonen med visuelle media i dataspill spenner opp ideen om en utforskning på nytt, og gir mulighet for å ta i bruk nyere teknologier som for eksempel MUDs, der flere brukere deler spill-landskap. Og dersom man ser på innholdet i mesteparten av det som utbys av dataspill, er det tydelig at dette er en stort sett uutforsket nisje for kunst, og at det dermed også finnes åpninger for nye publikumsgrupper, kanskje særlig i kombinasjon med sosiale perspektiver der flere enn én interagerer med spillmaskineriet.

Referanser
Apollinaire, Guillaume. 1902-1918. Everyman poetry, 1902-1918. Utgitt av Everyman paperbacks 2001. New York, New York.

Bevilacqua, F., J. Ridenour, og D. J. Cuccia. 2002. “3D Motion Capture Data: Motion Analysis and Mapping to Music.” I Proceedings of the 2002 Workshop/Symposium on Sensing and Input for Media-centric Systems. Santa Barbara, California.

Bregman, Albert. 1990. Auditory Scene Analysis. Cambridge, Massachusetts: MIT Press.

Milosz, C. 1951. The Captive Mind. New York: Vintage.

Schaeffer, P. 1966. Traité des Objects Musicaux. Paris: Editions du Seuil.

Schütze, S, 2003. “The Creation of an Audio Environment As Part of a Computer Game World: The Design for Jurassic Park—Operation Genesis on the Xbox As a Broad Concept for Surround Installation Creation.” Organised Sound 8(2):170–180.

Siegel, W. 1998. “The Challenges of Interactive Dance: An Overview and Case Study.” Computer Music Journal 22(4):29–43.

Smalley, D. 1986. “Spectro-Morphology and Structuring Processes.” I S. Emmerson, ed. The Language of Electroacoustic Music. London: Macmillan, ss. 61–93.

Smalley, D. 1997. “Spectromorphology: Explaining Sound-Shapes.” Organised Sound 2(2):107–126.

• 1. Spillet ble utviklet over en lang periode, på grunn av en mengde uforutsette oppgaver som måtte prioriteres. Opprinnelig var spillet tenkt å bli for Sony Playstation, men rett etter at arbeidet ble startet ble Playstation 2 lansert, og omtrent samtidig Microsoft Xbox. Spillet ble flyttet til Xbox, men etter forhandlinger med Microsoft ble prosjektet flyttet til et normalt Windows operativsystem, og ideen om å skrive det for en spillkonsoll ble forkastet.
• 2. Rudi, Jøran (1997) Concrete Net. Verket er utgitt på Aurora Records (ADVDV5501). DVDen inneholder verkene When Timbre Comes Apart, Concrete Net og Planet. Oslo: Aurora. 2001. Et essay finnes her: http://users.notam02.no/~joranru/cn/index.html
• 3. Norsk senter for teknologi i musikk og kunst, www.notam02.no
• 4. Informasjon om programvaren og lenke til kildekoden finnes her: http://www.notam02.no/web/2006/01/ceres-2/?lang=en