12.03.12

Optisk Syntese

Om konstruktionen af en optisk synthesizer til oversættelse af billeder til lyd

Jeg vil i denne artikel beskrive konstruktionen af en såkaldt optisk synthesizer, der omdanner billeder aftegnet på gennemsigtige roterende skiver, til lyd.

Jeg vil forsøge at skitsere den historiske baggrund for den anvendte teknik, og derudover bevæggrundene for overhovedet at bygge instrumentet. Synthesizeren, der ses herunder, er en forholdsvis primitiv mekanisk maskine, baseret på det over 100 år gamle optiske lydformat til film, hvor lydsporet er aftegnet grafisk direkte på filmen.

Synthesizeren, der blev færdiggjort i 2010, og som jeg betragter som en rå prototype, fungerer i korte træk ved at en række lamper belyser gennemsigtige skiver med grafiske mønstre, og omdanner disse mønstre til lyd via en række fotoceller. Et grafisk mønster kan f.eks. være en repræsentation af en sinustone, der blot vil give en sinustone som lydligt resultat, men kan også være fuldstændigt frit tegnede mønstre, hvormed der kan skabes mange forskelligartede klange.

Instrumentet er således en manifestation af en undersøgelse af forholdet mellem lyd og billede, hvor disse kan betragtes som identiske. Billedet er lyden. De grafiske former kan konstrueres legio, og de enkelte diske kan fysisk mixes med hinanden, og således skabe nye klangvariationer.

Den optiske synthesizer er baseret på det over 100 år gamle optiske lydformat til film, hvor lydsporet er aftegnet grafisk direkte på filmen.

Maskinen er mekanisk og fuldstændig analog. De gennemsigtige diske roterer på små motorer med variabel hastighed. Ved hurtige rotationer opstår toner, hvis klang bestemmes af diskenes grafiske mønstre. Flere diske kan således stemmes tonalt med hinanden. Kombineres hurtigt og langsomt roterende diske kan der skabes forskellige former for amplitudemodulation.1

De enkelte diske er monteret, så de kan flyttes glidende i forhold til hinanden, hvormed det er muligt at 'spille' på instrumentet på en umiddelbar, taktil måde.

Principielt kan der også tegnes med tusch på blanke diske, således at arbitrære klange kan skabes øjeblikkeligt. Maskinen kan således betragtes som et musikinstrument med 'uendelige' klangmuligheder, omend med en helt særlig klangkarakteristik, og en afgrænset funktionalitet.

Den optiske synthesizer

Det essentielle ved den optiske synthesizer er, at forholdet mellem input (de grafiske aftegninger) og output (det lydlige resultat) er fuldstændigt direkte. Der er kun ganske få tekniske og semantiske led involveret i processen. En metode, der har været benyttet i lignende instrumenter2, har været at printe bølgeformer af eksisterende reelle lyde (stemmer eller akustiske instrumenter) i cirkulære mønstre. I den optiske synthesizer benyttes dog udelukkende 'fri' grafik til at skabe nye syntetiske lyde.

Eksempler på anvendte grafiske diske. Synthesizeren 'scanner' et ganske lille område af disken, hvormed hver disk kan afgive mange forskellige toner / klange.

Instrumentet er dels skabt på baggrund af en basal fascination af forholdet mellem lyd og billede, og dels en undersøgelse eller revitalisering af en historisk 'glemt' teknologi, som jeg mener har et uudnyttet potentiale. Der er således også tale om en nutidig udforskning indenfor et 'uddødt' teknologisk område, hvor udforskningen af dets historiske baggrund for mit vedkommende har været en kunstnerisk inspirerende proces.

Optisk lyd på film
Det optiske lydformat, som jeg anvender i synthesizeren, fungerer ved at, lyd fotografisk overføres direkte på film, så lyd og billede kan afspilles synkront. Når reelle lyde optages med denne teknik, aftegnes lyden som konkrete bølgeformer i et separat spor på filmstrimlen. Heraf begrebet 'Soundtrack' i forbindelse med en films lydspor.

Teknikken til afspilning er forholdsvis enkel: filmstrimlens tonespor kører mellem en lampe og en fotocelle forbundet til en højtaler. Det aftegnede tonespor modulerer således en strøm i fotocellen, der bliver tilhørbar lyd, når denne kobles til en højtaler.

Man kan sige, at lyset i lampen genererer en konstant strøm, der bliver afbrudt eller moduleret af det grafiske spor. Således er den grafiske modulation proportionel med den strøm, der induceres i fotocellen. I synthesizeren anvender jeg dette princip, blot på roterende diske fremfor én lang filmstrimmel.

Optisk tonespor, til venstre, på 35mm film

Det simple princip for afspilning af optiske lydspor

Et interessant aspekt ved det optiske lydformat er, at lyden bliver transformeret til pulserende lys.

Den eksisterer på en måde i en slags mellemtilstand mellem strøm og lys, der kan manipuleres f.eks. via linser. Forholdet er så direkte at en linse, der fokuserer lyset på fotocellen, vil gøre lyden skarpere (forøge dens højfrekvente indhold) på nøjagtig samme måde som en linse forøger kontrasten i et billede. Er linsen modsat ude af fokus, vil også lyden 'flyde ud' (dens højfrekvente indhold formindskes)

Tegnet lyd
Når en reelt eksisterende lyd kan repræsenteres grafisk på film, er det en nærliggende tanke, at der kan skabes syntetisk lyd fra bunden, simpelthen ved at tegne på blank film.

En lang række animatorer3 har gennem historien benyttet denne teknik, men påfaldende få deciderede komponister. Pioneren Oscar Fishinger skabte op gennem 1930'erne, en række film med en teknik han benævnte 'tonende ornamente' dvs. lydlige ornamenter. Fischinger tegnede en lang række forskellige ornamenter i stor størrelse, der blev nedskaleret og fotografisk overført til film hvorefter de kunne afspilles som lyd. Et interessant aspekt ved Fischingers film er, at tonesporene samtidig er filmenes visuelle side – billede og lyd er smeltet sammen og er reelt identiske.

Oscar Fischingers 'Tonende Ornamente

Akustisk skrift 
Historisk set går idéer om æstetiske sammenhænge mellem lyd og billeder naturligvis meget længere tilbage end Oskar Fischinger og lignende pionerer fra forrige århundrede.

Et klassisk eksempel, ud af mange, er de såkaldte 'Chladni-mønstre' opkaldt efter den tyske videnskabsmand Ernst Chladni (1756–1827)

Chladni udførte en række eksperimenter hvor han strøg en violinbue på siden af en plade, hvorpå der var strøet sukker, mel, eller andet let materiale. Afhængigt af buens kraft og frekvens kunne der observeres en række meget forskellige symmetriske mønstre der dannedes i det lette materiale, når dette blev udsat for lydens vibrationer.

Chladni-mønstre

Mønstrene er ikke repræsentationer af lydbølger som sådan, men grafiske billeder af resonansfænomener i den bestrøgne plade. Materialet ligger sig til rette de steder i pladen, der er fri for resonans. Chladni-mønstrene er nemme at anskue, som havende æstetiske kvaliteter i sig selv, frigjort fra deres naturvidenskabelige frembringelse.

Helt konkret bliver sammenhængen mellem lyd, og dens grafiske afbildning, med Thomas Edisons opfindelse af fonografen i 1877.

Med fonografen (der afledt af græsk betyder 'lydskriver') kunne alle reelle lyde opfanges, og 'skrives' med en nål i bløde vokscylindre eller plader.

Når virkelighedens lyde nu kunne opfanges og gengives, var det måske muligt at udvikle en 'akustisk skrift', og dermed skrive helt nye lyde direkte ned på fonografmediet?

Denne idé blev fremlagt af den ungarnske kunstner László Moholy-Nagy i essayet New Form in Music: Potentialities of the Phonograph (1923):

”The grooves are incised by human agency into the wax plate, without any external mechanical means, which then produce sound effects that would signify—without new instruments and without an orchestra—a fundamental innovation in sound production (of new, hitherto unknown sounds and tonal relations) both in composition and in musical performance.”

Moholy-Nagy's vision var med andre ord, at denne 'akustiske skrift' kunne tillæres, som en hver anden skrift, på baggrund af detaljerede studier af forskellige lydes grafiske former.

Hermed kunne komponisten teoretisk set 'skrive' en hvilken som helst lyd direkte til afspilningsmediet!

En radikal idé, der potentielt kunne overflødiggøre musikere og orkestre, og revolutionere musikken totalt i form af et helt nyt tonesprog.

Moholy-Nagy udførte selv en række eksperimenter med ridsning i grammofonplader, dog uden nogen større succes. I et senere essay4 peger han på filmens optiske lydspor som et mere praktisk medie for akustisk skrift, og forestiller sig “a true opto-acoustic synthesis in the sound film” samt forudser at “abstract sound film” kunne blive et fremtidigt medium for moderne musikalsk komposition.

Moholy-Nagy's visioner, og den æstetiske udnyttelse af det optiske lydformat som sådan, blev dog kun i yderst begrænset omfang realiseret. Tegnet, syntetisk lyd blev stort set udelukkende brugt i isolerede eksperimenter, som oftest i form af lydeffekter og elektronisk underlægningsmusik i animationsfilm.

Baggrund
Baggrunden for konstruktionen af den optiske synthesizer var en række eksperimenter, jeg tidligere havde foretaget med digitale oversættelser af billeder til lyd, og omvendt – specifikt en undersøgelse af at anvende grafiksoftware som Adobe Photoshop til at generere og manipulere lyd.5

Ved at konvertere lydfiler om til to-dimensionelle billeder, anvendte jeg Photoshops forskellige effekter, filtre og andre billedbehandlingsværktøjer. Jeg anvendte også den omvendte proces: redigering af billeder i lydsoftware.

Med andre ord såkaldt Data Bending, hvor en bestemt type data manipuleres i et andet domæne end hvor det hører til.

Materialitet og autenticitet anser jeg som kernebegreber til forståelsen af, hvorfor det er interessant, udover det historiske i sig selv, at søge tilbage i historien, og genoptage anvendelsen og udforskningen af gamle teknikker i nutidig elektronisk komposition.

Data Bending har, især i Amerikansk tradition, handlet primært om at 'ødelægge' data, for på forskellige måder at få tilfældighedsprægede resultater frem. Min intention var egentlig den modsatte: nemlig at undersøge en række sammenhænge mellem lyd og billede i det digitale domæne, og forsøge at udlede nogle lovmæssigheder og sammenhænge deraf, der kunne benyttes konkret kompositorisk.

Denne arbejdsmetode var egentlig kulminationen på lang tids udforskning af computeren som 'konkret maskine'– en måde at omgå de traditionelle symbolske softwareinterfaces til musikproduktion.

Den optiske synthesizer er således en slags analog version af ovennævnte projekt.

Mere overordnet ser jeg maskinen som et skridt væk fra softwarekomposition generelt, mod en undersøgelse af helt fundamentale aspekter ved elektronisk lydgenerering.

Instrumentets begrænsede funktionalitet kan således også ses som en selvvalgt begrænsning i forhold til 'kompleks' softwarekomposition, hvor de endeløse muligheder kan virke hæmmende for musikalsk udfoldelse, og tenderer mod en særlig digital materialitet. For mig personligt ligger der i undersøgelsen af nye teknikker til lydgenerering og manipulation, også et fascinationsaspekt, og en følelse af at udforske ukendte territorier.

Det at komponere med en maskine man selv har konstrueret, skaber grundlæggende en anden situation, end hvis der anvendes eksisterende, f.eks. kommercielt designede maskiner.

Dels er de lyde maskinen kan frembringe unikke, dels er det helt basalt en særlig fornemmelse at komponere med et hjemmebygget instrument.

Den optiske synthesizer kan, i lighed med et hvert andet instrument, også anskues som en 'kompositionsmodel' (med indlejrede musikhistoriske og kulturelle betydninger) og ikke blot en lydgiver. Da instrumentet ikke har noget klaviatur eller lignende, er det på en vis måde fri for umiddelbart musikalske konnotationer.

Man kan indvende, at konstruktionen af en optisk synthesizer som en fysisk maskine, er en unødigt besværlig måde at skabe klange, der måske lige så godt kunne skabes i en computer eller en mere konventionel synthesizer.(6)

Man kunne også betragte et sådant projekt som en art retro-fetichistisk tilbageskuenhed uden nutidig relevans.

Om der kunne skabes en computeremulering af synthesizeren anser jeg imidlertid som principielt ligegyldigt; foruden at instrumentets interface ville forsvinde eller ændres, ville klangene få en helt anden materialitet, og helt miste historisk klangbund og autenticitet.

Materialitet og autenticitet anser jeg som kernebegreber til forståelsen af, hvorfor det er interessant, udover det historiske i sig selv, at søge tilbage i historien, og genoptage anvendelsen og udforskningen af gamle teknikker i nutidig elektronisk komposition.

  • 1. Ved langsom amplitudemodulation kan der skabes tremolo, ved hurtig amplitudemodulation opstår sum og differensfrekvenser i forhold til grundfrekvensen. Det er primært dette der gør at jeg benævner maskinen en 'synthesizer' og ikke blot en optisk 'mixer' eller afspiller.
  • 2. Den optiske synthesizer er primært inspireret af to lignende instrumenter. Dels 'Optigan-orglet' udviklet af firmaet Mattel i 1970'erne se: http://www.optigan.com/, samt af komponisten Jaques Dudon's mere komplekse 'Photosonic disk instruments' skabt op gennem 1980'erne. Se: http://aeh.free.fr/synthese.htm
  • 3. Eksempelvis kan nævnes russiske Evgeny Scholpo (ca. 1930) , og senere af den Canadiske animator Norman Mclaren (1950'erne, 60'erne)
  • 4. László Moholy-Nagy “Problems of the Modern Film” (1928)
  • 5. For billede og lydeksempler se: http://totem.menneske.dk/BIN/BIN%20DATA%2000-13.htm og: http://www.discogs.com/Batch-Totem-Drawn-By-August/release/1588956

Der findes en stor mængde software der på forskellig vis anvender grafisk syntese, eller grafisk behandling af lyd. F.eks. programmet Metasynth: http://www.uisoftware.com/MetaSynth/index.php Se eks. også Iannis Xenakis UPIC system: http://membres.multimania.fr/musicand/INSTRUMENT/DIGITAL/UPIC/UPIC.htm For hovedmængden af disse gælder det, at et grafisk input kontrollerer digitale oscillatorer eller påvirker forskellige parametre ved disse oscillatorer. Med andre ord anvendes grafikken som styring, ikke som konkret lydforlæg.

Litteratur:
Thomas Y. Levin: “Tones from out of Nowhere”: Rudolph Pfenninger and the Archaeology of Synthetic Sound.
For en kort historisk oversigt over syntetisk lyd, skabt med den optiske metode se: http://www.umatic.nl/tonewheels_historical.html
Et lydeksempel på den optiske synthesizer kan høres her: http://www.dr.dk/P2/lyttilnyt/Aktuelt/20100622160754.htm