Att både se och höra musiken

Kan musik bli mer tillgänglig när vi förstärker lyssnarens upplevelse? Forskning visar att det vi ser även påverkar det vi hör.

Klassisk musik presenteras sällan visuellt, och gör det så är det på ett traditionellt vis. Det finns en stark konsensus att musiken ska räcka i sig och att bilder som förstärker musiken inte behövs. Johan Fröst, klassisk pianist och doktorand på KMH, såg ett område som behövde utvecklas.

Om den klassiska musiken ska ha en framtid och kännas relevant så måste presentationen av den utvecklas.
Hans vision var att skapa ett visuellt material som förstärker upplevelsen av musiken utan att den visuella berättelsen tar över.

Synen tar upp cirka åttio procent av våra sinnesintryck. Om vi hör och ser något samtidigt, blir hörseln påverkad av det vi ser.

Johan Fröst ville inte göra konventionella musikvideor utan skapa ett visuellt material som istället förstärker den mångfacetterade texturen i ett stycke av till exempel Debussy. För att göra det satte han ett gäng små actionkameror, som namnet skvallrar har de använts till att filma actionscener, på sina händer, fötter och inne i pianot. Han styrde de via appar och filmade sig själv när han spelade.

Hur skulle jag sen använda det här filmmaterialet utan att det blev en bildredovisning? Jag testade att lägga flera filmer ovanpå varandra och lyfta saker ut och in med olika grader av genomskinlighet och då fick jag en väldigt levande film. I vissa fall har jag också använt färger för vissa ackord. Och ett tema i musiken har alltid en bildreferens.

Resultatet blir en väldigt levande, suggestivt visuell känsla. Musiken visualiseras med form och färg, eller ibland, avsaknad av färg. Känslan blir nästan att befinna sig i instrumentet när det spelas.

Går det att göra det live? Musiken måste ju vara i exakt synk med filmen om det ska få effekt?

Ja, jag har utvecklat en metod tillsammans med tekniker på Stockholms Konstnärliga Högskola och Roberto Bresin, professor i mediateknik och min handledare på KTH, där vi med hjälp av ett dataprogram som kan synka film och livespel. Jag har med mig en person på mina konserter som sitter vid en skärm som har split screen som både visar filmen och partituret. Den personen kan följa med i mitt spel via partituret och samtidigt vrida hastigheten på filmen så att den nästan exakt överensstämmer med det jag spelar.