IRESAP
I samarbete med företag inom bland andra musikdistribution, nätverkskommunikation och informationsåtkomst önskar projektet genom metodutveckling erbjuda såväl musiker som publik möjligheten att ompröva sändare-mottagare logiken för traditionella konstnärliga evenemang och möjliggöra för en mer interaktiv multimodal upplevelse.
Projekttitel: IRESAP – Informationsåtkomst i inbyggda system för audiovisuella konstnärliga processer.
Projektledare och huvudman: Rikard Lindell, Mälardalens universitet
Medsökande/medverkande: Prof. Henrik Frisk, KMH
Finansiär: KK-stiftelsen
Projektperiod: 2022-2026
Projektets syfte
Projektet utforskar design för musikalisk interaktion mellan deltagare med målet att visa att även ett distribuerat musikframförande kan skapa en känsla av immersion i merged reality. För att skapa möjligheten för denna känsla av immersion i ett event måste tillgången till kontinuerlig information som är relevant för det aktuella sammanhanget distribueras till alla deltagare.
Metod och samarbetsparter
Dessa metoder kommer utvecklas genom de huvudsakliga kompetensområdena hos projektets partners, och inkluderar upplevelsedesign, musik, nätverkskommunikation (Ericsson), informationsåtkomst (Spotify) och gränssnitt för handhållna enheter (teenage engineering).
Väl utformad informationsåtkomst integrerad med kreativa flöden är väsentligt för de konstnärliga processer som forskargruppen ser framför sig. Projektet utforskar design som gör det möjligt för konstnärer att använda och återanvända konstnärligt
material från stora databaser, och vidare, design som stödjer reflektion över konstnärliga beslut som tas i stunden under repetition, improvisation eller framträdande. Denna process kan ytterligare förstärkas genom artificiell intelligens.
Alla stadier i processen, från förberedelserna till själva framförandet, som i sig kan vara både virtuellt och fysiskt, utgör data för detta projekt, och kunskap om den konstnärliga processen är en integrerad del av forskningen.
Många sinnesparametrar är involverade i att skapa närvaro trots fysisk upplösning, och ljudets rumsliga egenskaper är av stor betydelse. Ett musikframförande i skogen som distribueras via 6G-nätverk till publik och andra deltagande musiker är det huvudsakliga objektet för studien. IRESAP har fokus på konstnärlig forskning och design samtidigt som projektet bygger vidare på bidrag från flera, framförallt tekniska, områden. Dessa inkluderar merged reality, informationsåtkomst samt intelligenta och nya användargränssnitt för musikaliska uttryck.
Frågeställningar
Ett antal forskningsfrågor för att uppfylla projektets syften av både konstnärlig och teknisk natur har formulerats men den övergripande forskningsfrågan beskrivs så här:
Vilken design, förstärkt av artificiell intelligens, gör det möjligt för konstnärer att tillsammans använda och återanvända konstnärligt material från stora databaser i realtid, och hur kan denna process förstås som en metod i utveckling av merged reality?
De underliggande frågorna rör utveckling och användning av nya/befintliga instrument, MIR (Music Information Retrieva), AI och musikaliskt framförande i projektets kontext.
Förväntat resultat
Resultaten av projektet förväntas bli:
- tekniska lösningar för musikaliskt framförande med elektroniska instrument,
- ökad kunskap om förutsättningar för musikalisk excellens med elektroniska instrument,
- ökad kunskap om och modeller för konserter i merged reality.
Införandet av ny teknik och nya möjligheter förändrar oundvikligen den konstnärliga praktiken. Genom studier av framföranden inför publik med instrumenten i projektet förväntas forskargruppen även bidra till metodutvecklingen inom fältet.