P.1

M U S I CCOMMUNICATION

COLLABORATIVE

P.2

P.3

COLLABORATIVE MUSIC COMMUNICATION

FREDERIK LAGRANGEPROMOTOREN: SANDY CLAES EN RUDI KNOOPS

MASTERCOMMUNICATIE & MEDIA DESIGN

2011-2012

WWW.FREDDIESIGN.BE

KeywordsMusic, Multi-user instruments, Collaboration, Social Interaction, Communication, Visual feedback

P.4

ABSTRACT

Interactieve muziektafels (tabletops) zoals de reacTable, zijn uitermate geschikt voor collaboratieve muziekactiviteiten, daar de fysieke interface gedeeld kan worden met andere gebruikers. De communicatiestroom die tussen de verschillende gebruikers plaatsvindt tijdens een collaboratieve muziekactiviteit, is cruciaal voor de kwaliteit van een elektronisch muziekstuk. Tot op heden is er in de literatuur beperkt onderzoek gevoerd naar de communicatie en coördinatie tussen de gebruikers onderling. In dit onderzoek zijn wij geïnteresseerd in technologische hulpmiddelen die de communicatie tussen de gebruikers kunnen versterken. Als start van het onderzoek hebben we een simpele interactieve muziektafel ontworpen voor vier personen. Via video-observaties en half-gestructureerde interviews worden de communicatiestromen tussen de gebruikers geanalyseerd. Hieruit blijkt dat de communicatie tijdens het collaboratieve muziekproces vooral gerelateerd is aan de structuur en de opbouw van het elektronische muziekstuk. Op basis van deze inzichten hebben we een prototype ontwikkeld dat de gewenste muziekstructuur van elk individu visualiseert en omzet naar een muzikaal schema voor de gebruikers. Designtekortkomingen van het prototype worden iteratief verwerkt aan de hand van user-testing, zodat de communicatie tussen de gebruikers bevorderd wordt zonder dat de kwaliteit van de muziekbeleving verloren gaat.

1. INLEIDING 21.1. RELEVANTIE EN ONDERZOEKSVRAAG 31.2. METHODOLOGIE 4

2. L ITERATUURSTUDIE 62.1. COLLABORATIE 62.2. INTERACTIE 72.3. COMMUNICATIE 82.4 NETWORKED MUSIC SYSTEMS 12

2.4.1. Co-located Musical Networks 142.4.2. Remote Music Performance Systems 162.4.3. Shared Sonic Environments 20

3. ONDERZOEK & PROTOTYPES 213.1. SOFTWAREKEUZE 21

3.1.1. Ableton Live 223.1.2. Pure Data / Arduino 223.1.3. MIDI / OSC 23

3.2. DEELONDERZOEKEN 26

3.2.1. Deelonderzoek 1 263.2.2. Deelonderzoek 2 293.2.3. Deelonderzoek 3 313.2.4. Deelonderzoek 4 333.2.5. Deelonderzoek 5 35

4. THE COLLABORATIVE MUSIC COMMUNICATOR (COMUCOM)

4.1. CONCEPT 384.2 INTERFACE 384.3 DESIGN 39

4.3.1. beginscherm 394.3.2. tempo geïndexeerde multisliders 394.3.3. feedback buttons 39

4.4 TECHNISCHE BELEMMERINGEN 404.4.1 onderlinge synchronisatie 404.4.2. netwerk 404.4.3. vaste rolverdeling 41

5. CONCLUSIE 425.1. CONCLUSIE 425.2. DISCUSSIE EN TOEKOMSTIG ONDERZOEK 42

RACE OUT 44

DANK AAN 44

BIBLIOGRAFIE 45

INHOUDSTAFELABSTRACTINHOUDSTAFELLI JST VAN FIGURENLI JST VAN TABELLENLI JST VAN GRAFIEKEN

RACE IN 1 40

LI JST VAN FIGURENINDABA SINGLE USERINTERFACE 2REACTABLE: INTERACTIVE TABLETOP 3EJAMMING : REAL-TIME ONLINE JAMMEN 3ITERATIEF DESIGN 5MAPPING COMMUNICATUE 8MAGNETIC MAN’S TUNING-IN RELATIONSHIP 9REMOTE : VIDEO-MEDIATED COMMUNICATION 10CO-LOCATED : FACE-TO-FACE COMMUNICATION 10INTERVIEW JOURNEY OF JEN 11MAPPING COMMUNICATION IN MUSICAL NETWORK SYSTEMS 13MULTI-USER INSTRUMENT 14REACTABLE 14REACTABLE 15AUDIOCUBES 15AUDIOPAD 15IWAI’S TABLE 15JAM-O-WORLD 15XENAKIS 15PROTOTYPE TABLETOP 15TELE-PRESENCE 16DIAGRAM REMOTE COLLABORATIVE MUSICAL PERFORMANCE 16EJAMMING 17SOUNDJACK 18JACKTRIP 18JAMLINK 18INDIVIDUAL DELAYED FEEDBACK TOPOLOGY 18NINJAM 19PEERSYNTH 19PUBLIC SOUND OBJECTS 20AURACLE 20WEBDRUM 20THE HORGIE 20ABLETON LIVE 22ARDUINO SOFTWARE EN HARDWARE 22PURE DATA 22VOORBEELD MIDI EN OSC BERICHT 23JAZZMUTANT LEMUR 23LIINE IOS LEMUR 23LEMUR EDITOR 24OPBOUW TABLETOP 26FACE-TO-FACE SETTING 27SFEERBEELD TESTSESSIE 28COMUCOM #1 30COMUCOM #1 IN FTF-SETTING 30INDIVIDUELE MIDICONTROLLER 31OPSTELLING COMUCOMS 32COMUCOM #2 33MONITORING PANEL 33

TESTSESSIE OPSTELLING 34OPSTELLING COMUCOMS 35BEGINSCHERM 35TEMPLATE 1 35TEMPLATE 2 36TESTSESSIE OPSTELLING 36SCHEMA DATAUITWISSELING 38COMUCOM INTERFACE 38INTERFACE OPDELING 38BEGINSCHERM 39MULTISLIDERS 39FEEDBACK BUTTONS 39LEMUR PROGRAMMEEROMGEVING 40LIINE COMMUNITY 40SCHEMA DATAUITWISSELING 41FLEXIBELE ROLINGAVE 41FINGERFLUX 43LIGHTJOCKEY 43

LI JST VAN TABELLENTABEL 1. FACE-TO-FACE VS. OTHER TYPES OF COMMUNICATION 9TABEL 2. SOFTWARE KANDIDATEN 21TABEL 3. OVERZICHT DEELONERZOEKEN 25TABEL 4. OVERZICHT TAKEN 27TABEL 5. ENQUÊTE-STELLINGEN 29

LI JST VAN GRAFIEKENGRAFIEK 1. ANTWOORDEN DEELONDERZOEK 1 29GRAFIEK 2. ANTWOORDEN DEELONDERZOEK 2 31GRAFIEK 3. ANTWOORDEN DEELONDERZOEK 3 32GRAFIEK 4. ANTWOORDEN DEELONDERZOEK 4 34GRAFIEK 5. ANTWOORDEN DEELONDERZOEK 5 37

MUSICCOMMUNICATION

COLLABORATIVE

P.1

RACE IN

Sinds 2005 produce ik elektronische muziek met behulp van midi-controllers. Dit zijn fysieke apparaten waarmee ik mijn muzieksoftware (ableton live) bestuur. Door de jaren heen is mijn interesse in dit veld gegroeid naar live music performances. Via een midi-controller kan ik nu een volledige muziekset individueel opbouwen. Doch zou ik graag mijn vrienden willen betrekken in de opbouw van mijn live sets zodat we samen muziek kunnen maken. Deze gedachtegang heeft me aan het denken gezet en mijn interesse naar collaboratieve muziekprocessen een boost gegeven.

P.2

1. INLEIDING

Muziek is voor vele mensen een communicatiemiddel of een emotionele uitlaatklep en ondersteunt identiteiten, vriendschappen en hechte gemeenschappen. Verschillende activiteiten met betrekking tot het creëren en consumeren van muziek zijn in essentie collaboratief. De kwaliteit en verspreiding van computertechnologieën in brede zin is exponentieel toegenomen waardoor er een groot potentieel is gecreëerd voor het ontwerpen van nieuwe interfaces en muzieksystemen (Ahmed, 2008). Een goed voorbeeld hiervan zijn muzikale tabletops of multi-user instrumenten. In dit onderzoek worden deze twee termen als synoniemen gebruikt.

In het algemeen kunnen we stellen dat een interactieve tabletop de vorm van een tafelblad aanneemt, waaraan een computer is verbonden die de gebruiker tot interactie moet uitnodigen via een (multitouch) surface of tactiele elementen. Collaboratieve muzikale interfaces zijn volgens Jorda (2005) niet enkel ontwikkeld om de interactie en het reactievermogen tussen de gebruiker en de interface te vergemakkelijken, maar ook om de sociale interactie tussen de gebruikers onderling te stimuleren. De sociale interactie die tussen de verschillende gebruikers plaatsvindt, is een cruciale factor voor de kwaliteit van het collaboratieve muziekproces. In deze studie onderzoeken we op iteratieve wijze hoe we de sociale interactie en coördinatie tussen de gebruikers tijdens een collaboratief muziekproces kunnen ondersteunen.

Het idee dat een groep muzikanten samenkomt om in iemands kelder of muziekstudio te “jammen” (al dan niet op een multi-user instrument) is ons allen bekend. Daar vele jongeren alsook technologische avonturiers, zich naar virtuele werelden hebben begeven ter vervanging van echte fysieke activiteiten, is het geen verrassing dat ook online jamming enorm populair is geworden. Door de toegankelijkheid en de betrouwbaarheid van het huidige internet en betaalbare computers is “online collaborative music-making” voor vele gebruikers een dagelijkse activiteit geworden. Moderne websites zoals Indaba of freesoundproject.org maken het mogelijk voor gebruikers om samen te werken aan muziekstukken waar dit voorheen onmogelijk was vanwege de fysieke afstand. De meeste van deze websites ondersteunen enkel een asynchrone vorm van muziekcreatie. Dit betekent dat bepaalde muziekstukken worden geüpload naar de server, waarna andere gebruikers vervolgens deze stukken kunnen downloaden, bewerken en terug uploaden. Desondanks deze vorm van online muziekcreatie enorm populair is, behoort deze benadering niet tot het onderzoekskader van deze studie.

In dit onderzoek focussen we ons op real-time (synchrone) improvisatie die zowel online kan plaats vinden als in een lokale setting waar de gebruikers fysiek samen zijn. Deze indeling op basis van geografische locatie wordt gekaderd binnen Networked Music Systems en kan zowel remote als co-located zijn. Remote betekent dat de gebruikers niet fysiek op eenzelfde geografische plaats aanwezig zijn en zich op een afstand van elkaar bevinden. Co-located duidt op een situatie waar alle gebruikers zich op eenzelfde fysieke plaats bevinden. We leggen

de nadruk op de communicatie en de coördinatie die tot stand komt tijdens deze collaboratieve muzieksessies tussen de gebruikers. Hierbij is het belangrijk te vermelden dat we ons beperken tot elektronische muziek.

Deze studie start met de onderzoeksvraag en de maatschappelijke relevantie. Hierna worden de gehanteerde onderzoeksmethodes kort voorgesteld. Aan de hand van Networked Music Systems omschrijven we het domein waarbinnen het ontwikkelde prototype zijn meerwaarde kan betekenen. In het kwalitatief onderzoek worden de gebruikte software en hardware kort voorgesteld, gevolgd door vijf deelonderzoeken. Deze deelonderzoeken weerspiegelen het iteratief ontwerp van het prototype. Hierna wordt het finale prototype, de “Collaborative Music Communicator” voorgesteld. Daarna wordt de algemene conclusie geformuleerd die een globaal beeld weergeeft van het eigen onderzoek en de voornaamste resultaten. We sluiten af met enkele beperkingen en suggesties voor toekomstig onderzoek.

INDABA SINGLE USERINTERFACE

P.3

1.1. RELEVANTIE EN ONDERZOEKSVRAAGInteractieve tabletops (co-located) zijn vaak

ontworpen om de usability te verhogen en de interactie met de tabletop intuïtiever te maken (Houston, 2009). Hoewel de bevordering van de communicatie in collaboratieve activiteiten momenteel een belangrijk punt is binnen Human Computer Interaction, in het kader van non-verbale sociale interactie (Preece et al, 2002), is er in de literatuur maar beperkt onderzoek gedaan naar de communicatie en coördinatie tussen de gebruikers onderling.

Online is er een sterke expansie van websites die het mogelijk maken om collaboratief muziek te maken met gebruikers die geen gemeenschappelijke locatie delen (remote) en dit zowel synchroon als asynchroon. Helaas leggen dergelijke websites de nadruk op single-user userinterfaces waardoor de concentratie van de gebruiker naar de computer gaat en niet naar het groepsgebeuren (Hilliges et al, 2007). Dit is in contrast met de sociale context en de sociale interactie die noodzakelijk is voor een collaboratief

muziekproces. Dergelijke websites bieden vaak onvoldoende hoogstaande vormen van communicatie aan die gebruikers kunnen inzetten wanneer zij met elkaar in real-time willen communiceren.

We kunnen stellen dat tegenwoordig individuen frequenter samenkomen om een kunstwerk of een muziekstuk te ontwerpen. Hierdoor verschuift het paradigma binnen de digitale kunst van een individuele benadering naar een meer collaboratieve benadering (Edmonds et al, 2002).

Een analyse van de sociale interactie tussen gebruikers in een remote of co-located collaboratief muziekproces moet ons helpen een duidelijker inzicht te geven in de manier waarop gebruikers met elkaar communiceren en hoe we vervolgens de collaboratieve interactie kunnen verbeteren.

In tegenstelling tot de meeste muziekgenres is elektronische dansmuziek sinds haar ontstaan in de jaren tachtig opgenomen geweest door verschillende klassen, rassen, religies en culturen (Reynold, 1998). Daar wereldwijd het aantal elektronische amateurmuzikanten toeneemt ten gevolge van nieuwe toegankelijke technologieën, worden online

music communities een verzamelplaats voor cross-culturele interactie (Lerman, 2011). Dit is een extra motivatie om een prototype te ontwikkelen waarmee amateurmuzikanten in real-time kunnen communiceren, ongeacht hun taal of cultuur.

Professionele muzikanten bevinden zich vaak in een volledige immersie wanneer zij een muzikale activiteit uitvoeren. Dit persoonlijk gevoel wordt ook omschreven als “flow”. Wanneer de verschillende personen in een collaboratief muziekproces hun immersie kunnen aanhouden, verhoogt de productiviteit van de groep met betrekking tot de muzikale activiteit. Daarom is het bevorderen en het ondersteunen van productieve conversaties en een vlotte communicatie tussen de gebruikers een cruciale factor (Sawyer, 2007)! We formuleren de volgende onderzoeksvraag:

Hoe kunnen technologische hulpmiddelen de onderlinge communicatie tussen gebruikers ondersteunen tijdens een collaboratieve elektronische muzieksessie?

We trachten een prototype te ontwikkelen dat beginners moet helpen duidelijk te communiceren wanneer zij synchroon willen improviseren binnen het elektronische muziekgenre. Het prototype moet geschikt zijn voor zowel Co-located Musical Networks als voor Remote Music Performance Systems. Beide settingen zijn twee vormen van synchrone collaboratie, behoren tot Networked Music Systems

REACTABLE: INTERACTIVE TABLETOP

EJAMMING : REAL-TIME ONLINE JAMMEN

P.4

en verschillen op basis van de geografische locatie (Barbosa, 2006). De doelgroep van dit onderzoek zijn non-muzikanten (beginners of amateurs) die niet de ambitie hebben om een professionele muzikant te worden. Door het stijgende aanbod aan multi-user instrumenten (co-located) en de toename van online collaboratieve improvisatiewebsites (remote), groeit het aantal gebruikers die interesse tonen voor collaboratieve muzieksessies. Deze expansie maakt onze doelgroep zeer relevant, daar deze gebruikers gelijke eigenschappen vertonen met onze doelgroep. Zo stelt Blaine en Fels (2003) dat multi-user instrumenten voornamelijk ontworpen zijn voor non-muzikanten en online improvisatiewebsites zich vooral richten naar amateur-muzikanten (Weinberg, 2003).

1.2. METHODOLOGIE

Om het onderzoek te kunnen staven en een duidelijke richting te kunnen geven aan het ontwerp hanteert deze studie verschillende onderzoeksmethoden. Bij aanvang van dit onderzoek was het niet duidelijk welke richting het onderzoek zou uitgaan en in welke context het prototype zou plaatsvinden.

Alvorens we gestart zijn met het ontwerp van de muzikale tabletop die wordt ingezet als onderzoeksmedium, hebben we eerst fundamentele designoverwegingen gemaakt zodat we de essentiële aspecten van de sociale interactie die plaatsvindt tussen de gebruikers, gemakkelijker kunnen analyseren.

Een uitgebreide literatuurstudie over collaboratief muziek maken heeft ons het nodige inzicht en de nuttige informatie gegeven om kritisch en reflecterend onderzoek uit te voeren. Uit de verzamelde informatie hebben we twee mappings gemaakt. Deze hebben als doel het geheel visueel in kaart te brengen, zodat we de informatie naar een begrijpbaar geheel kunnen herleiden. Hierdoor kunnen we verbanden leggen die in eerste instantie niet zichtbaar zijn.

De literatuurstudie wordt vervolgens aangevuld met een half-gestructureerd interview dat reeds in een vroeg stadium werd afgenomen. Dit interview geeft ons meer inzicht in de manier waarop elektronische improvisatiemuzikanten met elkaar communiceren.

Met de analyse van niet-participatieve observaties trachten we inzicht te krijgen in de totstandkoming van de verschillende rollen onder de gebruikers (leider of volger), het beslissingsproces tussen de gebruikers en de coördinatie tijdens het collaboratief muziekproces. Een analyse van de sociale interactie tussen de gebruikers in een collaboratief muziekproces moet ons helpen om de collaboratieve interactie te verbeteren en een duidelijker inzicht te geven in hoe de gebruikers met elkaar communiceren.

Gedurende het onderzoek wordt veel data verzameld met behulp van een videocamera. Video-opnames bieden tal van voordelen omdat de gemaakte opnames kunnen worden herbekeken en de interactie die plaatsvindt tussen de gebruikers nauwkeurig geanalyseerd kan worden.

Het onderzoek zal bestaan uit vijf opeenvolgende deelonderzoeken, die uitgevoerd zullen worden door twee groepen van vier personen: een groep bestaande uit twee experten en twee beginners, en een groep van vier beginners. De twee experten worden gebruikt als referentie. De doelgroep van dit onderzoek zijn beginners of amateurs (non-muzikanten) die graag collaboratief muziek maken. Het eerste deelonderzoek moet data generen om de gecreëerde tabletop te evalueren. Tijdens dit deelonderzoek moeten de deelnemers drie verschillende taken uitvoeren. Hierna krijgen de deelnemers een korte vragenlijst aangeboden die informatie zal verzamelen over het profiel van de deelnemers en hun ervaringen tijdens het collaboratief muziekproces. Deze vragenlijst voorziet ons van beschrijvende informatie. Op basis van de feedback die we verzamelen uit het eerste

P.5

deelonderzoek, wordt het prototype ontwikkeld. Daarna wordt het tweede deelonderzoek uitgevoerd. Tijdens dit deelonderzoek wordt het aangepaste prototype opnieuw getest en geëvalueerd door de doelgroep. Vervolgens herhalen we de manier van aanpak (drie taken) zoals in het eerste deelonderzoek. De nieuwe informatie wordt opnieuw verwerkt in het derde deelonderzoek, enzovoort, waardoor er een iteratief design ontstaat.

Met behulp van user-centered design wordt de bruikbaarheid bepaald en fouten in het prototype vastgesteld. De gebruikers zelf kunnen geen veranderingen aanbrengen maar slechts designtekortkomingen openbaren (Nesset & Large, 2006). Hierdoor kunnen we nagaan of het concept aan zijn doelstellingen voldoet. Na ieder deelonderzoek worden de observaties geanalyseerd en trachten we algemene patronen te vinden. Deze veralgemeningen moeten een duidelijk inzicht geven in het sociaal interactieproces. We starten in dit onderzoek vrij snel met het ontwikkelen van prototypes. Door deze aanpak kunnen we de nodige ervaring opdoen die we gebruiken om de volgende prototypes te ontwikkelen. De aanpassingen van de verschillende prototypes gebeuren op basis van research through design. Via rapid prototyping is het mogelijk om relatief snel het idee, een fysieke

vorm te geven waardoor grote ontwerpfouten tijdig uit het proces gefilterd kunnen worden. Zo trachten we werkende modellen te construeren van het uiteindelijke ontwerp. Ons onderzoeksopzet is geslaagd wanneer we een duidelijk antwoord kunnen formuleren op onze onderzoeksvraag en we getracht hebben de sociale interactie tussen de gebruikers met behulp van technologische hulpmiddelen te verbeteren, zonder dat de kwaliteit van de ervaring verloren is gegaan.

ITERATIEF DESIGN

P.6

2. L ITERATUURSTUDIE

Collaboratief muziek maken is een proces dat breed benaderd kan worden. In deze verkennende fase creëren we een kader waarin we de elementen met betrekking tot collaboratief muziek maken meer duiding geven. Collaboratief muziek maken houdt in dat men in groep real-time samen muziek maakt. Tijdens deze muzikale collaboratie ontstaat naast, de interactie die tussen de gebruiker en het virtueel - of multi-user instrument, ook interactie tussen de gebruikers onderling. De communicatie die hierdoor tot stand komt kan zowel face-to-face (direct) of gemedieerd (indirect) verlopen. De aard van deze communicatie tijdens deze gemeenschappelijke groepsactiviteit wordt bepaald door de geografische locatie. Door Computer Supported Collaborative Work op te delen op basis van tijd en ruimte, omkaderen we verschillende settingen binnen Networked Music Systems waarin het te ontwikkelde prototype kan functioneren.

2.1. COLLABORATIE

Door de toegenomen technologische ontwikkelingen en de lagere kost van hardware, zijn er meer innovatieve vormen van interactie ontwikkeld. Onderzoek naar het ontwerp van muzikale interfaces heeft een verschuiving vastgesteld van ingewikkelde single-user interfaces, die initieel bestemd zijn voor experten, naar meer collaboratieve multi-user interfaces voor beginners, waar simpliciteit en wederzijdse betrokkenheid voorop staan (Ahmed, 2008). Multi-user instrumenten zijn een goed

voorbeeld van dergelijke innovatieve ontwikkelingen. Bovendien zijn deze uitermate geschikt voor collaboratieve muziekactiviteiten, daar de fysieke interface gedeeld kan worden met de verschillende gebruikers.

In een collaboratief proces is “interdependentie” (Weinberg, 2003) of “reciprociteit” (Tanaka, 2006) een belangrijke voorwaarde die een collaboratief project onderscheidt van een individuele realisatie. Interdependentie is de onderlinge afhankelijkheid tussen de gebruikers en duidt op een situatie waar de gebruikers real-time beïnvloed worden door elkaars handelingen en vervolgens hierop anticiperen. Reciprociteit betekent wederkerigheid en staat voor de wisselwerking tussen de gebruikers. Het is een actie of reactie van een gebruiker op het gedrag van een andere gebruiker.

Wanneer collaboratie tussen gebruikers online (remote) plaatsvindt, duiken naast de term collaboratie ook de termen coöperatie en collectieve creatie veelvuldig op. Vaak worden desbetreffende termen dan ook door elkaar gebruikt. (Blaine en Fels 2003; Weinberg 2003; Jorda 2005; Barbosa 2008) Wanneer we remote music performance systemen benaderen vanuit het idee van wisselwerking, kunnen we vaststellen dat deze drie termen; collaboratie, coöperatie en collectieve creatie, respectievelijk van een intense naar een minder intense vorm van wisselwerking gaan. Een duidelijke afbakening is echter moeilijk te maken. Doch tracht Dillenbourgh (1999) collaboratie te definiëren als volgt:

“Collaboration is a process by which individuals negotiate and share meanings relevant to the problem-solving task at hand (…).

Collaboration is a coordinated, synchronous activity that is the result of a continued attempt to construct and maintain a shared

conception of a problem. (1999: 70)”

Dillenbourg (1999) stelt dat collaboratie een gecoördineerde en gesynchroniseerde activiteit is. Coöperatie is een activiteit waar gebruikers taken opdelen, uitvoeren en vervolgens weer samenvoegen in een finaal project waardoor er minder wisselwerking plaatsvindt.

In het domein van Computer Supported Collaborative Work vinden we nog drie aspecten die een sleutelrol vervullen in het realiseren van collaboratieve processen. Deze aspecten zijn: groepsbewustzijn, groepskoppeling en aanpasbaarheid (Cockburn & Jones, 1995). Het groepsbewustzijn beschrijft de mogelijkheid van het individu om wederzijdse kennis te verwerven van elk individu in functie van het collaboratief proces. Bovendien helpt een goed groepsbewustzijn de medegebruikers om activiteiten beter te coördineren. Groepskoppeling verwijst naar de mogelijkheid om een groepstaak op te delen in verschillende taken die vervolgens weer worden samengevoegd en gere-integreerd in de groepstaak. Aanpasbaarheid duidt op de mogelijkheid om als gebruiker de individuele technologie naar eigen hand te zetten. Deze drie aspecten moeten zo goed mogelijk ondersteund worden zodat de interactie en communicatie die kan plaatsvinden tussen de gebruikers op een natuurlijke manier kan verlopen. Blaine en Fels (2003) duiden aan dat collaboratieve interfaces de communicatie

P.7

en expressies tussen de medegebruikers moeten vergemakkelijken en dat daarom de werking van de interface aanschouwd moet worden vanuit zijn context. Deze context wordt bepaald door de plaats, de media en de focus (gebruikersfocus t.o.v. publieksfocus).

2.2. INTERACTIE

Tabletopinstrumenten kunnen de ideale setting vormen voor collaboratieve muziekactiviteiten, daar de interface gedeeld kan worden met de medegebruikers, de interactie met de digitale data meer belichaamd wordt en er meer opportuniteiten kunnen opduiken om te interageren met externe factoren (Xambo et al., 2011). Bij tabletopinstrumenten is de interactie die ontstaat van een meer fysieke vorm in vergelijking met een traditioneel scherm-gebaseerde opstelling. Hierdoor is het lichaam meer relevant voor de interactie (Dourish, 2001). Naast de medegebruikers, kan ook de omgeving de interactie beïnvloeden. Dit proces benoemen we als co-located social interactions (Hornecker & Buur, 2006).

Volgens Blaine en Fels (2003) beperken de meeste collaboratieve muzieksystemen (zoals multi-user instrumenten) de muzikale mogelijkheden, zodat beginners makkelijker kunnen deelnemen aan een collaboratief muziekproces. Zij wijzen er vervolgens ook op dat de kwaliteit van de ervaring die een gebruiker opdoet tijdens een collaboratieve muzieksessie, belangrijker is dan de muzikale kwaliteit van het uiteindelijk gecomponeerde muziekstuk. Mogelijkheden tot sociale interactie, communicatie

en verbondenheid met andere gebruikers zijn van belang om te voldoen aan deze ervaring.

Tabletopinstrumenten kunnen makkelijker aan deze voorwaarden voldoen omdat iedereen zich fysiek op dezelfde plaats bevindt en elkaar in de juiste omstandigheden kan zien. Face-to-face communicatie in een lokale opstelling heeft dan ook voordelen ten opzichte van elektronisch gemedieerde interactie, daar acties visueel kunnen worden waargenomen en de gebruikers zowel verbale als non-verbale communicatie kunnen gebruiken. Ook in online omgevingen waar muzikanten niet afhankelijk zijn van eenzelfde geografische ruimte, maar met elkaar interageren via het medium is er interactie tussen de gebruikers. De onderlinge interactie wordt in dit geval niet veroorzaakt door het directe, onmiddellijke contact, maar wordt gemedieerd door het netwerk, de computer en de software. Gemedieerd duidt op het gebruik van een bepaald medium bij een communicatieoverdracht.

Interactie remediëren is een belangrijke uitdaging in remote music performance systems (een typologie binnen Networked Music Systems waar gebruikers vanuit verschillende geografische locaties met elkaar zijn verbonden) omdat visueel vanzelfsprekende of zintuiglijke signalen (zoals ademhaling en gebaren) volledig verdwijnen uit deze context. Matthew Wright (2005) beweert dat netwerken in het nadeel zijn wanneer zij als overdrachtsmedium gebruikt worden. Dergelijk medium maakt enkel een houterige vorm van muzikaal contact mogelijk over een grote afstand die nooit zo goed kan zijn als face-to-face communicatie. Gebruikers die collaboratief

samenwerken op eenzelfde geografische locatie, ervaren meer spontane interactie dan wanneer zij elkaar niet kunnen zien. Zolang essentiële onderdelen van online improvisatiesessies niet in een technologisch medium opgenomen kunnen worden, zal computer gemedieerde communicatie volgens Wright (2005) nooit zo goed beoordeeld worden als face-to-face communicatie. Bovendien ondervinden dergelijke vormen van gemedieerde communicatie ook nadeel van netwerk vertragingen en mogelijk beperkte bandbreedte. Het integreren van video-interactie tijdens online improvisatiesessies bijvoorbeeld, zou een enorme grootte aan extra data doen ontstaan, waardoor er vertraging (latency) op het netwerk wordt gevormd, dat op zijn beurt de muzikale improvisatie onmogelijk maakt. We kunnen dus stellen dat de fysieke nabijheid van de gebruikers inherent primeert boven technologisch gemedieerde communicatie. Computernetwerken zouden nieuwe en unieke vormen van muzikale communicatie en collaboratie moeten voorzien. We zouden technologische hulpmiddelen moeten ontwikkelen die de gebruikers willen gebruiken wanneer zij ook de optie hebben om face-to-face te communiceren (Hollan & Stornetta, 1992).

P.8

2.3. COMMUNICATIE

Thompson (1995) onderscheidt drie type interacties: (1) face-to-face, (2) gemedieerd en (3) gemedieerde quasi-interactie. Gemedieerde quasi-interactie is een vorm van massacommunicatie (monoloog) en is niet relevant voor deze studie. Face-to-face (FTF) en gemedieerde communicatie vertegenwoordigen vormen van communicatie die ontstaan wanneer gebruikers met elkaar interageren. Daar deze term zeer omvangrijk is, spitsen wij ons toe op computer mediated communication (CMC). CMC is een “communicatieve transactie” die tot stand komt door het gebruik van een netwerk van computers. We kunnen aannemen dat FTF een directe, onmiddellijke vorm van communicatie is en CMC een

indirecte, gemedieerde vorm. FTF-communicatie komt uitsluitend voor wanneer personen fysiek aanwezig zijn op eenzelfde plaats en elkaar kunnen zien; bijvoorbeeld rond een muzikale tabletop. CMC kan ingezet worden wanneer gebruikers zich niet op eenzelfde geografisch plaats bevinden. Zij zijn via een netwerk met elkaar verbonden waardoor zij boodschappen kunnen uitwisselen. Zij hoeven dus niet dezelfde geografische locatie te delen. Er zijn twee soorten CMC, synchrone communicatie en asynchrone communicatie. Synchrone communicatie betekent dat alle gebruikers simultaan met elkaar verbonden zijn, asynchrone communicatie duidt op vertragingen, waardoor de gebruikers om de beurt zender en ontvanger vertegenwoordigen. Voorbeelden van asynchrone communicatie zijn

blogs, email en forums. Omdat dit onderzoek zich richt op real-time collaboratie, verdiepen wij ons enkel in synchrone communicatie. Voorbeelden van synchrone communicatie zijn videoconversaties of chatrooms.

Het is belangrijk in het kader van dit onderzoek om FTF en CMC reeds in verband te brengen met Computer Supported Collaborative Work (CSCW), dat hierna wordt behandeld in Networked Music Systems. Door CSCW in te delen op basis van tijd en ruimte, benoemen we twee settings waarin beide vormen van communicatie ingezet kunnen worden. Enerzijds hebben we Co-located Musical Networks en anderzijds Remote Music Performance systems.

MAPPING COMMUNICATUE

P.9

In een Co-located Musical Network communiceren gebruikers vooral real-time via FTF-communicatie daar zij eenzelfde fysieke locatie met elkaar delen (CMC is ook mogelijk). In een Remote Music Performance system berust de onderlinge communicatie op CMC, omdat de gebruikers simultaan en online met elkaar zijn verbonden vanuit verschillende geografische locaties.

Uit dit overzicht leiden we af dat de effectiviteit van de communicatie kan afnemen wanneer er minder aanwijzingen of signalen zijn die de ontvanger kunnen helpen om de boodschap te begrijpen. Face-to-face is de meeste complete vorm van communicatie en omvat aanwijzingen zoals: woorden, gezichtsuitdrukking, gebaren, lichaamstaal, intonatie, kamertemperatuur, enzovoort. Indien er een aspect ontbreekt in de mondelinge overdracht, zijn er nog voldoende aanwijzingen die de boodschap kunnen complementeren indien deze congruent zijn met de initiële betekenis. Uiteraard zal het bericht het meest duidelijk zijn wanneer alle aanwijzingen of cues aanwezig zijn. Video-conferencing lijkt

bijna even effectief als FTF communicatie. De enige aanwijzing die hier ontbreekt is de gedeelde aanwezigheid of de omgeving die de gebruikers van extra informatie kan voorzien met betrekking tot de inhoud van de boodschap.

De social presence theorie (Short, Williams, & Christie, 1976) stelt dat media die sterk lijken op face-to-face communicatie meer aanwijzingen

(cues) voorzien voor sociale presence of sociale aanwezigheid. Deze stelling impliceert dat de perceptie van het “samen zijn” of elkaars aanwezigheid voelen, tot een communicatief succes leidt. Het idee dat “samen zijn” noodzakelijk is voor het collaboratief muziek maken is algemeen aangenomen. Toch is fysieke aanwezigheid niet altijd nodig om gebruikers het gevoel te geven om samen te zijn.

Volgens Reeves en Nass (1996) kan social presence ook zonder rijke media signalen ervaren worden. Rijke media zijn media die veel verschillende soorten informatie of cues kunnen overbrengen. In hun media-equation-theorie stellen de auteurs

media gelijk aan het echte leven. Zij illustreren dat mensen op dezelfde psychologische en sociale wijze automatisch en natuurlijk reageren en interageren met media (computers, televisie, etc.) als met mensen.

Het gevoel van aanwezigheid wordt vaak gebruikt om de effectiviteit van virtual reality systemen te toetsen. In onderzoek naar virtual reality systemen, verwijst presence naar het gevoel dat men zich werkelijk in de gesimuleerde wereld aanwezig voelt en copresence naar het gevoel dat men samen met de partner(s) in de omgeving aanwezig is. Ondanks het feit dat mediated communication en virtual reality geen gelijken zijn, is het gevoel van samen zijn tijdens een collaboratief muziekproces een kritische succesfactor (Schober, 2006).

Schültz (1951) stelt dat een succesvolle manier van collaboratief muziek maken enkel mogelijk is in een gedeelde fysieke ruimte. Hierbij vermeldt hij expliciet dat muzikanten verwikkeld zijn in een “tuning-in relationship”. Dit is een situatie waar muzikanten hun muzikale interpretaties samenkomen in tijd en ruimte. Volgens Schültz is dit proces enkel mogelijk in een “echte” face-to-face verhouding.

Visuals Voice Face Body PresenceWords

Face-to-Face

Video Conferencing

Telephone

Texting

Bron: eigen samenstelling op basis van people-communication.com, 2010

TABEL 1. FACE-TO-FACE VS. OTHER TYPES OF COMMUNICATION

MAGNETIC MAN’S TUNING-IN RELATIONSHIP

P.10

Muzikanten zullen het beste improviseren en samenwerken in een FTF setting, minder in een video-mediated setting en nog minder bij audio-mediated settings. Onderzoek in computer mediated-communication (in niet-muzikale domein) argumenteert dat voorgaande niet altijd juist is. Er zijn namelijk veel bevindingen en resultaten die niet gelijk lopen met het idee dat meer (rijke) signalen/aanwijzingen leiden tot grotere communicatieve efficiëntie (Whittaker, 2003). Een belangrijke bevinding in een taak-georiënteerd onderzoek naar de effecten van gemedieerde visuele signalen stelt dat het toevoegen van een videokanaal aan een auditieve opstelling de communicatie niet significant verbetert (Anderson, 2008). Critici beargumenteren bovendien het idee dat face-to-face communicatie superieur is aan andere communicatietechnologieën (Van der Kleij et al, 2009). Zij stellen dat het succesvol uitvoeren van een taak niet noodzakelijk afhankelijk is van het gekozen medium en een rijke boodschap is niet noodzakelijk afhankelijk van een “rijk” medium (Van der Kleij, Lijkwan, Rasker, & De Dreu, 2009). Voorkeur van technologie, de vaardigheden en de houding van de gebruikers spelen een doorslaggevende rol bij de communicatieoverdracht. Als deze elementen veranderen, verandert ook de manier waarop efficiënt gebruik wordt gemaakt van deze communicatietechnologieën (Arnfalk & Kogg, 2003). Bewijs toont aan dat door het continu gebruik van communicatietechnologieën, computer-mediated communication “rijker” kan worden en alsnog de effectiviteit van face-to-face communicatie evenaart (Wakefield, Leidner, & Garrison, 2008).

Op online “jamming” websites zoals ejamming is de enige vorm van communicatie tussen muzikanten, die samenwerken aan een improvisatie, mogelijk via een chatfunctie of door middel van een microfoon. Dergelijke vormen van CMC verhogen amper het niveau van de interactie tussen de gebruikers (Wright, 2005). De implementatie van videochat kan een meerwaarde zijn. Maar de integratie van video-interactie tijdens online jamsessies zou een enorme grootte van extra data doen ontstaan. Als gevolg hiervan zou er latency ontstaan die synchrone improvisatie op muzikaal vlak onmogelijk maakt.

Bij informatieoverdracht speelt de codeerbaarheid van verbale en non-verbale taal een belangrijke rol. De boodschap die gebruikers face-to-face overbrengen kan “codeerbaar” of “niet-codeerbaar” zijn. Codeerbare informatie kan gesystematiseerd

worden door symbolen en hierdoor makkelijk en goedkoop worden verzonden via CMC (Rhoads, 2010). Routinetaken die codeerbare informatie bevatten kunnen gemakkelijk verstuurd worden via een mail of chat-applicatie en worden vaak efficiënter uitgevoerd zonder toegevoegde visuele stimuli (McGrath, 1984). Wanneer informatie niet eenvoudig gecodeerd kan worden, omwille van een impliciete lading, spreken we van niet-codeerbare informatie. Dit type informatie wordt vaak benaderd als “tacit knowledge” of stilzwijgende kennis. Een goed voorbeeld van tacit knowledge is know-how daar deze informatie vaak gebaseerd is op intuïtie en subjectief inzicht. Tacit knowledge steunt voornamelijk op interpretatie, contact, en lichaamstaal en is vandaar moeilijk te coderen (Rhoads, 2010). Berichten die gevoelens omvatten, beroepen zich vaak maar voor een klein deel op semantiek en voor meer dan negentig percent op de wijze van overdracht en de gezichtsuitdrukking (Mehrabian, 1981).

In collaboratieve taken kan informatie ook opgedeeld worden op basis van ambiguïteit. Als succesvolle communicatie berust op het idee dat de ontvanger weet wat er gezegd is, dan hebben taken met ambigue informatie meer nood aan rijkere media (CMC) dan eenduidige en duidelijk voorspelbare informatie. Een mogelijke dimensie met betrekking tot deze onzekere informatie is de analyseerbaarheid van de taak. Als de taak goed analyseerbaar is (geformaliseerde regels en procedures), bezitten de gebruikers meer gemeenschappelijke kennis en structuur, waardoor er minder gemedieerde signalen of tekens nodig zijn voor succesvolle communicatie (Daft & Weick, 1984).

REMOTE : VIDEO-MEDIATED COMMUNICATION

CO-LOCATED : FACE-TO-FACE COMMUNICATION

P.11

Volgens het Media Naturalness Perspective (Kock, 2002) vinden veel problemen bij CMC hun oorsprong in de achterstand of vertraging waarmee personen zich aanpassen aan nieuwe technologieën. Door de evolutie zijn zij vertrouwd geraakt aan natuurlijke FTF-communicatie, waardoor het gebruik van nieuwe communicatiemedia onnatuurlijk kan aanvoelen. Wanneer een communicatiemiddel onnatuurlijk aanvoelt, zal de gebruiker meer cognitieve (verstandelijke) inspanningen moeten uitoefenen en zal de ambiguïteit stijgen (Kock, 2002).

Niettegenstaande sommige media onnatuurlijk kunnen aanvoelen, zijn mensen adaptief en bezitten zij de mogelijkheid om zich aan te passen aan deze communicatievormen. Het belangrijkste probleem is de tijd die nodig is voor deze aanpassing. DeRosa et al. (2004) merkt op dat de geografische afstand en de complexiteit van de technologie ondergeschikt zijn aan het aanpassingsproces van de gebruiker. Bovendien kunnen virtuele teams hetzelfde niveau van effectiviteit, vertrouwen, persoonlijke verbondenheid en prestatie behalen als face-to-face communicatie op voorwaarde dat zij genoeg tijd krijgen om zich aan te passen.

INTERVIEW JOURNEY OF JEN

Uit een interview dat we gevoerd hebben met het elektronisch improvisatie duo “Journey of Jen”, bleek dat professionele muzikanten die geregeld samen improviseren, op mekaar zijn afgestemd en een intuïtief vermogen bezitten om elkaar aan te voelen. Zij stellen dat in een face-to-face situatie een klein gebaar of fysiek tikje voldoende is om een muzikale verandering aan te kondigen. Wanneer dit echter niet mogelijk is, communiceren zij via de elektronische muziek. Door een bepaald effect toe te passen maakt de gebruiker aan zijn partner bijvoorbeeld duidelijk dat de drums moeten stoppen. Voor deze professionals maakt het niet uit of zij hun partner al dan niet kunnen zien. Dit betekent dat de audio-informatie alle communicatieve aanwijzingen voorziet en de improvisatie als collaboratief proces niet beïnvloed wordt door een al dan niet “rijk” medium.

Het prototype dat wij trachten te ontwikkelen

zal amper meerwaarde kunnen betekenen voor professionele muzikanten, daar zij zowel communicatief als auditief op elkaar zijn afgestemd. De doelgroep die wij vooropstellen bestaat uit beginners of amateurmuzikanten en verschillen van deze professionals daar zij deze auditieve signalen naar alle waarschijnlijkheid niet zullen opvangen.

P.12

2.4 NETWORKED MUSIC SYSTEMS

Jason Freeman (2000) vertelde op de eerste Networked Music workshop tijdens het International Computer Music Conference het volgende:

“What I want to say about Networked Music in general is that All Music Is Networked. You can think about an Orchestra as client-

server network, where a conductor is “serving” visual information to the “client” musicians, or a peer-to-peer networking model in an improvising Jazz Combo, where there is no one directing, and the musicians are all interacting, so, any performance context we can think of in some way there is a network connecting the performers

(...). Networked Music is about performance situations where traditional aural and visual connections between participants

are augmented, mediated or replaced by electronically-controlled connections.”

Deze quote illustreert duidelijk waarom collaboratieve muzieksessies kunnen benaderd worden vanuit computer mediated communciation. Zoals Barbosa (2006) benaderen we Networked Music Systems op basis van de classificatiecriteria die wordt gehanteerd binnen Computer Supported Collaborative Work (CSCW). CSCW is een onderzoeksveld dat kadert buiten de muzikale context en heeft betrekking op computer mediated collaboration. Door CSCW te koppelen aan een muzikale context, omschrijven we de context voor het domein waarbinnen het prototype wordt ontwikkeld. Aan de hand van een typerend voorbeeld per verschillend type van Networked Music System, trachten we deze theoretisch benadering toegankelijk te maken.

Tot op heden is er nog veel interesse in de term computer-supported cooperative work (CSCW) die reeds in 1984 werd geïntroduceerd door Irene Greif en Paul Cashman tijdens een workshop

over computersystemen die gebruikers moet ondersteunen in hun professionele activiteiten (Bannon, 1992). Vanwege het multidisciplinaire karakter is het niet eenvoudig een eenduidige definitie te formuleren voor CSCW. CSCW brengt verschillende theoretische achtergronden zoals computer wetenschappen, sociologie, psychologie, enzovoort samen. We kunnen stellen dat CSCW zich vooral focust op computer gebaseerde technologieën die een intuïtief sociaal gebruik voor de uiteindelijke gebruikers vooropstelt. Het is vanwege dit multidisciplinaire karakter dat we verschillende tendensen terugvinden binnen de ontwikkeling van applicaties. Enerzijds vinden we groepen terug die zich bezighouden met de het ontwerpen van communicatiesystemen voor bedrijfsdoeleinden, anderzijds vinden we ook groepen terug die geïnteresseerd zijn in de ontwikkeling van de coöperatieve werking tussen de gebruikers (Barbosa M. , 2006). CSCW wordt ook benaderd vanuit meer artistiek georiënteerde interessegebieden, deze insteek sluit het beste aan bij het onderwerp van deze thesis.

In een onderzoek van Tom Rodden (1991) werden bestaande systemen en programma’s systematisch onderverdeeld op basis van hun functionele rol

binnen CSCW. Een duidelijke manier waarop we CSCW kunnen conceptualiseren per context is een matrix, die reeds in 1988 werd voorgesteld door Johansen. De invulling van de matrix wordt bepaald door de “Space Dimension” en “Time Dimension”. Space Dimension staat voor de geografische situatie van de gebruikers en kan zowel “remote” als “co-located” zijn. Time Dimension staat voor de wijze waarop de interactie plaatsvindt en kan zowel “Synchroon” als “Asynchroon” verlopen. Wanneer we deze matrix toepassen op networked music systems kunnen we volgende categorieën formuleren (Barbosa M. , 2006):

Co-located Musical Networks worden gebruikt wanneer een groep gebruikers met behulp van een lokaal computer netwerk, real-time en op eenzelfde fysieke locatie met elkaar willen interageren aan de hand van (virtuele) muziek instrumenten.

Remote Music Performance Systems worden gebruikt door gebruikers die zich niet op eenzelfde plaats bevinden, maar die toch synchroon met elkaar willen improviseren en interageren met een set van (virtuele) instrumenten. De sonische afhankelijkheid wordt in deze opstelling bepaald door netwerkvertragingen.

Shared Sonic Environments omvatten virtueel gedeelde open muziekruimtes waar gebruikers van bepaalde online communities synchroon (of bijna synchroon) met elkaar kunnen interageren.

Music Composition Support Systems ondersteunen meer traditionele vormen van muziekproductie. De werking van deze systemen verloopt asynchroon en meer coöperatief (Makelberge, 2012) en wordt daarom niet behandeld in dit literatuuronderzoek.

INTE

RACT

ION

LOCATIONLocal

Music Composition Support Systems

Co-located Musical Networks Remote Music Performance Systems

Shared Sonic Environments

Sync

hr.

Asyn

chr. Remote

bron: Barbosa (2006), Networked Music Systems Overview, Barcelona, 42 blz.

CLASSIFICATION NETWORKED MUSIC SYSTEMS

P.13Realistic Interaction Approach

Fake Time Approach

T a n g i b l e T o u c h

Latency Accepting Approach

Audiopad

Audiocubes

Xenakis

ReacTable

Iwai’s Table

Jam-O-Drum

jamLInk SoundJack

eJamming

JackTrip

NINJAM

PeerSynth Quintet.net

Webdrum

AuraclePSOs

The Horgie

Co-located Musical Networks

Remote Music Performance Systems

Shared Sonic Environments

MAPPING COMMUNICATION IN MUSICAL NETWORK SYSTEMS

chat

chat

chat

chat

chat

chat

chat

2.4.1. Co-located Musical Networks

Co-located Musical Networks zijn een groep van systemen die synchrone interactie op eenzelfde fysieke locatie ondersteunen. Met de opkomst van lokale hogesnelheid computernetwerken en sensortechnologie zijn er vele nieuwe mogelijkheden ontstaan binnen dit domein. Tot deze groep behoren instrumenten die ontworpen zijn om met meerdere gebruikers simultaan te kunnen spelen. Deze groep van instrumenten worden “multi-user musical instruments” genoemd (Rebelo & Renaud, 2006). Bovendien zijn live performace systemen waar gebruikers elkaar in real-time of synchroon beïnvloeden gebaseerd op multi-user instrumenten. In deze gevallen wordt er een hoge graad van onderlinge afhankelijkheid (interdependentie) tussen de gebruikers verwacht, waardoor real-time communicatie een belangrijke vereiste is (Barbosa M. , 2006). Dit is ook de reden waarom we multi-user instrumenten behandelen binnen lokale netwerken; er is plaats voor directe of rechtstreekse communicatie (face-to-face) naar de gebruikers toe.

2.4.1.1. Multi-user instrumenten

In dit onderdeel gaan we dieper in op het idee van gedeelde multi-user instrumenten die we beschouwen als interactieve tabletops. Deze interactieve tabletops kunnen ofwel via tastbare objecten of via een touchscreen bediend worden. Een combinatie van deze twee is ook mogelijk. In beide gevallen vindt er directe interactie met de interface plaats. Hierdoor kan data intuïtiever bewerkt worden, omdat de digitale informatie tastbaar en zichtbaar is (Ishii & Ullmer, 1997).

Volgens Blaine en Fels (2003) worden de muzikale mogelijkheden beperkt in collaboratieve multi-user instrumenten, waardoor beginners makkelijker kunnen deelnemen aan collaboratieve muzieksessie. Volgens de auteurs is de kwaliteit van de ervaring belangrijker dan de muzikale mogelijkheden. Zij stellen dat we een afweging moeten maken tussen een complex of geavanceerde besturing en een simpele besturing.

Een korte analyse van de ontwerpmogelijkheden voor multi-user instrumenten geeft ons meer inzicht in dit domein waardoor we een gerichter prototype kunnen ontwikkelen. De verdeling van de besturingselementen (controls) kan zowel gedeeld of lokaal zijn. Gedeelde besturingselementen zijn gemeenschappelijke besturingselementen en lokale besturingselementen zijn gekopieerde controls gericht naar elke gebruiker afzonderlijk en zijn makkelijker te bereiken (Fiebrink, Morris, & Morris, 2009). Deze besturingselementen kunnen zowel flexibel of beweegbaar zijn, als een vaste positie

hebben. Deze indeling heeft een grote invloed op de aantal gebruikers alsook op de collaboratieve rol van deze gebruikers binnen het collaboratief geheel (Jorda, 2005). Sommige multi-user instrumenten kunnen bespeeld worden door een variabel aantal gebruikers. Andere multi-user instrumenten hebben een vast aantal gebruikers nodig. Veelal hebben de gebruikers van mulit-user instrumenten met een vast aantal gebruikers een vaste rol binnen de collaboratieve muzieksessie. Een rol is een bepaalde taak en kan bijvoorbeeld het bedienen zijn van een bepaald geluid, zoals drums of synthesizers. Wanneer gebruikers een flexibele rol hebben, kunnen gebruikers dynamisch van rol wisselen of verschillende rollen simultaan uitvoeren. Zoals reeds aangehaald zijn de gebruikers in een collaboratieve sessie onderling afhankelijk en beïnvloeden zij elkaars output. De verdeling van de gebruikersrol kan zowel democratisch als hiërarchisch verdeeld zijn. Wanneer de onderlinge afhankelijkheid (interdependentie) gelijk is onder de gebruikers, is er een democratische rolverdeling, in het andere geval spreken we van een hiërarchische verdeling.

P.14

MULTI-USER INSTRUMENT

REACTABLE

De ReacTable is een rond tabletopinstrument en nodigt gebruikers uit om collaboratief muziek te maken. De ReacTable is een modulaire synthesizer die op basis van tactiele elementen en een multitouch interface muziek produceert. De tactiele elementen nemen de vorm aan van blokjes. Onderaan deze blokjes bevinden zich speciale tekens die afgelezen worden door een camera. De camera bevindt zich onder het multitouch oppervlak. De blokjes representeren verschillende muziekmodules waaronder generators, filters, oscillators, sequencers, enzovoort. De ReacTable vertegenwoordigt deze modules visueel via de gemeenschappelijke display. Deze display ondersteunt vingerbewegingen waardoor het geheel multitouch is. De display genereert ook visuele feedback wanneer de gebruiker met zijn vinger sleept of een blokje op de interface plaatst.

De ReacTable kan gebruikt worden door een variabel aantal gebruikers (in normale omstandigheden (lokaal) één tot zes gebruikers) die flexibel zijn in hun rolkeuze. Gebruikers kunnen zowel eenzelfde sound gezamenlijk manipuleren, alsook individueel een eigen sound creëren. De communicatie tussen de gebruikers onderling gebeurt via face-to-face communicatie waarin met woorden of gebaren de boodschap duidelijk wordt

gemaakt aan de andere medegebruikers. Het is ook mogelijk twee of meer ReacTables via het internet met elkaar te verbinden en vervolgens in een remote setting muziek te maken.

Uiteraard zijn er nog tal van andere interactieve

multi-user muziekinstrumenten. De Audiopad (Patten et al., 2002) volgt de plaatsing van fysieke objecten op een tabletop en activeert hiermee audiosamples. Audiocubes (Schiettecatte & Vanderdonckt, 2008) genereert muziek aan de hand van een netwerk van kubussen. Xenakis (Bischof et al., 2008) combineert instrumenten door het plaatsen van tactiele objecten op de tabletop. Jam-o-World (Blaine & Forlines, 2002) en Iwai’s Table (Iwai, 1999) zijn twee voorbeelden waar gebruikers muzikaal interageren aan de hand van het multitouch oppervlak.

We kunnen besluiten dat onderzoekers overtuigd zijn van de voordelen van tactiele en multitouch interfaces. Multi-user instrumenten zijn duidelijk bestemd voor collaboratieve muzieksessies en zowel geschikt voor beginners als experten (Väljamäe et al., 2011). Het onderzoeksmedium dat wij in eerste instantie hebben gecreëerd, is een eenvoudig multi-user instrument voor vier personen. De gebruikers hebben een specifieke rol en er zijn geen gedeelde besturingselementen. Door het eerste tabletop prototype minimaal te houden, hopen we snel essentiële aspecten van de sociale interactie tussen de gebruikers te ontdekken.

AUDIOCUBES

AUDIOPAD

IWAI’S TABLE

JAM-O-WORLD

XENAKIS

PROTOTYPE TABLETOP

P.15

REACTABLE

P.16

2.4.2. Remote Music Performance Systems

De technologische vooruitgang en de toegankelijkheid van breedbandinternet, minimaliseert netwerkvertragingen waardoor geografisch verspreide gebruikers in real-time met elkaar kunnen jammen. Remote music performance systems worden gebruikt door artiesten of gebruikers die zich niet op dezelfde fysische plaats bevinden, maar die toch synchroon willen improviseren en interageren met een set van (virtuele) muziek instrumenten (Barbosa M. , 2006). De meest simpele benadering voor dergelijke netwerkopstellingen is “Tele-Presence”.

Tele-Presence is het idee dat een of meer artiesten vanuit geografisch verschillende locaties aanwezig zijn op een fysisch evenement met een live publiek gedurende een bepaalde tijd. Hierbij moet naast verschillende tijdzones, vooral rekening gehouden worden met de netwerk vertraging (latency) en wordt door Wright (2005) gedefinieerd als “time delay

between the sending and receiving of a message” (2005:195). Dit kan leiden tot tijdsvertragingen wanneer muzikanten met elkaar samenwerken aan een muziekstuk.

Op 26 september 1999 werd een muzikaal optreden van de MCGill Universiteit in Montreal live uitgezonden over het internet aan een publiek in de Universiteit van New York. (A. Xu et al, 2000) Dit is een typische toepassing van Tele-Presence daar de participatie eenzijdig of unilateraal verloopt. Een meer complex toepassing is een tweezijdige of bilaterale collaboratie tussen twee gelijktijdige evenementen ofwel ‘Remote Collaborative Performance systems’. Een voorbeeld van een typische opstelling die twee muzikanten over een bepaalde afstand via het internet verbindt is voorgesteld in volgend diagram.

Deze schematische voorstelling is een collaboratief

optreden tussen twee instellingen: het Fundamenta Nuova Theatre in Venetië en het Auditorio Ilido Pinho van de Portugese katholieke universiteit in Portugal. Deze voorstelling toont aan dat deze soort

collaboratieve systemen van zeer complexe aard zijn en uitstekende technologieën en hardware eisen voor een correcte werking.

Naast deze opstelling zijn er ook andere experimentele systemen die focussen op synchrone collaboraties tussen meerdere gebruikers. Het in 1988 ontwikkelde TransMIDI systeem bijvoorbeeld, biedt artiesten (en luisteraars) de mogelijkheid om samen muziek te maken. Gebruikers met een midicontroller collaboreren hierbij synchroon over het netwerk op basis van het algemene MIDI protocol en beschikken over de mogelijkheid zich aan te sluiten bij bepaalde groepsessies, alsook deze te verlaten (Ganget al., 1997).

De meeste projecten in het domein van “remote music performance systems” hebben te kampen met een aantal technologische implicaties (naast culturele). Latency, of vertraging op het netwerk is het grootste auditief waarneembaar effect.

Barbosa (2008) stelt dat de onderlinge afhankelijkheid in network music performances bepaald wordt door latency, of meer specifiek door de “EDAL”. EDAL staat voor Ensemble Delay Acceptance Limit en bepaalt de ideale condities waaronder muzikanten synchroon kunnen samenwerken. De EDAL is context afhankelijk en heeft daarom geen vaste waarde. Hoewel sommige auteurs (Scheutt, 2002; Carôt 2004) stellen dat een vertraging van ongeveer 25 miliseconden (ms) is toegestaan om te spreken van synchrone collaboratie. Deze waarde heet EPT en staat voor “ensemble performance treshold”. (Schuett N. , 2002) De Latency wordt veroorzaakt door de instellingen van de geluidskaart en de snelheid van het netwerk waarmee

TELE-PRESENCE

bron: Barbosa (2006), Computer-Supported Cooperative Work for Music Applications, Barcelona.

DIAGRAM REMOTE COLLABORATIVE MUSICAL PERFORMANCE

P.17

datapaketten worden verstuurd. Op basis van deze audio-hardware- en netwerkbeperkingen kunnen een aantal benaderingen gesugereerd worden binnen networked music performance systems (Carôt, 2009). In deze literatuurstudie behandelen we drie benaderingen die relevant zijn binnen dit onderzoekskader: de “Realistic Interaction Approach”, de “Fake Time Approach” en de “Latency Accepting Approach”.

2.4.2.1. Realistic Interaction Approach (RIA)

RIA is aangeraden wanneer real-time interactie cruciaal is en de gebruikers het gevoel moeten hebben dat iedereen, ondanks de geografisch verschillende locatie, live muzikaal aanwezig is. Technisch gezien wil dit zeggen dat de relevante data zo snel mogelijk over en weer verstuurd moet worden.

EJamming software (eJamming, 2010) maakt het mogelijk voor muzikanten om in real-time en vanuit een geografisch verschillende plaats gezamenlijk met elkaar te collaboreren en te improviseren. EJamming tracht de hoeveelheid data zo klein mogelijk te houden zodat er geen vertragingen (latency) op het netwerk ontstaan. Indien er teveel latency op het netwerk is, wordt real-time improvisatie onmogelijk voor de online gebruikers (Schuett , 2002). Door het gebruik van MIDI data is er minder bandbreedte nodig om berichten uit te wisselen en kan latency beperkt worden (Greene, 2007). Bovendien worden MIDI berichten enkel uitgewisseld wanneer de gebruiker een actie uitvoert. Hierdoor is er een geen constante stroom van data waardoor de kans op jitter wordt verlaagd. Jitter is een verschijnsel dat

ontstaat wanneer digitale signalen niet precies op de ideale tijd van toestand veranderen. Voor audio die veel te laat ontvangen wordt, kan de gebruiker een limiet instellen waardoor deze signalen niet meer uitgespeeld worden. Deze limiet noemt de “Late-Note-Tolerance”.

Een andere manier die eJamming hanteert om de latency te verlagen is door elke gebruiker rechtstreeks met elkaar te verbinden, in plaats van gebruikt te maken van een centrale server. Deze peer-to-peer (P2P) opstelling resulteert in een lagere latency daar de audio signalen rechtstreeks naar de andere gebruikers worden verstuurd. Ondanks de implementatie van de aangehaalde

latency verlagende middelen, kunnen er nog steeds onverwachte vertragingen ontstaan op het netwerk. Daarom wordt de audio van elke gebruiker gemarkeerd met een tijdsindex. Hierdoor kan de software de interne klok van de computer van elke gebruiker synchroniseren op basis van een gemeenschappelijk referentiepunt. Om muzieksessies die de 25 ms EPT-waarde overschrijden toch speelbaar te houden, gebruikt eJamming het idee van “delayed feedback” of vertraagde feedback (Barbosa , 2006). Hierdoor wordt het eigen instrumentgeluid voor een bepaalde tijd opgehouden zodat het dichter in de buurt komt van de inkomende geluiden van de andere gebruiker. EJamming benoemt dit proces “Instrument-Feel”

EJAMMING

P.18

en kan “tight”, “regular” of “loose” ingesteld worden, afhankelijk van de onderlinge afstand van de geografische locaties.

In een jamsessie op eJamming kunnen maximaal vier personen deelnemen, maar de gebruikersrol is flexibel. EJamming wordt als middel gebruikt om interactie aan te gaan met elkaar (Stelkens, 2003). De focus ligt hier op de onderlinge interactie tussen de gebruikers die gemedieerd wordt door het netwerk. Het contact met andere muzikanten tijdens een jamsessie ontstaat door gebruik te maken van een chatfunctie of door het gebruik van een microfoon. Gebruikers kunnen ook via het forum ervaringen of ideeën delen. Er is geen face-to-face communicatie mogelijk bij eJamming waardoor de privacy en anonimiteit van de muzikanten gewaarborgd blijft. Hierdoor biedt eJamming de mogelijkheid aan non-muzikanten of beginners om samen muziek te maken, zonder enige barrière of vorm van intimidatie door professionals of andere gebruikers (Gurevich, 2006).

Naast eJamming zijn JackTrip (Caceres & Chafe, 2009) en Soundjack (Carôt, 2006) ook bekende voorbeelden in deze categorie. JackTrip en Soundjack wisselen audiosignalen uit en verschillen hierin van eJamming dat MIDI-berichten uitwisselt. Soundjack heeft ook een externe chatroom waar gebruikers met elkaar kunnen chatten. JamLink (MusicianLink, 2011) is een ander voorbeeld dat thuis hoort binnen deze categorie. JamLink is een fysieke audio-interface waar de gebruiker een instrument of microfoon aansluit en vervolgens over het internet synchroon muziek kan met maken met verbonden gebruikers. Via de website van jamLink hebben de gebruikers de optie om met elkaar te chatten.

2.4.2.2. Fake Time Approach (FTA)

Een alternatief voor de “Instrument-Feel” van eJamming is de Fake Time Approach. Via deze methode wordt ook een vorm van real-time synchronisatie gecreëerd. Hiervoor wordt een nieuw communicatieprincipe geïntroduceerd waarin de latency wordt verhoogd zodat de deelnemende muzikanten elkaars output ontvangen met een vertraging van juist één muziekmaat. In werkelijkheid spelen de muzikanten asynchroon op de muziek die hun medemuzikanten juist één maat ervoor hebben ingespeeld. (Carôt, 2009)

NINJAM (Cockos Incorporated, 2006) is een goed voorbeeld waar op het muzikaal niveau wordt ingegrepen om een collaboratieve omgeving te creëren in plaats van op technologisch niveau om de latency te minimaliseren. NINJAM staat voor Novel Intervallic Network Jamming Architecture for Music en past het principe van FTA toe. In vergelijking met eJamming gebruikt NINJAM een centrale server (client/server) om de muzieksessies en het vertragingsmechanisme te monitoren. NINJAM maakt hiervoor gebruikt van het Remote Music Control Protocol dat werkt als een soort metronoom (Goto, 1997).

SOUNDJACK

SOUNDJACK

JACKTRIP

JAMLINK

bron: Barbosa (2006), Networked Music Systems Overview, Barcelona, 120 blz.

INDIVIDUAL DELAYED FEEDBACK TOPOLOGY

P.19

De oplossing die NINJAM aanreikt is het idee om de latency te vergroten in plaats van te verkleinen. De latency wordt vervolgens niet meer uitgedrukt in milliseconden, maar gemeten in maten. De gebruiker ervaart de latency dan ook niet als een vertraging, aangezien deze vertraging is afgesteld op het aantal beats per minuut (bpm). Echter heeft deze “oplossing” ook nadelen tijdens het gebruik van NINJAM. Zo is er geen sprake meer van eenzelfde vertraging bij alle deelnemers van de jamsessie, waardoor de gebruiker real-time improviseert op muziek die een interval of maat daarvoor is ingespeeld door de andere gebruikers. In onderstaande afbeelding wordt dit verduidelijkt. Verder is ook het ontbreken van face-to-face contact een groot nadeel van NINJAM. De online gebruiker ervaart hierdoor een weinig diepgaand karakter. NINJAM is wel voorzien van een klein chatvenster waarin gebruikers in real-time met elkaar kunnen chatten.

2.4.2.3. Latency Accepting Approach (LAA)

Waar RIA een omgeving tracht te creëren waar gebruikers real-time met elkaar kunnen collaboreren, laat de Latency Accepting Approach (LAA) latency-geoptimaliseerde oplossingen achterwege en aanvaart vertragingen op het netwerk. LAA heeft niet de intentie om synchrone en real-time collaboratie te ondersteunen, de focus van deze benadering ligt meer in de artistieke expressie die de muzikanten aan de hand van deze vertragingen willen creëren (Carôt, 2009). De latency tussen de verschillende gebruikers is vaak zo groot dat er geen ritmische interactie meer plaatsvindt. Daarom zijn vertragingen van meer dan 200ms aanvaardbaar binnen deze benadering.

PeerSynth (Stelkens, 2003) is een P2P multi-user software instrument. Met behulp van een speciaal ontworpen userinterface , maakt de software het mogelijk om met verschillende gebruikers collectief muziek te componeren. PeerSynth accepteert de latency als een gegeven. De acceptatie van de latency wordt door Atua Tanaka (2000) omschreven als

“Internet Acoustics”. De software biedt toegang voor verschillende gebruikers verspreid over het internet. PeerSynth gebruikt de latency als een parameter, de software berekent de latency van de actieve verbindingen en verwerkt deze in de muzikale output van de gebruiker. Wanneer de gebruiker een relatief hoge latency heeft, wordt zijn geluid door de andere gebruikers als “verder weg” ervaren. Bij een relatief lage latency, klinkt het geluid eerder “dichtbij”. Dit idee komt overeen met de akoestische ervaring wanneer muzikanten in een grote fysieke ruimte muziek spelen.

De interface van PeerSynth is voorzien van een klein chatvenster (pop-up) waar gebruikers met elkaar kunnen communiceren. Een statusvenster geeft een overzicht van de latency van alle gebruikers. Quintet.net (Hajdu, 2003) is een ander voorbeeld dat bij deze benadering past en is een combinatie van gecomponeerde en geïmproviseerde elementen. Quintet.net kan vijf verschillende locaties verbinden over het internet onder leiding van een “dirigent”.

NINJAM

PEERSYNTH

PEERSYNTH

P.20

2.4.3. Shared Sonic EnvironmentsOnder Remote Music Performance Systems vinden we ook Shared Sonic

Environments terug. De term “Shared Sonic Environments” is afgeleid van het concept “Shared Virtual Environments” (SVEs) en heeft een aantal typerende kenmerken. Bij Shared Sonic Environments ligt de focus op synchrone collaboratie tussen online gebruikers. Het idee is gebaseerd op publieke open ruimtes, die vrij toegankelijk zijn voor de online community en moeten daarom gebruik maken van wijdverspreide open technologie. In deze online publieke plaatsen kunnen gebruikers online improviseren aan collectieve muziekstukken. Gebruikers hebben de mogelijkheid om actief deel te nemen als performer, maar kunnen ook enkel luisteren en deel uitmaken van een internetpubliek. Omdat er geen muzikale kennis of prestaties geëist kunnen worden van de internetgebruiker, is de interface vrij makkelijk te begrijpen en kunnen deze gebruikers eenvoudig geluiden manipuleren (Barbosa, 2006).

Een van de eerste voorbeelden van dergelijke Shared Sonic Environments is de “WebDrum”. Dit is een online drumbox die gedeeld kan worden door verschillende mensen op het internet. Webdrum is gebaseerd op Phil Burk’s Audio Software Synthesis Application Programming Interface (API) voor JSyn (Java) (Burk, 1998) dat geluid verwerking mogelijk maakt in webbrowsers en het TransJam Systeem (Burk, 2000) dat synchrone interactie tussen de gebruikers over het internet mogelijk maakt. Er wordt geen muzikale ervaring verwacht van de gebruikers. Eenmaal de gebruikers zich op WebDrum bevinden kunnen zij met elkaar chatten in een apart chatvenster en tegelijkertijd drumpatronen synchroon bewerken en manipuleren (Burk, 2000). Andere voorbeelden van SVEs zijn: MP3Q (Tanaka, 1999), Public Sound Objects (PSOs) (Barbosa A. , 2005), The Horgie (Herrera, 2009) en Auracle (Freeman et al., 2005).

WEBDRUMAURACLE

THE HORGIE

PUBLIC SOUND OBJECTS

P.21

3. ONDERZOEK & PROTOTYPES

3.1. SOFTWAREKEUZE

Dit onderzoek start met het bouwen van een eenvoudige multi-user tabletop. Deze tabletop is een grote ronde midicontroller voor vier personen. De technologie die we hiervoor hebben gebruikt is een kleine microcontroller (Arduino) die de software Pure Data aanstuurt om MIDI-signalen te genereren. We hebben voor Pure Data gekozen daar dit programma open source is en een uitgebouwde user community geniet. De commerciële tegenhanger MAX biedt geen meerwaarde in dit ontwerp. De tabletop wordt als onderzoeksmedium ingezet tijdens het eerste deelonderzoek om bruikbare informatie te kunnen verzamelen met betrekking tot de communicatiestroom van de gebruikers. Op basis van deze informatie wordt het eerste prototype ontwikkeld. Dit prototype heeft als doel om muzikaal- en structuur-gerelateerde informatie eenvoudig over te brengen naar de andere gebruikers.

Na analyse van de interactie tussen de gebruikers, blijkt een tablet in dit opzet een goed communicatie-object te zijn daar een tablet goed hanteerbaar is en multitouch ondersteunt. Elke gebruiker krijgt een tablet toegewezen om met elkaar te communiceren. De tablets zijn onderling verbonden zodat de communicatie-overdracht kan plaatsvinden. Eén belangrijke voorwaarde voor het prototype is dat applicatie gegevens kan uitwisselen met Ableton. Dit houdt in dat de applicatie MIDI-berichten moet kunnen uitsturen en ontvangen (of OSC berichten via MAXforLIve). Mogelijke kandidaten zijn TouchOSC,

Lemur, mrmr, TouchAble, Miditouch, TB MIDI Stuff, Mididesign pro en libpd. De onderstaande tabel vergelijkt deze applicaties op criteria die belangrijk zijn voor de verdere ontwikkeling van het prototype.

De Parameter Editor geeft aan of de applicatie al dan niet de mogelijkheid biedt om de interface vorm te geven. Extern betekent dat het ontwerp van de interface op de computer gebeurt. Built-in wilt zeggen dat de vormgeving in de applicatie zelf tot stand komt. Programmeerbaar geeft aan of de applicatie de mogelijkheid heeft om zelf code te schrijven en te implementeren in de applicatie. Protocol geeft aan of de informatie via MIDI of OSC wordt uitgewisseld. User community weerspiegelt

de mate waarin er ondersteuning wordt voorzien door andere gebruikers (forums), maar ook door de ontwikkelaars. Op basis van de vergelijkende tabel kiezen wij voor het te ontwikkelen prototype, voor Lemur. De grote flexibiliteit, gebruiksvriendelijkheid

en mogelijkheid tot programmeren heeft de doorslag gegeven. Daarnaast heeft Lemur ook een actieve user community. We gebruiken een iPad als tablet omdat Lemur alleen werkt op iOS, bovendien is het een vaak gebruikte tablet.

Libpd is ook een mogelijkheid. Dit programma is open-source en maakt het mogelijk om Pure Data-toepassingen in te sluiten in een iOS of Android applicatie. Helaas beschikt libpd niet over een actieve user community, het laatste bericht dateert

program-meerbaar

protocol platform user com-munity

prijseditor

TouchOSC extern - MIDI/OSC iOS/Android €3,99

€39,99

open-source

€19,99

€7,99

€3,99

€14,99

open-source

iOS

iOS

iOS

iOS

iOS

iOS

cross-platform

MIDI/OSC

OSC

OSC

extern

extern

built-in -

built-in - MIDI

MIDI/OSCbuilt-in -

built-in - MIDI

MIDI/OSCpure data

Lemur

mrmr

TouchAble

MidiTouch

TB MIDI Stuff

MIDI designer pro

lipdb

TABEL 2. SOFTWARE KANDIDATEN

P.22

van vijf maanden geleden. Wanneer we ons in een technologische impasse zouden bevinden is de kans reëel dat we geen oplossing vinden. Vanuit het idee van rapid prototyping is Lemur ook een betere keuze daar we kunnen werken met een pre-gedefinieerde user interface. Bovendien beschikt Lemur ook over gerichte communicatieprotocollen waardoor we deze niet opnieuw moeten ontwikkelen, zoals in libpd.

Hieronder volgt een omschrijving van de software en technologie die we hebben gebruikt tijdens het onderzoek.

3.1.1. Ableton Live

Ableton Live is een Digital Audio Workstation (DAW) dat in vele situaties zijn waarde kan bewijzen, zeker in live performances en publieke improvisatiesessies. Het programma biedt zowel een horizontale view (arrangement view) gelijkaardig aan de interface van traditionele DAWs zoals Logic of Cubase en een

verticale view (session view) die heel eigen is aan het programma en voornamelijk wordt gebruikt bij het aanspreken van clips en loops. In contrast met andere software sequencers is Ableton Live ontworpen als hulpmiddel bij muziekcomposities, maar ook als een instrument voor live performances. Het wordt eveneens gebruikt door DJ’s daar Ableton de mogelijkheid biedt om te beatmatchen en te crossfaden. Alle besturingselementen zoals knoppen, faders en draaiknoppen kunnen gekoppeld worden aan midi-commando’s. Via deze weg kunnen loops of clips afgespeeld worden vanaf een externe midi-controller.

3.1.2. Pure Data / ArduinoPd ook bekend als Pure Data is een real-time

grafische programmeeromgeving voor audio, video en multimediale projecten. Pure Data werd voornamelijk ontwikkeld door Miller Puckette (1996), maar wordt tevens ondersteund door een groot aantal ontwikkelaars. Pure Data is de open source variant van Max, een visuele programmeeromgeving die Puckette bedacht toen hij werkte voor IRCAM. Zoals MAX is Pd een modulaire programmeeromgeving die vier basisentiteiten ondersteunt: messages, objects, atoms en comments. Pd is uitbreidbaar met eigen geschreven objecten en biedt connectiviteit met een breed spectrum aan technologieën. Pd is initieel ontworpen om live collaboraties mogelijk te maken door muzikanten via het internet of LAN met elkaar te verbinden, zodat zij in real-time muziek kunnen maken.

In deze studie hebben wij Pd gebruikt in combinatie met Arduino. Pd wordt ingezet om de berichten afkomstig van de Arduino om te zetten in MIDI-signalen via een virtuele IAC driver. Ableton erkent deze virtuele driver waardoor we virtuele instrumenten in ableton kunnen besturen.

Een Arduino is een open-source single-board microncontroller. Met de Arduino is het mogelijk om objecten te creëren die digitale en analoge inputsignalen ontvangen. Wanneer dergelijke signalen worden ontvangen kan de Arduino een actie initiëren door het uitsturen van digitale of analoge outputsignalen. Inputsignalen kunnen bijvoorbeeld worden gegenereerd door schakelaars, drukknoppen, potentiometers, lichtsensoren, enzovoort. Outputsignalen kunnen LED lampjes of motoren en dergelijke meer aansturen. Wij genereren aan de hand van de Arduino nieuwe input voor Pure Data, die op zijn beurt deze input omzet naar MIDI-signalen.

ABLETON LIVE

PURE DATA

ARDUINO SOFTWARE EN HARDWARE

P.23

3.1.3. MIDI / OSCMIDI staat voor Musical Instrument Digital

Interface en is in 1981 als eerste voorgesteld door Dave Smith. Twee jaar later is het MIDI-protocol ontwikkeld door een groep van Amerikaanse en Japanse synthesizerfabrikanten. MIDI is na bijna 30 jaar nog steeds een standaard protocol en een digitaal systeem waardoor verschillende (muzikale) instrumenten in real-time muzikale informatie onderling kunnen uitwisselen. Sindsdien ondersteunt bijna elke synthesizer en compositieprogramma MIDI.

Omdat MIDI-files alleen instructies bevatten om het geluid te produceren en niet het geluid zelf, zijn MIDI-bestanden veel compacter dan digitale geluidsbestanden van dezelfde duur, zoals .WAV of .mp3 bestanden. Deze instructies omvatten onder meer informatie over de gespeelde noten (note on, note off), de geluidsterkte (velocity), alsook controleberichten (control change) en dergelijke meer. Om meer precieze data en meer informatie te kunnen versturen zijn er verschillende opvolgers van MIDI geïntroduceerd. OSC of Open Sound Control is hier de belangrijkste. OSC-berichten zijn berichten die bestaan uit symbolische en numerieke data en lijken op een URL. Een OSC-bericht kan op een flexibele en accurate manier meer muzikale parameters overbrengen in een hogere resolutie, alsook gebaren, parameters en sequenties.

In tegenstelling tot Ableton ondersteunt Lemur rechtstreeks MIDI en OSC. Voor het ontworpen prototype biedt OSC geen meerwaarde. Bovendien hebben we geen nood aan high resolution data en heeft een MIDI-bericht in vergelijking met een vergelijkbaar OSC-bericht een snellere verwerkingscapaciteit daar deze minder bytes bevat. Hierdoor kunnen we de latency drukken (Manufacturers Association, 2008).

3.1.4. Lemur iOS

Lemur is de besturingsinterface die geïnstalleerd was op de gelijknamige Touch-screen hardware controller van JazzMutant en had een introductieprijs van €2400. De Lemur controller werd gebruikt door Bekende elektronische muzikanten zoals Björk, Daft Punk, Deadmau5, Justice en Richie Hawtin.

JazzMutant was pionier in muzikale multitouch controllers maar door de opkomst van de iPad kwam er een einde aan de productie van de Lemur. Gelukkig werd deze technologie in December 2011 uitgebracht voor iOS door Liine, een bedrijf dat al naam had verworven in de iOS music-scene met applicaties zoals Kapture Pad, Remixx en de Griid clip launcher voor Ableton Live. Lemur is zeer flexibel en kan zowel DJ software, live electronic music performance

software, studio production software (DAWs), VJ software en dergelijke meer besturen. Wij gebruiken Lemur in combinatie met Ableton Live.

Lemur heeft een uitgebreid aantal objecten zoals faders, switches, buttons, multisliders, knobs, enzovoort, die via de Lemur Editor applicatie geconfigureerd kunnen worden. De Lemur Editor applicatie wordt geopend op de computer (Mac of Windows) en biedt de mogelijkheid om de Lemur-

objecten te plaatsen en te configureren. Wanneer een mogelijke interface in de Lemur Editor is ontwikkeld, wordt deze geëxporteerd als een template en wordt deze in de Lemur iPad applicatie geladen. De gemaakte templates kunnen dus eenvoudig op meerdere iPads ingeladen worden. In de meeste gevallen verbindt Lemur zich via een ad hoc WiFi netwerk met de computer omdat draadloze routers meer latency kunnen veroorzaken. Voor de draadloze MIDI communicatie moet de Lemur Deamon applicatie actief zijn. Deze applicatie is een onderdeel van de Lemur Editor en dient om de MIDI berichten draadloos te ontvangen. Op het eerste zicht lijkt Lemur niet erg te verschillen van gelijkaardige touch iOS music-interfaces zoals TouchOSC. Toch is de Lemur veel uitgebreider dan TouchOSC. De Lemur Editor is namelijk voorzien van een multiline script paneel gelijkaardig aan Javascirpt, zodat we

VOORBEELD MIDI EN OSC BERICHT

JAZZMUTANT LEMUR

LIINE IOS LEMUR

MIDI Message:

0x01 0x00 0x03 0x32

OSC Message:

/mixer/slider/3 F 0.25

P.24

LEMUR EDITOR

een ongelimiteerd aantal mogelijkheden kunnen construeren en bestaande elementen kunnen tweaken. We mogen besluiten dat door de intuïtieve interface en bruikbare Lemur objecten, de Lemur applicatie ideaal is voor Rapid Prototyping. Door de mogelijkheid om de elementen te tweaken en eigen

scripts toe te voegen, is deze applicatie ook geschikt voor verdere ontwikkelingen van het prototype.

P.24

P.25

54321Deelonderzoek

Doel Communicatie analyseren in FTF setting

structuur-gerelateerde communicatie.

Verbaal > non-verbaal. Experten leidersrol.

prototype ontwikkelen dat structuur-gerelateerde

muziektermen overbrengt; zowel

reactieve als proactieve feedback. Toevoegen visuele feedback voor

drukknoppen

ronde tabletop opdelen in 4 aparte midi-controllers,

zodat we de opstelling kunnen manipuleren en FTF communicatie

bemoeilijkt wordt.

tijdsdimensie in comucom#2 verwerken

zodat proactieve feedback meer betekenis krijgt.

timing tussen comucoms consistent houden.

Besturing en tempo linken met Ableton. feedback

buttons aanpassen.

4.The Collaborative Music

Communicator

in FTF setting miniem gebruik comucom#1

reactieve feedback buttons (good / bad)

intensiteit buttons van een instrument (more/less)

comucom#2 ondersteunt dynamiek muzieksessie

multisliders intensief gebruikt. synchronisatie

is ok.

geen idee welke drukknoppen actief

structuurelementen amper gebruikt (intro/outro..)

feedback drukknoppen zijn verwarrend

reactieve feedback buttons te klein. synchronisatie is

niet consistent

tekstuele feedback moet duidelijker in beeld

ronde tabletop voor 4 personen (drums - synth - fx - voc) per rol: 5 drukknoppen (loops) 4 draaiknoppen (effecten)

4 aparte midi-instrumenten (drums - synth - fx - voc) per inst. 6 druk- en 4 draaiknoppen. Plaats voor Ipad.

comucom#2 testen en evalueren

taak 3 communicatie via comucom#1

gebruikers kunnen elkaar niet zien

gebruikers kunnen elkaar niet zien en niet horen

niet zien / horen + FTF setting

“bewegend tijdsframe” voor visueel verloop. Lay-out aangepast.

synchronisatie verbeteren (syncmaster)

herpositionering van feedback buttons

comucom#3 testen en evalueren

effectiviteit van het prototype (comucom#1) testen m.b.t. de communicatie tussen de gebruikers

interface (iPad) die muziekelementen structureel representeert. communicatie over LAN via iPad.

structuur-gerelateerde feedback licht op bij touch. visuele feedback voor de fysieke knoppen

Testgroep

Onderzoeksopdracht

Ontwerpuitdagingen

Ontwerpaspecten

Bevindingen

Testgroep 1 = 4 beginners & Testgroep 2 = 2 beginners + 2 experten

Taak 1: Verkenning (5min), Taak 2: Vrije improvisatie, (10min) Taak 3: Gestructureerde improvisatie (6min) + enquête

TABEL 3. OVERZICHT DEELONERZOEKEN

P.26

3.2. DeelonderzoekenHet uiteindelijke prototype, de comucom, is het resultaat van een iteratief

design. De bevindingen van elk deelonderzoek vormen de basis voor het volgende deelonderzoek. In het totaal hebben we vijf deelonderzoeken gevoerd.

3.2.1. Deelonderzoek 1Dit deelonderzoek richt zich op de ontwikkeling van de muzikale tabletop. De

ontwikkelde tabletop wordt gebruikt als onderzoeksmedium om de communicatie tussen de gebruikers te analyseren.

3.2.1.1. Ontwerpaspecten en –uitdagingen

De tabletop die we ontwerpen moet plaats geven aan vier personen en moet vooral beginners, maar ook meer gevorderde personen ruimte bieden om met elkaar te kunnen interageren. Nadat we een afweging gemaakt hebben tussen een complexe en een simpele besturing, hebben we een tabletop ontwikkeld die niet ingewikkeld overkomt bij beginners, maar wel genoeg uitdaging biedt voor gevorderde gebruikers. Door de tabletop minimaal te houden, hopen we snel essentiële aspecten van de sociale interactie tussen de gebruikers te ontdekken. Door het gebruik van fysieke knoppen, hebben we de tabletop in een relatief korte tijd kunnen maken. Een multitouch interface zou een redelijke dure en tijdsintensieve keuze zijn geweest die niet significant zou hebben bijgedragen aan dit onderzoek. Via een geprogrammeerde Arduino wordt Pure Data aangesproken. Pure Data fungeert als een virtuele MIDIdriver, die vervolgens MIDI-signalen doorgeeft aan Ableton. We kunnen stellen dat de tabletop een grote midicontroller is voor vier personen. De ontworpen tabletop is een rond tafelblad bestaande uit 20 drukknopen en 16 draaiknoppen. De drukknopen zijn Sanwa arcade buttons die we terug vinden in arcade-kasten en zijn zeer responsief en duurzaam. Elke gebruiker beschikt over 5 drukknoppen en 4 draaiknoppen. Er zijn geen gedeelde besturingsknoppen verwerkt in de tabletop. In het totaal zijn er vier verschillende categorieën van loops; drums, synths, FX/Bass en vocals. Er zijn dus vier vaste, gelijke rollen, waardoor de tafel democratisch is verdeeld. De drukknoppen sturen een MIDI-signaal naar Ableton, waardoor voorgemaakte loops gestart en gestopt kunnen worden. De draaiknoppen besturen de effecten in Ableton (reverb, delay, cut-off filter en overdrive). In het totaal kunnen er met de voorgemaakte loops 625 unieke combinaties gemaakt worden. Wanneer ook

de effecten gebruikt worden ontstaan er meer dynamische combinaties. Omdat de tabletop zich vooral richt naar beginners hebben we de midi-klok geactiveerd waardoor de loops altijd op de maat zullen starten (1/4 interval).

OPBOUW TABLETOP

P.27

3.2.1.2. Doel en evaluatie

Aan de hand van het ontworpen tabletopinstrument gaan we de communicatie tijdens de collaboratieve muziekcompositie analyseren. Vervolgens gaan we op basis van deze bevindingen een prototype ontwikkelen die de communicatie tussen de gebruikers kan verduidelijken en verbeteren.

We evalueren twee groepen van vier test-personen. Groep 1 (G1) bevat gebruikers met minder muziekervaring, groep 2 (G2) bestaat uit twee ervaren muzikanten en twee beginners. Uit de enquête blijkt dat beide groepen respectievelijk een totale zelf-beoordelingsscore score van 9 en 15 hebben, gebaseerd op een schaal van 1 tot 5.

Tijdens dit exploratief onderzoek krijgen de groepen drie taken die herhaald worden over de vijf deelonderzoeken.

Tijdens taak 2 en 3 wordt verwacht dat de gebruikers beslissingen nemen, goed samenwerken en dus met elkaar communiceren. Om een goed inzicht te krijgen in de situatie, wordt alles zorgvuldig op video opgenomen. Tijdens deze proefsessie worden verschillende kenmerken geobserveerd. Het gebruiksgemak van het tabletopinstrument, het ontstaan van verschillende rollen tijdens het collaboratief proces, de wijze waarop de beslissingsvorming tot stand komt, hoe er wordt gecommuniceerd en vooral waarover. Hierna wordt een kleine enquête door de gebruikers ingevuld. Deze enquête tracht informatie te verzamelen over het profiel van de gebruikers, alsook inzicht te brengen in de gebruikservaring, zoals de mate van collaboratie, moeilijkheidsgraad, de ervaringen tijdens het collaboratief muziekproces, de genotsfactor, het concentratieniveau en de mate waarin de gebruikers feedback opvolgen.

3.2.1.3. Bevindingen

De tabletop is eenvoudig en duidelijk ontworpen, beide groepen vinden de tafel niet moeilijk te bedienen. “Het is niet moeilijk om hiermee samen muziek te maken” (G2). Bevindingen van collaboratieve aard hebben vooral te maken met het ontbreken van visuele feedback. “Ik weet niet meer welke knoppen ik heb ingedrukt” (G1); “hoelang speelt deze loop af?” (G1). Beide groepen hadden plezier tijdens het collaboratief muziek maken: “dit is echt chill” (G1) Een suggestie ter

1

2

3

TAAK

TAAK

TAAK

TAAK

TAAK

TAAK

Tijdens deze taak kan de gebruiker (de tabletop) het prototype leren kennen. (duur: 5 minuten)

Tijdens deze taak worden er geen regels opgelegd en kan de gebruiker in beperkte mate een eigen muziekstuk creëren. (duur: 10 minuten)

Tijdens deze taak componeert de gebruiker een gestructureerd elektronisch muziekstuk. De muziekstructuur moet opgebouwd zijn

volgens een typisch elektronisch muziekstuk, bestaande uit een intro, opbouw, climax (main), breakdown, riser (nieuwe opbouw), climax (main)

breakdown, outro. (duur: 6 minuten)

VERK

ENN

ING

VRIJE

IM

RPOV

ISAT

IEGE

STRU

CTUR

EERD

EIM

PROV

ISAT

IE

TABEL 4. OVERZICHT TAKEN

FACE-TO-FACE SETTING

P.28

verbetering van de collaboratie tussen gebruikers, is de mogelijkheid om de knoppen van de andere gebruikers te kunnen bedienen: ‘‘Ik wou dat ik Kenny zijn loops kon uitzetten”. Een andere interessante quote omtrent de communicatie was de implementatie voor algemene ‘‘klinkt goed” of ‘‘klinkt slecht” indicatie, alsook een metronoom; ‘‘een metronoom toevoegen zodat iedereen zijn loops op de juiste moment indrukt zou handig zijn” (G2). De groep van de experten raakte na verloop van tijd de voorgemaakte loops beu en suggereert de mogelijkheid om een keyboard in de tafel te monteren.

Tijdens de structurele taak, waar de gebruikers een elektronisch muziekstuk moeten opbouwen wordt er veel gecommuniceerd en duiken er bepaalde leiders op die luidop aangeven wanneer een andere gebruiker moet invallen: ‘‘Klaar? Een, twee, drie en ja!” (G2). Vooral de experten nemen vaak de leidersrol op zich. De communicatie tijdens deze taak is vooral gerelateerd aan de opbouw van het muziekstuk: ‘‘doe die vocals eens even weg” (G1); ‘‘Ja, en nu moet de kick invallen” (G2); ‘‘Nu moet er een zo’n psssssshhhiiieew komen!” (G1). De communicatie verloopt zowel verbaal als non-verbaal, (bijvoorbeeld tikken met de vinger om een climax aan te kondigen). We kunnen besluiten dat vooral verbale communicatie wordt gebruikt. Gebruikers brengen hun mededeling, suggestie of indicatie mondeling over.

We hebben ontdekt dat het ontwikkelde tabletopinstrument voldoende uitdagend is voor beginners, maar te beperkt is qua mogelijkheden voor de experten. Toch achten wij de tabletop een geschikt onderzoeksmedium om de communicatie tussen de gebruikers onderling te onderzoeken.

Wat essentieel blijkt te zijn ter ondersteuning van het collaboratief proces is visuele feedback voor de fysieke drukknoppen. Gebruikers hebben vaak geen idee welke knop er is ingedrukt. Deze feedback wordt verwerkt in het volgende ontwerp. Dit is belangrijk omdat dit frustrerend of belemmerend kan werken tijdens het collaboratief proces, waardoor de gebruikers uit de muzikale flow kunnen geraken. Op basis van de vaststelling dat bijna alle communicatie gerelateerd is aan de opbouw of structuur van het elektronische muziekstuk, gaan we in het te ontwikkelen prototype ons vooral focussen op muzikale uitdrukkingen die vaak tussen de gebruikers worden gebruikt. We kunnen bovendien stellen dat deze verbale communicatie codeerbaar is. Hierdoor kunnen we op een eenduidige manier de informatie overbrengen aan de hand van computer-mediated

communication. We moeten met andere woorden een prototypen ontwikkelen die de gebruikers kunnen ondersteunen in het overbrengen van deze structuur-gerelateerde communicatie.

Het type feedback die de gebruikers mondeling produceren, onderscheiden we in proactieve en reactieve feedback. Proactieve feedback is de feedback die de gebruiker ontvangt vooraleer de actie moet plaatsvinden. Reactieve feedback vindt plaats na of tijdens de actie. Deze kan zowel affirmatief als negatief zijn (Sellen, Kurtenbach, & Buxton, 1992).

We opteren niet voor het analyseren van lichamelijke communicatie daar verbale communicatie meer aan bod kwam dan non-verbale communicatie en de non-verbale communicatie eerder ter ondersteuning was van de boodschap. Uit onderzoek blijkt ook dat ondubbelzinnige en analyseerbare informatie, zoals de structuur-gerelateerde termen, geen nood hebben aan “rijke” media waardoor er minder gemedieerde signalen of tekens nodig zijn voor succesvolle communicatie (Daft & Weick, 1984). Bovendien is het scannen van lichaamstaal niet altijd uniform tussen de verschillende gebruikers, laat staan tussen verschillende culturen in remote music settings.

SFEERBEELD TESTSESSIE

P.29

Op basis van de data die we verzameld hebben uit de enquête kunnen we concluderen dat iedereen zich betrokken voelt bij het collaboratief muziekproces. Bovendien vinden zij de taken zeer leuk om uit te voeren. De kwaliteit van het gemaakte muziekstuk is matig.

Overzicht stellingen enquête

» V1. We maakten muziek als een team

5

feedback vo

lgen

flow

kwalite

it muzie

k

concentra

tie

leukmoeilijk

colla

boratief

teamgevoel

4,5

43,5

32,5

2

FTF SETTING

GRAFIEK 1. ANTWOORDEN DEELONDERZOEK 1

1 = helemaal niet akkoord; 5 = helemaal akkoord

3.2.2. Deelonderzoek 2In dit deelonderzoek trachten we de elementaire muzikale elementen met

betrekking tot de opbouw van een elektronisch muziekstuk, structureel te representeren in een multitouch applicatie. We ontwikkelen een iPad applicatie die gebruikers kunnen gebruiken om met elkaar te communiceren. Het prototype dat we gaan ontwikkelen krijgt de naam “Collaborative Music Communicator” ofwel “comucom#1”.

3.2.2.1. Ontwerpaspecten en –uitdagingen

Elke gebruiker krijgt een iPad toegewezen om met elkaar te communiceren. De comucom maakt gebruik van Lemur, een flexibele iOS musiccontroller. Flexibel omdat er naast standaardfuncties, ruimte is om te programmeren. Op deze manier kunnen we starten met een voorsprong daar we geen communicatieprotocol moeten ontwikkelen, en reeds gebruik kunnen maken van de ingebouwde graphic user interface (GUI). Het eerste prototype dat we ontwikkelen is een template die we kunnen openen in Lemur. Wanneer op elke iPad Lemur geïnstalleerd is,

TABEL 5. ENQUÊTE-STELLINGEN

feedback volgen

flow

kwaliteit muziek

concentratie

leuk

moeilijk

collaboratief

teamgevoel

» V2. Ik maakte deel uit van een collaboratief proces

» V3. Het maken van een muziekstuk was moeilijk

» V4. Ik vond de muziektaak leuk

» V5. Ik heb me intens moeten concentreren tijden de muziektaak

» V6. Ik vond de kwaliteit van het collaboratief muziekstuk goed.

» V7. Tijdens het collaboratief proces was ik een muzikale “flow”

» V8. Ik voerde de visuele feedback uit

P.30

kunnen we via een draadloos netwerk alle iPads met elkaar in verbinding brengen zodat de iPads met elkaar kunnen communiceren.

De Collaborative Music Communicator (comucom#1) moet op een duidelijke manier de structurele muzikale elementen representeren. Wanneer een button wordt aangeraakt licht deze op. Per iPad heeft elke button een unieke MIDI-waarde. Omdat alle iPads met elkaar in verbinding staan, zal de button die dezelfde MIDI-waarde heeft, ook op de andere iPads oplichten. Via deze manier

kunnen de gebruikers eenvoudig met elkaar communiceren. Per Instrument of rol zijn er drie buttons die de intensiteit van het instrument bepalen (veel, weinig of geen) en vier buttons die aangeven aan welke muzikale fase het instrument zich moet aanpassen. (intro/outro, climax, build up, main). Er zijn ook twee globale buttons met betrekking tot de kwaliteit van het muziekstuk (goed/slecht). Aan de linkerkant van het scherm is er ruimte voorzien voor de visuele feedback van de fysieke drukknoppen. Wanneer een drukknop op de tabletop wordt ingedrukt, licht de overeenkomstige digitale button op. We zouden er ook voor kunnen opteren om indicatielampjes in de tabletop te monteren, maar via de digitale weg kunnen we dit sneller en efficiënter oplossen.

3.2.2.2. Onderzoeksopdrachten

We willen onderzoeken of de comucom#1 de communicatie en coördinatie tussen de gebruikers verduidelijkt.

De tafel wordt getest door een groep van 2 beginners en 2 experten. Elke gebruiker heeft een comucom#1 voor zich liggen. De 3 taken (verkennende taak, vrije taak, gestructureerde taak) worden uitgevoerd. Tijdens taak 3 wordt ook eenmaal uitdrukkelijk gevraagd om alleen maar te communiceren via de comucom#1.

FYSIEKE DRUKKNOPPEN FEEDBACK

INSTRUMENT HOEVEELHEID INTENSITEIT FEEDBACK

GLOBAL FEEDBACK

MUZIKALE FASE FEEBACKCOMUCOM #1

COMUCOM #1 IN FTF-SETTING

P.31

3.2.2.3. Bevindingen

Wanneer de testpersonen enkel communiceren via de comucom#1, worden er in eerste instantie gebaren gebruikt en na verloop van tijd is iedereen terug mondeling aan het communiceren. We kunnen dus besluiten dat in deze setting, waar er mogelijkheid is tot face-to-face communicatie, de comucom#1 niet voldoende benut wordt.

Dit hadden we weliswaar kunnen verwachten omdat face-to-face interactie in eenzelfde fysieke omgeving de voorkeur krijgt boven elektronisch gemedieerde interactie (Klügel, Frieß, Groh, & Echtler, 2011). Dit sluit ook aan bij het conclusie van het interview met “A journey of Jen”

Uit de enquête kunnen we concluderen dat het collaboratiegevoel licht is gedaald. De kwaliteit van het muziekstuk is niet verbeterd. De gemedieerde feedback werd niet goed uitgevoerd.

3.2.3. Deelonderzoek 3 Voor deelonderzoek 3 hebben we een omgeving gecreëerd waar er geen

mogelijkheid is tot face-to-face communicatie. De comucom#1 wordt niet aangepast omdat we geen waardevolle feedback hebben kunnen verwerken.

3.2.3.1. Ontwerpaspecten en –uitdagingen

Om de comucom#1 te kunnen evalueren op zijn communicatieve capaciteiten, maken we van de multi-user tabletop, vier individuele controllers, die verbonden zijn aan de centrale computer (Ableton).

We maken vier midicontrollers die bestaan uit 6 drukknoppen en 4 draaiknoppen. Elke midicontroller vertegenwoordigt een instrument of een rol (drums, synth, fx, vocalen). Elke midicontroller heeft een plaats waar de iPad in geschoven kan worden. De comucom#1 is in deze onderzoeksfase niet gewijzigd.

3.2.3.2. Onderzoeksopdrachten

Dit deelonderzoek evalueert de comucom#1 in een setting waar de gebruikers elkaar niet kunnen zien. De gebruikers zitten in een kring met de rug naar elkaar en voeren de drie taken uit.

3.2.3.3. Bevindingen

Observaties tonen aan dat de gebruikers in beperkte mate gebruik maken van de comucom#1. Enkel de “sounds good” en “sounds bad” feedback buttons worden meermaals gebruikt. De buttons gerelateerd aan de muzikale fase (intro/

5

feedback vo

lgen

flow

kwalite

it muzie

k

concentra

tie

leukmoeilijk

colla

boratief

teamgevoel

4,5

43,5

32,5

2

FTF SETTING FTF comucom#1x

xx

x

x

x

x

x

x

1 = helemaal niet akkoord; 5 = helemaal akkoord

GRAFIEK 2. ANTWOORDEN DEELONDERZOEK 2

INDIVIDUELE MIDICONTROLLER

P.32

outro, climax,…) van het muziekstuk worden amper gebruikt. De buttons die invloed hebben op de intensiteit van het instrument, (more drums, less drums,..) worden wel meer gebruikt dan de algemene structuurelementen (intro, climax, ..). Vanuit beide groepen komt de opmerking dat het niet duidelijk is wanneer een bepaalde actie moet worden uitgevoerd. Als een tekst gemarkeerd wordt, is het vaak niet duidelijk of de gemarkeerde actie meteen uitgevoerd moet worden of na een aantal tellen. Dit veroorzaakt verwarring tussen de gebruikers. De feedbackbuttons (de fysieke drukknoppen)- komen ook verwarrend over voor de testpersonen daar deze te prominent in het beeld verschijnen.

Het resultaat van de enquête suggereert een stabiel groepsgevoel tijdens het collaboratief proces. Wel vinden zij de taken minder leuk om uit te voeren. De gemedieerde communicatie krijgt meer aandacht dan in de face-to-face setting, maar wordt nog niet voldoende opgemerkt.

We kunnen besluiten dat de comucom#1 de communicatie tussen de gebruikers niet verduidelijkt. Gebruikers weten niet wanneer zij bepaalde acties moeten uitvoeren wanneer er feedback gegeven wordt. Het type feedback dat de gebruikers onderling uitwisselen kunnen we terug onderscheiden in proactieve en reactieve feedback. We moeten een manier vinden om de proactieve en reactieve feedback, dynamisch te representeren in de comucom#2. We opteren om een tijdsdimensie toe te voegen aan de comucom#2.

Wifi data (MIDI in out) exchangeDrukknop feedbackUSB

OPSTELLING COMUCOMS

5

feedback vo

lgen

flow

kwalite

it muzie

k

concentra

tie

leukmoeilijk

colla

boratief

teamgevoel

4,5

43,5

32,5

2

FTF SETTING FTF comucom#1 comucom#1x +

xx

x

x

x

x

x

x

1 = helemaal niet akkoord; 5 = helemaal akkoord

++

+

++

++ +

GRAFIEK 3. ANTWOORDEN DEELONDERZOEK 3

P.33

3.2.4. Deelonderzoek 4 Om de dynamiek van de collaboratieve interactie te vrijwaren en te kunnen

inspelen op de proactieve feedback, hebben we een “bewegend tijdsframe” ontwikkeld. Hiermee kunnen de gebruikers het verloop van een bepaalde rol of instrument, dynamisch visualiseren.

3.2.4.1. Ontwerpaspecten en –uitdagingen

In dit deelonderzoek wordt een nieuwe, dynamische interface ontwikkeld. Deze interface moet elementen horizontaal bewegen. Het is niet eenvoudig om objecten automatisch te verplaatsen in Lemur. Na een lang proces van trial-and-error zijn we hier toch in geslaagd. Door Lemur-objecten in een container (kader) te plaatsen kunnen we elementgroepen verschuiven over een gecreëerde x-as. Hierdoor ontstaat er een horizontale beweging. Deze horizontale beweging wordt vervolgens geautomatiseerd zodat er een constante verschuiving van rechts naar links plaatsvindt. Deze container lijkt vier oneindig lange multisliders te bevatten (één per instrument, dus vier in het totaal) die het verloop van het instrument visualiseren. Concreet worden er per instrument of rol maar drie multisliders van elk 32 eenheden of staafjes achter elkaar geplaatst. Wanneer een multislider volledig uit de container verdwenen is wordt deze achteraan geplaatst. Omdat het kader van de container maar 56 staafjes breed is, wordt de illusie gecreëerd dat de multislider oneindig lang is. In het prototype kunnen de gebruikers een pre-gedefinieerde bpm (beats per minute) selecteren zodat de horizontale beweging het tempo van de muziek volgt. Echter is dit meer een evenaring van het bpm, daar Lemur zich baseert op framerates en niet op bpm. Bovendien varieert het aantal fps (frames per second) van de ene iPad tot de andere en dit komt de synchronisatie niet ten goede. De volgende uitdaging bestaat erin deze visuele data synchroon te delen met de andere verbonden iPads. Vooreerst maken we zelf kennis met latency. Daar deze data groter is (reeks CC berichten) dan het eenvoudig oplichten van een button bestaat de kans dat er vertraging optreedt tussen iPads, waardoor de communicatie niet meer synchroon verloopt. Door meermaals de code aan te passen slagen we erin enkel essentiële informatie te verzenden waardoor we dit probleem in beperkte mate onder controle kunnen houden. De feedback voor de fysieke druk- en draaiknoppen worden op individueel niveau geprogrammeerd. Een gebruiker ontvangt enkel visuele feedback voor zijn eigen draai- en drukknoppen en niet meer van de andere gebruikers.

MULTISLIDER - VISUEEL VERLOOP

GOOD/BAD - MORE/LESS FEEDBACK BUTTONS

GLOBAL FEEDBACK

INDIVIDUELE DRUKKNOPPEN FEEDBACK

COMUCOM #2

MONITORING PANEL

P.34

In het prototype hebben we een pop-up scherm verwerkt dat ruimte voorziet voor monitoring en foutopsporing. Hiermee kunnen we het aantal fps, het gemiddelde aantal fps, het aantal frames per beat, het bpm en dergelijke meer opvolgen. Deze monitoring is enkel bedoeld om gerichter te kunnen coderen naar de volgende prototypes toe.

3.2.4.2. Onderzoeksopdrachten

Dit deelonderzoek evalueert de #comucom2. Ondersteunt deze interface de dynamische communicatie (proactieve

feedback) van het collaboratief muziekproces? Wordt het beschouwd als een goede communicatietool?

Wederom worden de drie taken uitgevoerd.

3.2.4.3. Bevindingen

In dit deelonderzoek is het mogelijk dat de synchronisatie tussen de iPads na verloop van tijd niet meer accuraat verloopt. Naarmate er meer iPads met elkaar worden verbonden, wordt de timing tussen de iPads slechter. Omdat de testpersonen elkaar niet kunnen zien en niet op de hoogte zijn van deze technologische tekortkoming, ontstaat er verwarring tussen de gebruikers, omdat zij na een bepaalde tijd te vroeg of te laat reageren op bepaalde instructies. Toch hebben we bruikbare informatie kunnen verzamelen omdat er gedurende voldoende tijd wel een goede synchronisatie was tussen de iPads. De

testpersonen vinden de “visuele flow die je kan tekenen” zoals zij dit noemen, zeer goed en duidelijk. Om de communicatie te kunnen ondersteunen is het wel cruciaal dat de onderlinge synchronisatie goed is afgesteld. De feedback buttons met betrekking tot de kwaliteit van de muziek zijn te klein en niet goed geplaatst, waardoor de testpersonen ongewild op de multisliders tekenen. Een enkele gebruiker wilt met één vingertrek op alle vier de multisliders tekenen. Dit is echter niet mogelijk. Er wordt ook gevraagd naar een button die een variatie in de structuur kan aankondigen. Verder besluiten we dat leiderfiguren meer gebruik maken van de multisliders. Volgers tekenen minder het verloop per instrument, maar proberen wel de structuur die naar hen gericht is na te komen. Uit de algemene enquête kunnen we besluiten dat iedereen zich betrokken voelt bij het collaboratief proces en ze nog steeds genieten van het collaboratief muziekproces. Het concentratiegehalte ligt wel opmerkelijk hoger dan bij voorgaande deelonderzoeken. De visuele feedback wordt goed opgevolgd wat een belangrijke meerwaarde is ten opzichte van de voorgaande prototypes.

5

feedback vo

lgen

flow

kwalite

it muzie

k

concentra

tie

leukmoeilijk

colla

boratief

teamgevoel

4,5

43,5

32,5

2

FTF SETTING FTF comucom#1 comucom#1 comucom#2x + *

*

*

*

**

*

* *x

x

x

x

x

x

x

x

1 = helemaal niet akkoord; 5 = helemaal akkoord

++

+

++

++ +

TESTSESSIE OPSTELLING

GRAFIEK 4. ANTWOORDEN DEELONDERZOEK 4

P.35

3.2.5. Deelonderzoek 5

3.2.5.1. Ontwerpaspecten en –uitdagingen

De grootste uitdaging voor de comucom#3 is de optimalisatie van de multisliders. De onderlinge synchronisatie moet accurater en de continue horizontale verschuiving moet beter op het tempo van de muziek bewegen. Door het ontwikkelen van een ‘syncmaster’-functie, kunnen we het aantal frames per second min of meer gelijk houden tussen de verschillende comucoms. Wanneer de Lemur template op de verschillende iPads wordt ingeladen ziet de gebruiker eerst een beginscherm. Via dit beginscherm kan de gebruiker zijn rol/instrument

aanduiden. Op dit beginscherm kan ook de functie ‘syncmaster’ aangeduid worden. De syncmaster-functie mag maar op één comucom geactiveerd worden, bij voorkeur op de iPad met de snelste processor. Dit wordt op voorhand aan de gebruikers meegedeeld. Deze comucom wordt ingezet als referentie naar de

andere comucoms toe. Wanneer Ableton start, zal de syncmaster wachten op een stabiele bpm. Hierna zullen alle andere comucoms synchroniseren met de bpm van de syncmaster. Vanaf het moment dat de verbonden comucoms deze data hebben ontvangen, starten de multisliders aan hun horizontale beweging. Gedurende bepaalde intervallen verstuurt de syncmaster zijn huidige positie van de multisliders naar de andere comucoms. Wanneer de andere comucoms deze positie (data) ontvangen wordt de positie van de x-as vergeleken met deze van de syncmaster en vervolgens gecorrigeerd. Hierdoor kunnen we de foutieve synchronisatie reduceren naar ongeveer één maat. Naast de syncmaster die de bpm van ableton automatisch overneemt, biedt het beginscherm ook de keuze om handmatig het bpm te selecteren (128 bpm of 140 bpm) voor lokaal gebruik zonder tussenkomst van Ableton.

Wifi data (MIDI in out) exchangeDrukknop feedback

syncmasterUSB

OPSTELLING COMUCOMS

TEMPLATE 1

BEGINSCHERM

P.36

TEMPLATE 2

Naast deze interne verbeteringen hebben we ook enkele visuele veranderingen aangebracht. De feedback buttons zijn achteraan de multisliders geplaatst. Er is een button toegevoegd die de gebruikers aanspoort meer te variëren (met en zonder tijdsindicatie). Het bericht van de globale feedback buttons wordt voor elke rol/instrument individueel getoond, in plaats van op een centrale plaats zoals voordien. Er zijn maateenheden (stepruler) boven de multisliders aangebracht zodat de gebruikers de proactieve feedback accurater kunnen tekenen. Er is ook een mogelijkheid voorzien om op alle multisliders tegelijk te kunnen tekenen met één enkele vingerbeweging.

3.2.5.2. Doel en evaluatie

In dit deelonderzoek analyseren we de mate waarin de collaborative music controller de communicatie tussen de gebruikers onderling ondersteunt.

De drie taken worden opnieuw uitgevoerd. De testgroepen kunnen elkaar noch zien noch horen. Tijdens dit deelonderzoek testen we twee verschillende templates. Template 1 beschikt over een tijd geïndexeerde variatie-functie die de gebruiker waarschuwt dat er binnen 4, 8 of 16 tellen een variatie moet plaatsvinden. Template 1 biedt ook de mogelijkheid om alle multisliders tegelijkertijd te bewerken door de button ‘draw all’ in te schakelen. Template 2 voorziet een variatie-button per instrument of rol die geen tellen toont. De ‘draw all’ functie is achterwege gelaten in template 2. Aangezien de Lemur multitouch ondersteunt, kunnen de gebruikers manueel vier multisliders tegelijkertijd

bedienen. Op het einde van het onderzoek creëren we ook een face-to-face setting waar de gebruikers elkaar terug kunnen zien en horen.

3.2.5.3. Bevindingen

Het beginscherm waar de gebruikers hun rol kunnen aanduiden wordt positief ontvangen. “Hierdoor wordt de applicatie persoonlijker” vindt een gebruiker uit de testgroep. Door de invoer van de syncmaster-functie is de synchronisatie tussen de vier comucoms verbeterd. Door deze verbetering worden de visuele multisliders intensief gebruikt om veranderingen in de structuur van de muziek aan te kondigen naar de andere gebruikers. De draw-all functie in template 1 wordt weinig gebruikt. Hierbij moeten we vermelden dat de draw-all functie niet optimaal ingezet kan worden, omdat vloeiende bewegingen niet ondersteund kunnen worden door beperkingen in de programmeeromgeving. In de testgroep met twee beginners en twee professionals, moeten de leiders veelvuldig

TESTSESSIE OPSTELLING

P.37

feedback tekenen op de multisliders naar de volgers toe. De volgers voeren de feedback uit, maar wanneer er geen feedback op de multislider wordt getekend produceren zij amper muziek. De leiders vragen ook naar een knop die een climax aankondigt. De globale variate-buttons in template 1 worden veel minder gebruikt dan de individuele variate-buttons per rol in template 2. De “+” en “-“ buttons die intensiteit van het instrument vertegenwoordigen (meer of minder) worden zelden gebruikt. De intensiteit wordt nu duidelijk gemaakt aan de hand van een getekende stijgende of dalende lijn op de multisliders. Naar het finale prototype toe is het belangrijk dat de persoonlijke gebruikersfeedback meer in het oog springt. In het huidige prototype bevindt de feedback zich bij het begin van de multislider. De positie van de feedback trekt in dit geval niet de aandacht van de testpersonen.

Aan de hand van de enquête kunnen we besluiten dat de gebruikers zeer geconcentreerd de muziektaak uitvoeren en de visuele feedback goed opvolgen. De gebruikers maken deel uit van een collaboratief geheel en vinden het leuk om samen muziek te maken. De kwaliteit van het gemaakte muziekstuk is van dezelfde kwaliteit als die van de face-to-face setting in het eerste deelonderzoek.

We hebben de comucom#3 ook getest in een face-to-face setting. De testpersonen gebruiken in deze setting naast woorden en gebaren ook de comucom#3 om muzikale ideeën over te brengen. Vooral de reactieve button “bad” wordt vaak gebruikt. Wanneer een instrument moet afbouwen wordt meestal een dalende lijn op de multislider getekend. Dit is in vergelijking met deelonderzoek twee een zeer goed resultaat.

5

feedback vo

lgen

flow

kwalite

it muzie

k

concentra

tie

leukmoeilijk

colla

boratief

teamgevoel

4,5

43,5

32,5

2

FTF SETTING FTF comucom#1 comucom#1 comucom#2 comucom#3x + *

*

*

*

**

*

* *x

x

x

x

x

x

x

x

1 = helemaal niet akkoord; 5 = helemaal akkoord

++

+

++

++ +

GRAFIEK 5. ANTWOORDEN DEELONDERZOEK 5

P.38

4. THE COLLABORATIVE MUSIC COMMUNICATOR

4.1. CONCEPTDe Collaborative Music Communicator of

gewoonweg comucom, is een technologisch hulpmiddel dat de communicatie tussen de gebruikers onderling moet ondersteunen in een collaboratieve muzieksessie. Aan de hand van dit prototype creëren we een framework voor elektronische improvisatiesessies in zowel local - als remote network settingen, waarin de uitwisseling van muzikale ideeën vereenvoudigd wordt. Het primaire doel van de comucom is het visualiseren en uitwisselen van proactieve en reactieve feedback.

4.2 INTERFACE

Het raakvlak van de comucom ondersteunt meer als tien raakvlakken op het multitouch interface. De interface van de comucom kan opgedeeld worden

in twee delen. Het bovenste deel (1/3) van de comucom wordt gebruikt om de ontvangen feedback te visualiseren of tekstualiseren. In het onderste deel (2/3) van de comucom kan de gebruiker de feedback voor de andere verbonden gebruikers met zijn vingertop aanduiden of tekenen. Elke gebruiker (amateur, non-muzikant of muzikant) gebruikt de comucom als een communicatiehulpmiddel naast zijn (virtueel) instrument. De interface is door deze opdeling overzichtelijk en duidelijk. Een makkelijk begrijpbare interface is cruciaal voor onze doelgroep (Blaine & Fels, Contexts of collaborative musical experiences, 2003).

Wifi data (MIDI in out) exchange

COMUCOM INTERFACE

SCHEMA DATAUITWISSELING

INTERFACE OPDELING

P.39

4.3 DESIGNHet prototype is ontwikkeld in Lemur, een

professioneel iOS besturingsapplicatie, en werkt op de iPad. Dit geeft als rechtstreeks voordeel dat de comucom goed hanteerbaar is, maar vooral transporteerbaar. Wanneer Lemur op de iPad geïnstalleerd is, kan de comucom ingeladen worden. Via een netwerk worden de comucoms met elkaar verbonden zodat feedback uitgewisseld kan worden. De comucom bestaat uit verschillende onderdelen:

• beginscherm / welkomscherm• tempo geïndexeerde multisliders• feedback buttons• algemene feedback buttons

Alle gebruikers hebben toegang tot de verschillende onderdelen. Wanneer een actie wordt uitgevoerd op een van de onderdelen wordt deze weergegeven op alle verbonden comucoms.

4.3.1. beginscherm

Wanneer de gebruiker de comucom opent, ziet hij het beginscherm. Op dit beginscherm kan de gebruiker zijn rol binnen het collaboratief proces aanduiden. Naast rolkeuze, kan de gebruiker ook opteren voor de optie “syncmaster” of “fix bpm”. Als de gebruiker voor “syncmaster” kiest, wordt de comucom afhankelijk van het tempo in Ableton. Wanneer de gebruiker kiest voor “fix bpm”, kan de gebruiker zelf het tempo instellen en werkt de comucom onafhankelijk van Ableton. Het tempo heeft invloed op de tempo geïndexeerde multisliders

4.3.2. tempo geïndexeerde multisliders

De tempo geïndexeerde multisliders zijn het centraal gegeven binnen de comucom. Een multislider is een soort staafdiagram. De gebruiker kan met zijn vingertop een verloop tekenen op deze staafdiagram. Een stijgende lijn insinueert een opbouw, een dalende lijn een afbouw. Tempo geïndexeerd houdt in dat de multisliders een horizontale verschuiving naar rechts uitvoeren op het tempo van het gecreëerde muziekstuk. Elk staafje in de multislider is juist exact één tel. In het totaal kan de gebruiker continu

56 tellen tekenen. Door de schuivende beweging naar rechts weet de gebruiker precies wanneer hij een actie moet uitvoeren. De multislider medieert proactieve feedback.

4.3.3. feedback buttons

De comucom voorziet twee soorten feedback buttons: buttons voor algemene feedback en buttons voor individuele feedback. De button voor algemene feedback heeft betrekking op alle verschillende rollen of functies. Elke gebruiker ontvangt deze feedback op zijn comucom. Individuele feedback heeft betrekking op een specifieke rol of functie. Voor desbetreffende

rol wordt de feedback duidelijk getoond in een grote container bovenaan het scherm. De andere gebruikers worden ook op de hoogte gebracht, maar BEGINSCHERM

MULTISLIDERS

FEEDBACK BUTTONS

P.40

subtieler. Zo behouden we het groepsbewustzijn. De mogelijkheden voor algemene feedback zijn: “sounds good”, “sounds bad” en “prepare for climax”. De mogelijkheden voor de rolspecifieke feedback zijn: “good”, “bad” en “variate” .

De feedback buttons vertegenwoordigen zowel reactieve feedback (good, bad) als proactieve feedback (prepare for climax, variate).

4.4 TECHNISCHE BELEMMERINGENDe comucom is ontwikkeld binnen Lemur. Door

het gebruik van deze programmeeromgeving zijn we gebonden aan een aantal beperkingen.

4.4.1 onderlinge synchronisatieZoals reeds vermeld in de tekst is Lemur niet

ontworpen voor de uiteindelijke doeleinden van de comucom. Lemur is ontwikkeld om een multitouch midicontroller te kunnen verwerken in een Ipad. Lemur biedt niet de mogelijkheid om de data-uitwisseling tussen de comucoms (Lemurs) synchroon te houden op het tempo (bpm) van het muziekstuk. Er zijn geen ‘software timers’ of ‘counters’ aanwezig in de huidige

scripttaal (3.1.0.) van Lemur die het geheel kunnen sturen. Bovendien is het tempo van het muziekstuk niet gelijk aan de interne klok (‘counter’ en ‘timer’) van Lemur. Lemur’s interne klok telt minimum om de 16 milliseconden (ms) op. Dit is de framerate van Lemur en in deze tijdspanne worden waar nodig objecten geüpdate of berekend. We kunnen dus enkel 62 frames per second (fps) behalen omwille van de 16 ms framerate. Het aantal frames per second zal variëren afhankelijk van de geïnstalleerde iOS en het type van iPad. Bovendien wordt het muziektempo niet uitgedrukt in fps, maar in beats per minute (bpm). Wanneer een Lemur het startbericht ontvangt van Ableton of van een andere Lemur, is er geen enkele manier om de interne klokken van de Lemurs op elkaar af te stemmen. De Lemur gebruikt de eigen interne klok en start dus onafhankelijk van de andere interne klokken. De interne klok wordt bovendien ook beïnvloed door de variërende framerate waardoor verschillende multisliders niet volledig synchroon op het tempo zullen bewegen. Een methode die we hebben gebruikt om de Lemurs zo goed mogelijk te synchroniseren, is de invoer van de syncmaster-functie. Deze ontworpen functie verstuurd de positie van een bepaalde staaf in de multislider op regelmatige basis naar de andere Lemurs en voert correcties uit door de posities onderling te vergelijken. Wanneer deze informatie is verwerkt door de andere iPads, is er echter opnieuw een miniem verschil. Dit verschil is voor de syncmaster onbekend omdat alle interne klokken een verschillend startpunt hebben.

Er zijn verschillende manieren om het synchronisatieverschil te doen verdwijnen of op te lossen binnen de Lemur omgeving:

• Door volledige toegang te verschaffen tot de interne klok van het iPad systeem, hierdoor weet Lemur hoeveel marge het moet corrigeren.

• De mogelijkheid om de Lemur framerate te versnellen.

• De mogelijkheid om een interne klok te synchroniseren op een inkomend signaal door de invoer van een nieuwe Lemur functie.

Indien de ontwikkelaars (Liine) van Lemur bovenstaande opties kunnen implementeren in Lemur, zouden we een waardevolle template aan de community kunnen toevoegen die uniek is in zijn soort, daar deze ontworpen is om de communicatie tussen de gebruikers van een collaboratieve muzieksessie onderling te bevorderen.

4.4.2. netwerkDe comucom wisselt onderling berichten uit via

het MIDI-protocol. Omdat het prototype is ontwikkeld binnen Lemur, functioneert het prototype enkel in een local area network (LAN). Wanneer we de essentie van het prototype extraheren naar een zelfstandige iPad applicatie, is het ook mogelijk om via het internet data uit te wisselen. Vanuit deze optiek kunnen gebruikers ook in remote music settings, efficiënt en

LEMUR PROGRAMMEEROMGEVING

LIINE COMMUNITY

P.41

zonder vertraging met elkaar communiceren. Omdat de visualisatie van de van pro- en reactieve feedback wordt verwerkt aan de hand van Control Changes (MIDI) zouden we kunnen opteren voor het real-time Transport Protocol voor MIDI (RTP-MIDI) (Lazzaro & Wawrzynek, 2006) of het TransMIDI systeem (Gang, et al. 1997) dat MIDI-berichten over het internet uitwisselt en gebruik maakt van het efficiënte MIDI protocol dat latency minimaliseert (Weinberg, 2003).

4.4.3. vaste rolverdeling

MIDI over Internet

De huidige comucom is ontworpen voor collaboratieve muzieksessies waar gebruikers een vaste en vooraf gedefinieerde rol of functie innemen. De gebruiker kan kiezen uit vier rollen: Drums, Synths, Bass/FX en Vocals. In Lemur is het niet mogelijk om zelf een rol of functie in te typen. Indien gebruikers zelf een naam zouden kunnen ingeven, kunnen de collaboratieve rollen flexibeler ingezet worden. Door deze flexibele rol- of functie-ingeving kan de comucom zijn diensten in meer diverse contexten bewijzen.

SCHEMA DATAUITWISSELING

FLEXIBELE ROLINGAVE

P.42

5. CONCLUSIE5.1. CONCLUSIE

Deze studie geeft een antwoord op de vraag of het mogelijk is om een technologisch hulpmiddel te ontwikkelen, dat gebruikers kunnen inzetten om de onderlinge communicatie te ondersteunen tijdens een collaboratieve muzieksessie.

Alvorens we deze vraag kunnen beantwoorden hebben we onderzocht hoe de interactie tot stand komt in een collaboratieve muzieksessie. Binnen deze gecoördineerde en gesynchroniseerde muzieksessie worden gebruikers real-time beïnvloed door elkaars handelingen. Tijdens deze groepsactiviteit kunnen de gebruikers zich in een muzikale “flow” bevinden, die de groepsproductiviteit verhoogt. Om deze muzikale flow aan te kunnen houden is vlotte communicatie cruciaal.

Vervolgens hebben we face-to-face (FTF) communicatie en computer mediated communication (CMC) besproken in relatie tot hun context. Deze context hebben we benaderd vanuit Networked Music Systems en omschrijft het domein waarbinnen gebruikers collaboratief muziek maken. Collaboratieve muzieksessies vinden zowel op eenzelfde locatie (co-located) als over het internet plaats, waar gebruikers in geografisch verschillende locaties met elkaar verbonden worden (remote). Uit dit onderzoek blijkt dat de gebruikers vooral boodschappen uitwisselen die gerelateerd zijn aan de muziekstructuur. Het prototype, de Collaborative Music Communicator (comucom), werd vanuit dit idee ontwikkeld.

Het prototype gebruikt Lemur als framework voor de ontwikkeling van de verschillende interfaces,

daar we in deze programmeeromgeving gemakkelijk meerdere iPads met elkaar kunnen verbinden. Bovendien kunnen we in een relatief korte periode verschillende werkende interfaces testen daar we reeds gebruik kunnen maken van bestaande Lemur-objecten. De mogelijkheid om eigen functies en scripts toe te voegen via de Lemur Editor, gaf voldoende ruimte om geavanceerde prototypes te ontwikkelen.

Op basis van de bevindingen met behulp van user-centered design, kunnen we besluiten dat we er in geslaagd zijn een prototype te ontwikkelen dat gebruikers kan ondersteunen in de onderlinge communicatie. Met behulp van de comucom kunnen gebruikers real-time visuele feedback versturen naar de andere verbonden gebruikers. Deze feedback wordt met de vingertop aangeduid of getekend op het multitouch oppervlak van de comucom. Gebruikers kunnen zowel feedback ontvangen als versturen.

Wanneer face-to-face (FTF) communicatie mogelijk is, krijgt deze vorm van communicatie de voorkeur boven het gebruik van de comucom. Toch wordt de comucom aanvullend gebruikt om feedback aan de andere gebruikers visueel weer te geven.

In situaties waar er geen mogelijkheid is tot FTF communicatie of wanneer de gebruikers zich op een (te) grote afstand van elkaar bevinden, komt de comucom volledig tot zijn recht. Door de visualisatie van pro- en reactieve feedback kunnen gebruikers hun muzikale boodschap eenvoudig communiceren. We kunnen besluiten dat het ontwikkelde prototype, de comucom, een technologisch hulpmiddel is om de communicatie tussen de gebruikers tijdens een elektronische muzieksessie te ondersteunen via visueel gemedieerde feedback.

5.2. DISCUSSIE EN TOEKOMSTIG ONDERZOEK

In een remote context zou de inzet van videochat de communicatie ook kunnen ondersteunen. Echter verloopt de uitwisseling van deze videoboodschappen tussen de gebruikers niet real-time. Het huidige internet is niet snel genoeg waardoor er vertragingen optreden. Deze latency is nadelig om online te kunnen improviseren via de webcam. Een oplossing voor dit probleem is LOLA. LOLA staat voor “LOw LAtency”. Het is een low latency, audio en video-conferencing technologie die real-time en simultaan, live musical performances over grote afstanden mogelijk maakt door gebruik te maken van internet2. Internet2 is een supersnel netwerk dat wetenschappelijke instituten in staat stelt op hoge snelheden data uit te wisselen. Hierdoor kunnen online muzikanten doeltreffend op een grote afstand van elkaar simultaan muzikaal collaboreren met een latency van minder dan 50ms. Momenteel bieden de meeste commerciële diensten een latency groter dan 200ms aan (internet2, 2012).

Met de ontwikkeling van het huidige prototype, genaamd ‘comucom’, hebben wij een communicatiemiddel voorgesteld dat kan ingezet worden met de beperkingen van het huidige internet. Daar de comucom geen video of audio moet verwerken worden vertragingen beperkt (Weinberg, 2003).

Tijdens de gevoerde deelonderzoeken deelden de testpersonen dezelfde moedertaal en cultuur. Door in de toekomst de comucom te testen in meer diverse contexten zouden we de comucom nog beter

P.43

kunnen evalueren en waar nodig verbeteren. Onder diverse contexten verstaan we realistische remote-settings, waar testpersonen met een verschillende culturele achtergrond, met elkaar communiceren via de comucom.

De comucom brengt berichten visueel of tekstueel over naar de gebruiker. Deze vorm van feedback is daarom niet in elke situatie even doeltreffend. De feedback kan verborgen zijn achter een vinger of een hand van de gebruiker, of de tekstuele feedback trekt niet voldoende aandacht (Houston, 2009). Daarom zou toekomstig onderzoek naar het gebruik van auditieve of haptische feedback relevant zijn ter ondersteuning van de communicatie tussen de gebruikers. Hancock et al (2005) concludeerde reeds dat het gebruik van niet-gesproken auditieve feedback het groepsbewustzijn verhoogt. Dit kan de gebruikers echter verwarren wanneer zij verschillende auditieve feedback simultaan ontvangen. In het domein van haptische feedback met betrekking tot multitouch interfaces is het reeds mogelijk een milde vibratie te ervaren wanneer

de gebruiker het touchscreen aanraakt (Ricker, 2007). FingerFlux is een andere vorm van haptische

feedback die geïmplementeerd zou kunnen worden. Wanneer gebruikers over de interface zweven voelen zij reeds haptische feedback in hun vingertop door een elektromagnetische aansturing (Weiss, 2011). Haptische feedback zou bijvoorbeeld ook ingezet kunnen worden om negatieve feedback over te brengen via kleine stroomstootjes.

De comucom is extrapoleerbaar naar andere toepassingsgebieden. De comucom zou ingezet kunnen worden als communicatiemiddel tussen een deejay (DJ) en light jockey (LJ) of videojockey (VJ). Wanneer een DJ een climax gaat opbouwen of drop wil aankondigen, kan hij dit vooraf visualiseren naar de VJ. De VJ kan vervolgens zijn beeld en lichtshow beter afstemmen op het verloop van de DJ set. Door het gebruik van de comucom kan de VJ beter anticiperen op belangrijke momenten in een DJ set. Ook voor live optredens met een lichtshow zou de comucom een meerwaarde kunnen betekenen.

FINGERFLUX

LIGHTJOCKEY

P.43

P.44

RACE OUT

Ik ben deze thesis begonnen met de vraag hoe ik de communicatie tussen gebruikers onderling in een collaboratieve muzieksessie kan ondersteunen. Bij aanvang van het onderzoek kon ik mij niet voorstellen hoe het uiteindelijke prototype zich zou ontwikkelen. Aan de hand van de vele plezierige testsessies die keer op keer geslaagd verliepen, hebben we het prototype vorm kunnen geven. Op het einde van de rit ben ik zeer tevreden met de uiteindelijke werking van het prototype. We hebben het prototype ‘Collaborative Music Communicator’ genoemd of kortweg ‘comucom’. Hoewel de comucom nog op een paar punten verbeterd kan worden, geeft het ons de motivatie en de gelegenheid om samen muziek te maken!

DANK AAN

Mijn thesis promotoren, Sandy Claes en Rudi Knoops voor de bijstand in het voltooien van deze thesis.

De Liine user-community en in het bijzonder James, voor de technische informatie met betrekking tot het prototype.

Daarnaast wil ik Christophe, Frederic-Olivier, Zenio, Karl, Folle, Kenny, Vincent, Yves, Pieter en Journey of Jen bedanken. Zij waren fantastisch als testpersonen.

P.45

BIBLIOGRAFIE

Wakefield, R., Leidner, D., & Garrison, G. (2008). A Model of Conflict, Leadership, and Performance in Virtual Teams. Information Systems Research , 19 (4), pp. 434-455.Weinberg, G. (2003). Interconnected Musical Networks - Bringing Expression and Thoughtfulness to Collaborative Group Playing. Massachusetts Institute of Technology: Massachusetts Institute of Technology.Weiss, M., Wacharamanotham, C., Voelker, S., & Borchers, J. (2011). FingerFlux: Near-surface Haptic Feedback on Tabletops. RWTH Aachen Universoty. Santa Barbara: UIST.Whittaker, S. (2003). Theories and methods in mediated communication. In S. Whittaker, The Handbook of Discourse Processes (pp. 243-286). Mahwah, NJ: Lawrence Erlbaum Assoc.Wright, M. (2005). Open Sound Control: an enabling technology for musical networking. Organised Sound , 10 (2), 193-200.Xambo , A., Laney, R., Dobbyn, C., & Jorda, S. (2011). Collaborative music interaction on tabletops: An HCI approach. S.l.Väljamäe , A., Jorda, S., & Maella, S. (2011). Listening to Your Brain: Implicit Interaction in Collaborative Music Performances. Music Technology Group. Oslo: NIME’11.Van der Kleij, R., Lijkwan, J., Rasker, P., & De Dreu, C. (2009). Effects of time pressure and communication environment on team processes and outcomes in dyadic planning. International Journal of Human-Computer Studies , 67 (5), 411-423.A. Xu, W. W. (2000). Real-Time Streaming of Multichannel Audio Data over Internet. Convention of the Audio Engineering Society, (pp. 2-3). New York.Ahmed, Y. (2008). Designing Interfaces to Support Collaborative Musical Performance. Nottingham: University of Nottingham.Anderson, A. (2008). Video-mediated interactions and surveys. Envisioning the survey interview of the future , 95-118.Arnfalk, P., & Kogg, B. (2003). Service transformation - Managing a shift from business travel to virtual meetings. Journal of Cleaner Production , 11 (8), 59-72.

Burk, P. (2000). Jammin’ on the Web: A New Client/Server Architecture for Multi-User Musical Performance. Proceedings of the International Computer Music Conference (ICMC 2000. Burk, P. (1998). JSyn - A Real-time Synthesis API for Java. Proceedings of the International Computer Music Conference (ICMC 1998). Bannon, J. (1992). Discovering CSCW. Proceedings 15th Information Systems Research in Scandinavia. Larkollen.Barbosa, A. (2006). Displaced Soundscapes. PhD Thesis, MTG Barcelona, Barcelona.Barbosa, A. (2005). Public sound objects: a shared environ- ment for networked music practice on the web. Organised Sound , 10 (3), pp. 233-242.Barbosa, M. (2006). Computer-Supported Cooperative Work for Music Applications. Universitat Pompeu Fabra, Department of Technology. Barcelona: UPF.Barbosa, M. (2008). Displaced Soundscapes. VDM Verlag.Bischof, M., Conradi, B., Lachenmaier, P., Linde, K., Meier, M., Pötzl, P., et al. (2008). Xenakis: combin-ing tangible interaction with probability-based musical composition. Proceedings of the 2nd international conference on Tangible and embedded interaction (TEI ’08) (pp. 121-124). s.l.: ACM.Blaine, T., & Fels, S. (2003). Contexts of collaborative musical experiences. Conference on New Interfaces for Musical Expression (p. 6). Montreal: NIME.Blaine, T., & Forlines, C. (2002). JAM-O-WORLD: Evolution of the Jam-O-Drum Multi-player Musical Controller into the Jam-O-Whirl Gaming Interface. Proceedings of the 2002 Conference on New Instruments for Musical Expression (NIME-02). Dublin: ETC.Bolter, D., & Grusin, R. (2000). A Review of Remediation: Understanding New Media. s.l.: MIT Press.Caceres, J., & Chafe, C. (2009). JackTrip: Under the Hood of an Engine for Network Audio. Journal of New Music Research , 39 (3), 183-187.Carôt, A. (2004). Livemusic on the Internet. Lübeck: Fachhochschule Lübeck.

P.46

Carôt, A. (2009). Musical Telepresence - A Comprehensive Analysis Towards New Cognitive and Technical Approaches. Technisch-Naturwissenschaftlichen Fakultät, Institut für Telematik. Lübeck: Universität zu Lübeck.Carôt, A. (2009). Musical Telepresence: A Comprehensive Analysis Towards New Cognitive and Technical Approa- ches. Lubeck: Universität zu Lubeck.Carôt, A. R. (2006). Network Music Performance (NMP) with Soundjack. the 6th NIME Conference. Paris: NIME.Cockburn, A., & Jones, S. (1995). Four principles of groupware design. Interacting with Computers , 7 (2), pp. 195-210.Cockos Incorporated. (2006, oktober 1). NINJAM - About. Opgeroepen op februari 14, 2012, van Cockos Incorporated | NINJAM: http://www.cockos.com/ninjam/Edmonds, G., Ganesan, R., & Eseryel, D. (2002). Review of Computer-Supported Collaborative Work Systems. Educational Technology & Society , 5 (2), 130-137.eJamming. (2010, 1 1). eJAMMING AUDiiO – About us. Opgeroepen op 2 11, 2012, van eJAMMING AUDiiO – The Collaborative Network for Musicians Creating Together Online in Real Time: http://ejamming.com/about-us/Daft, R., & Weick, K. (1984, Aptril). Toward a Model of Organizations as Interpretation Systems. The Academy of Management Review , 9 (2), pp. 284-295.Dillenbourg, P. (1999). What do yuo mean by collaborative leraning? Oxford: Elsevier.Dourish, P. (2001). Where the Action Is: Foundations of Embodied Interaction. s.l.: The MIT Press.Fiebrink, R., Morris, D., & Morris, M. (2009). Dynamic Mapping of Physical Controls for Tabletop Groupware. Proceedings of the 27th international conference on Human factors in computing systems (CHI ’09) (pp. 471-480). s.l.: ACM.Freeman, J., Burk, P., Ramakrishnan, S., Varnik, K., Neuhaus, M., & Birchfield, D. (2005). The Architecture Of Auracle: A Voive-controlled, Networked Sound Instrument. Organised Sound , 10 (3), 221-231.

Gurevich, M. (2006). JamSpace: Designing A Collaborative Networked Music Space for Novices. Proceedings of the 2006 International Conference on New Interfaces for Musical Expression. Gang, D., Chockler, G., Anker, T., Kremer, A., & Winkle, T. (1997). TransMIDI: A System for MIDI Sessions Over the Network Using Transis. n Proceedings of the International Computer Music conference (ICMC’97). Thessaloniki.Gang, D., Chokler, V., Anker, T., Kremer, A., & Winkler, T. (1997). TransMIDI: A System for MIDI Sessions Over the Network Using Transis. Proceedings of the International Computer Music Conference (pp. 1-4). Jeruzalem: ICMC.Goto, M. R. (1997). Remote Music Control Protocol—Design and Applications. Proceedings of the International Computer Music Conference (pp. 446-449). San Fransisco: International Computer Music Association.Greene, K. (2007, mei 25). Jam Online in Real Time. Opgeroepen op febrauri 12, 2012, van Technology Review: http://www.technologyreview.com/web/18783/Iwai, T. (1999). Composition on the table. International Conference on Computer Graphics and Interactive Techniques. SIGGRAPH.internet2. (2012, April 6). LOLA. Opgeroepen op Mei 22, 2012, van internet2: http://www.internet2.edu/arts/LOLA.htmlIshii, H., & Ullmer, B. (1997). Tangible Bits: Towards Seamless Interfaces between People , Bits and Atoms. CHI’97. s.l.: ACM.Ishii, H., & Ullmer, B. (1997). Towards Seamless Interfaces between People , Bits and Atoms. Proceedings of CHI ‘97. Cambridge: ACM.Hajdu, G. (2003). Quintet.net – A Quintet on the Internet. Proceedings of the International Music Conference. Singapore.Hancock, M., Shen, C., Ryall, K., & Forlines, C. (2005). Exploring Non-Speech Auditory Feedback at an Interactive Multi-User Tabletop. In Proc. Graphics Interface 2005. s.l.: ACM.Herrera, J. (2009). The Horigie: Collaborative Online Synhtesizer. Center for Computer Research in Music and Acoustics. Stanford: CCRMA.Hilliges, O., Terrenghi, L., Boring, S., Kim, D., Richter , H., & Butz,

P.47

A. (2007). Designing for collaborative creative problem solving. C&C ’07: Proc. of the 6th ACM SIGCHI conf. on Creativity & cognition (pp. 137-146). New York: ACM.Houston, G. (2009). Gustures and Feedback on Interactive Tabletops. Department of Computer and Information Sciences. Glasgow: University of Strathclyde.Hollan, J., & Stornetta, S. (1992). Beyond being there. Conference on Human Factors in Computing Systems (pp. 119-125). s.l.: ACM.Hornecker, E., & Buur, J. (2006). Getting a Grip on Tangible Interaction: A Framework on Physical Space and Social Interaction. Proceedings of CHI (p. 10). s.l.: ACM.Johansen, R. (1988). Groupware: Computer support for business teams. NEw York: The Free PRess.Jorda, S. (1999). Faust Music On Line (FMOL): An Approach to Real-time Collective Composition on the Internet. Leonardo Music Journal , s.l.Jorda, S. (2005). Multi-user instruments: models, examples and promises. conference on New interfaces for musical expression (pp. 23-26). Vancouver: NIME.Klügel, N., Frieß, M. R., Groh, G., & Echtler, F. (2011). An Approach to Collaborative Music Composition. Oslo: NIME11.Kock, N. (2002). Evolution and media naturalness: A look at e-communication through a Darwinian theoretical lens. Proceed- ings of the 23rd International Conference on Information Systems, (pp. 73-382). Atlanta.Lazzaro, J., & Wawrzynek, J. (2006). RTP Payload Format for MIDI. Berkeley: The IETF Trust.Lerman, C. (2011). Online Music Collaboration: How it’s changing the landscape of production, distribution and consumption of EDM. New York: NYC.Liine. (2011, Dec 1). Lemur – Liine. Opgeroepen op januari 10, 2012, van Liine: http://liine.net/en/products/lemur/Nesset, V., & Large, A. (2006). “Bonded design”: A novel approach to intergenerational information technology design. Library & Information Science Research , 28, 64-82.MusicianLink. (2011). jamLink FAQ MusicianLink. Opgeroepen op

mei 9, 2012, van MusicianLink: http://www.musicianlink.com/content/jamlink/faq#What is a jamLink?Makelberge, N. (2012). Rethinking Collaboration in Networked Music. Organised Sound (17), 28-35.Manufacturers Association. (2008, november). Comparison of MIDI and OSC. Opgeroepen op januari 23, 2012, van MIDI Manufacturers Association - The official source of information about MIDI.: http://www.midi.org/aboutmidi/midi-osc.phpMcGrath, J. (1984). Groups: Interaction and performance. Englewood Cliffs, N.J.: Prentice Hall, Inc.Mehrabian, A. (1981). Silent Messages: Implicit Communication of Emotions and Attitudes. Belmont: Wadsworth Pub .Puckette, M. (1996). Pure Data. Proceedings of the International Computer Music Conference (pp. 269-272). San Fransisco: International Computer Music Association.Patten, J., Recht, B., & Ishii, H. (2002). Audiopad: a tag- based interface for musical performance. Proceed- ings of the 2002 conference on New interfaces for mu- sical expression (NIME ’02), (pp. 1-6).People Communicating. (2010). Face to Face Communication vs Other Types of Communication. Opgeroepen op februari 20, 2012, van Effective Communication Skills in the Workplace: http://www.people-communicating.com/face-to-face-communication.htmlPreece, J., Sharp, H., & Rogers, Y. (2002). Interaction Design: Beyond Human-Computer Interaction. Chichester: John Wiley & Sons.subaqueousmusic.com. (2011, september 26). Song Structure in Electronic Music and Dubstep. Opgeroepen op januari 3, 2012, van Subaqueous Upcoming events, Music Releases, free Ableton packs.: http://subaqueousmusic.com/production-articles/music-theory/86-dubstep-and-electronic-music-song-structureSawyer, K. (2007). Group Genius: The Creative Power of Collaboration. Basic Books.Sanders, E. (2002). From User-Centered to Participatory Design Approaches. In J. Frascara, Design and the Social Sciences. Taylor & Francis Books Limited.

P.48

Schuett, N. (2002). The Effect of Latency on Ensemble Performance. CCRMA Department of Music. Stanford: Stanford University.Schuett, N. (2002). The Effects of Latency on Ensemble Performance. Standford: Stanford University.Schültz, A. (1951). Making music together: A study in social relationship. Social Research , 76-97.Schiettecatte, B., & Vanderdonckt, J. (2008). Audiocubes: a distributed cube tangible interface based on interaction range for sound design,. Proceedings of the 2nd in- ternational conference on Tangible and embedded in- teraction (TEI ’08 (pp. 3-10). ACM.Schober, M. (2006). Virtual environments for creative work in collaborative music-making. Virtual Reality , 10 (2), 85-94.Sellen, A. J., Kurtenbach, G. P., & Buxton, W. A. (1992). The prevention of mode errors through sensory feedback. Human Computer Interaction , 7 (2), pp. 141-164.Short, J., Williams, E., & Christie, B. (1976). The social psychology of telecommunications. London: John Wiley.Stelkens, J. (2003). peerSynth: A P2P Multi-User Software Synthesizer with new techniques for integrating latency in real time collaboration. Michigan: MI: MPublishing.Reynold, S. (1998). Generation Ectasy: Into the World of Techno and Rave Culture. New York: Routledge.Rebelo, P., & Renaud, A. B. (2006). The Frequencyliator – Distributing Structures for Networked Laptop Improvisation. Sonic ARts Research Centre. PAris: NIME06.Renaud, A. B., Carôt, A., & Rebelo, P. (2007). Networked Music Performace: State Of The Art. AES 30th International Conference, (pp. 15-17). Saariselkä,: AES.Ricker, T. (2007, September 25). Samsung’s Armani phone has a surprise: a haptic feedback UI -- Engadget. Opgeroepen op mei 23, 2012, van Engadget: http://mobile.engadget.com/2007/09/25/samsungs-armani-phone-has-a-surprise-a-haptic-feedback-ui/Rhoads, M. (2010). Face-to-Face and Computer-Mediated Communication: What Does Theory Tell Us and What Have We Learned so Far? Journal of Panning Literature , 25, 111-119.Rodden, T. (1991). A Survey of CSCW Systems. Interacting

with computers - the interdisciplinary journal of human-computer interaction (3), 319-353.Roschelle, J., & Teasley, S. (1995). The construction of shared knowledge in collaborative problem solving. Computer-Supported Collaborative Learning , 69-197.Tanaka, A. (2006). Interaction, Experience, and the Future of Music. Consuming Music Together: Social and Collaborative Aspects of Music Consumption Technologies, Computer Supported Cooperative Work , 35, pp. 276-288.Tanaka, A. (1999). Musical implications of media and network infrastructures: Perturbations of traditional artistic roles. Paris.Tanaka, A. (2000). Speed of Sound. Rotterdal: Machine Times.Thompson, J. (1995). The media and modernity. Cambridge: Polity.

P.49

FREDERIK LAGRANGEMASTER C-MD

COLLABORATIVE MUSIC COMMUNICATION2011-2012

WWW.FREDDIESIGN.BE