DA5201: Musikprogrammering och mobil ljuddesign

En presentation över ämnet: "DA5201: Musikprogrammering och mobil ljuddesign"— Presentationens avskrift:

1 DA5201: Musikprogrammering och mobil ljuddesign
15 högskolepoäng David Yanagisawa, Anders-Petter Andersson

2 Översikt Vem vi är Vad är Musikprogrammering och mobil ljuddesign?
Hur vi gör i kursen Innehåll och kurslitteratur Verktyg

3 Vem vi är David Yanagisawa
DA5201: Kursansvarig, lärare i ljudprogrammering och ljuddesign sedan jan 2010 Programspråk: C/C++, C#, Java, Objective-C Senior System Developer at Milso AB (Stockholm/Lund) Driver företaget Noteon (konsultuppdrag och iPhone-appar) Kompositör, Spelar piano

4 Vem vi är Anders-Petter Andersson
DA5201: Musikteknologi, haandledare i interaktivljuddesignprojekt, ”Soundscape for Airports” (BRIO), Arduino Lärare Interaktiv ljuddesign på HKr Musikvetenskap, musikteknologi, musik och hälsa, interaktiv musikkomposition Ljuddesigner i MusicalFieldsForever.com Exempel på projekt: Orfi, Strainings, RHYME.no Spelar vilolin

5 Vad är Musikprogrammering och mobil ljuddesign?
Behövs till: musik, musikinstrument, datorspel, mobila tjänster, interaktiva installationer, maskin/männsika-interaktion i samhället (tv, telekom, fordon, musik o hälsa, etc.) Efterfrågas ljud som är: interaktiva, dynamiska, taktila, multimediala Sensorik: hur man kan förnimma ljud, vad man kan göra kopplat till ljud

6 Vad är Musikprogrammering och mobil ljuddesign?
Intelligenta musikinstrument och kompositionsverktyg Nyskapande musik: algoritmisk komposition, mikrotonalitet, fraktalmusik, självgenererande musik Ljudmotorer till datorspel Hybrider mellan musikinstrument och dataspel Sociala medier (t.ex. Appar, hemsjukvård, nike) Interaktiva musikinstallationer: MusicalFieldsForever, Strainings (wave regler + granularsyntes trumpet, Max/MSP), Orfi (JAZZ wave, MINI regler, GLCH regler, SuperCollider), VOXX regler inspelning + syntes)

7 Varför det är intressant med musikprogrammering
Interaktiv dynamisk ljuddesign Estetiska och interaktiva möjligheter pga. ny teknologi Från: automatiska, stationära och statiska system Till: interaktiva, mobila, dynamiska, nätverkade, bruk & förändring över tid

8 Varför det är intressant med musikprogrammering
Interaktiv dynamisk ljuddesign Flexiblare Från: statiska ljudfiler, linjär komposition, in- och uppspelning Till: oändlig variation, physical modelling av ljud, icke-linjär komposition, uppspelning som styrs av algoritmer, regler Ex. Morpheus, Brian Eno (KoanX), Reactable, Altair (

9 Varför det är intressant med musikprogrammering
Interaktiv dynamisk ljuddesign Rikare upplevelser Från: ljud som statiska signaler Till: musik med variation och motiverande utveckling över tid Till: berättande, spelbarhet/gameplay Till: spel, interaktiv konst, multimedia, interaktiv ljuddesign, Till: mobila sociala medier som förändrar sig med interaktion ex. TAT mobila tjänster, SonyEricsson

10 Varför det är intressant med musikprogrammering
Algoritmisk komposition Random, interaktion, blackbox Nick Collins, Electronic Music (sid ) Mozarts Musikalisches Würfelspiel (Musikaliskt tärningsspel) Komponium, kompositionsmaskin a la 1821 John Cages kompositionstekniker byggde mycket på I Ching (en gammal klassisk kinesisk text om att ändra händelser)

11 Varför det är intressant med musikprogrammering
Algoritmisk komposition Programmering för interaktion med ljud (leksaker, BRIO) Mobil, Tangible User Interface (TUI) Lärande system och Machine Listening (Nick Collins)

12 Hur vi gör Musikprogrammering och mobil ljuddesign
Föreläsningar Övningar Labbar Presentationer Projektarbete Kommentera varandras Lab, Övn, Pres. på forum!

13 Hur vi gör Musikprogrammering och mobil ljuddesign
Föreläsningar Fem övningar (4hp) Sju laborationer (5hp) För alla laborationer gäller: obligatorisk närvaro inlämningsuppgift (dvs. källkod samt skriftlig redovisning) individuellt arbete (även om en laboration görs i grupp så lämnar var och en in sin egen redovisning/källkod) Ett projekt (6hp) Interaktivt musikinstrument i openFrameworks

14 Hur vi gör Musikprogrammering och mobil ljuddesign
Lab 0 Interaktiv musikkomposition (BRIO)

15 Hur vi gör Musikprogrammering och mobil ljuddesign
Lab 1 Grundläggande ljudprogrammering i C Hantera ljudfiler, ljudformat, manipulera amplitud, normalisera, RMS nivå brytpunktfiler, envelopper Bibliotek: portSF eller libsndfile GNUplot

16 Hur vi gör Musikprogrammering och mobil ljuddesign
Lab 2 Implementera en table-lookup oscillator Linjär interpolering Sinus, fyrkant, sågtand och triangel Wavetable-syntes Fourier-syntes

17 Hur vi gör Musikprogrammering och mobil ljuddesign
Lab 3 Ljudströmmar och callbacks Synteser: FM, PM, AM, RM Brytpunktsfiler: envelopper för amplitud och panorering ev. surround 5.1 Bibliotek: portAudio

18 Hur vi gör Musikprogrammering och mobil ljuddesign
Lab 4 C++ Installera CodeBlocks och openFrameworks audioRequested() audioReceived()

19 Hur vi gör Musikprogrammering och mobil ljuddesign
Lab 5 C++ med openFrameworks Översätta C-kod till C++ klasser Lägga till och använda olika open source-bibliotek: STK, SndObject, RtMidi, portMidi, openAL, STL, m.fl.

20 Hur vi gör Musikprogrammering och mobil ljuddesign
Lab 6 openFrameworks TCP/UDP, sockets, streamning audio TouchOSC (iPhone/android) reacTIVision (motion tracking)

21 Projektarbete (6hp) Implementering av interaktivt musikinstrument i openFrameworks Olika synteser och effekter som kan kontrolleras externt med Arduino (med olika sensorer inkopplade) Videokamera Gamepad, OSC/MIDI-kontroller el. likande

22 openFrameworks + Ett mycket kraftfullt verktyg (3D grafik, video, audio, ...) + Gör det enklare och roligare att lära sig programmera i C++ + Skapat för att understöda kreativiteten + Liknar Processing (+ setup(), draw(), libraries, …) + Open Source + Bygger på flera välkända Open Source bibliotek + RtAudio, openGL, freeTyp, freeImage, m.fl. + Nya funktioner kan läggas till med ”addons” + ofxSimpleGui, ofxMidi, m.fl.

23 openFrameworks + Cross-platform + Windows, Mac, Linux
+ Xcode, CodeBlocks, Visual C++ + Skapa fristående applikationer + Utveckla för iPhone + ofxiphone + Ett bra sätt att lära sig programmera DSP och audio i C/C++ + Integrera med STK (The Synthesis Toolkit in C++) + Förena audio och visual

24 openFrameworks Varför lära sig C/C++? + Ett mycket kraftfullt språk
+ Betydligt snabbare program än Java-program + Används på professionell nivå bland audioutvecklare + SuperCollider, Max/MSP och andra är byggda med C/C++ + Behövs kunskap i C/C++ om man vill skapa egna ljudapplikationer + VSTi (Steinberg) + Audio Units (Apple) + Max/MSP externals + SuperCollider plugins + iPhone (Objective-C)

25 Sammanfattning av kursens innehåll
Introduktion till C med inriktning på ljudprogrammering Introduktion till C++ med OF och utvecklingsmiljön Code::Blocks/Xcode Programmeringsövningar och laborationer i C och C++ Design av ljud och effekter som kan användas i studioarbete och live Uppbyggnad av ljud från grunden additiv syntes, modulation, ADSR-envelope, m.m. Design av egna klasser i C++ Användning av open source-bibliotek för ljud (C/C++) Implementering av interaktivt musikinstrument i oF

26 Utrustning och verktyg
Kurssida på Moodle med Forum (all kommunikation) Ljudlabb (H8g80c) Cubase 5 Mixer Ljudkort, Presonus Firepod Aktiva högtalare, 5.1 surround Mikrofoner MIDI keyboard

27 Teori Kurslitteratur Boulanger, Richard & Lazzarini, Victor. (2011) The Audio Progamming Book. Mit Press. ISBN Noble, Joshua. (2009) Programming Interactivity. O'Reilly Media. ISBN Collins, Nick. (2008) The Cambridge Companion to Electronic Music. Cambridge University Press. ISBN Roads, Curtis. (1996) The Computer Music Tutorial. Mit Press. ISBN Jägerskogh, Arild. (1998) Massmedieljudets villkor, Praktiska principer för professionell balansering och avvägning av ljud. Anmärkning: Beställes genom kursansvarig