Innehåll ~ 40 min presentation ~ 10 min Opponering och diskussion Program: Motiv: Virtual Reality Bakgrund & Syfte: Saab Training Systems Ljud 3D-ljud Tekniker och metoder 3D-ljud i Gizmo3D Resultat

Motiv: VR Virtual Reality eller Environments Stimuli: Kräver: Syntetiskt återskapande av intryck Stimuli: Visuellt Audiellt … Kräver: Interaktivitet Realtid 3D-ljud hemmabio-surround Datorindustrin, 3d-grafik, fysik… Motiv: VR

Saab Training Systems (STS) Företaget: Militära träningssystem Hårdvara -> högnivåprogrammering Bakgrund: Måltavlor Laser och prismor Positionering Övervakning, styrning Kräver: Visualisering => Gizmo3D! Auralisering i Gizmo3D? Syfte: STS

Syfte: STS Syfte: specifik uppgift Forska kring 3D-ljud Teorier Programmeringsverktyg Hårdvara Implementering i Gizmo3D Syfte: generellt i militära träningssystem Ledning Realtidsövervakning & efterövningsgenomgång Enskild soldat i simulator Största möjliga realism Syfte: STS

Ljud Fysikaliska egenskaper Ljudvåg Hörbart ljud Överlagringar av harmoniska svängningar och brus Våglängder : 1,7 cm – 17 m Tryck, intensitet och effekt normaliseras => Decibel Våghastighet Sfärisk vågspridning => avståndsbeskrivning Ljud

Ljud Fysikaliska egenskaper, forts. Riktningsspridning Absorption Frekvensberoende Absorption Frekvensberoende dämpning i: Atmosfär Reflektion och transmission Diffraktion Ljudvågs träff i kantytor Ljudkrökning runt hörn och objekt Doppler Förändring av upplevd frekvens Ljud

3D-ljud Hörande Spatialt hörande Fysiskt ljud via människans fysiologi (hörselorganet) => upplevt ljud, en psykologisk perceptionsmekanism Spatialt hörande Gammalt forskningsområde Fysikaliska skillnader i ljudsignalen kallas för: spatiala ledtrådar, eng. spatial cues 3D-ljud

3D-ljud: cues ITD (Interaural Time Difference) & IID (Interaural Intensity Difference) HRTF (Head Related Transfer Function) 3D-ljud

3D-ljud: cues Visuell kännedom & Ljud-kännedom Akustisk kännedom En av de viktigaste aspekterna inom 3D-ljud Ljuds interaktion med omgivningen Akustiksvaret 3D-ljud

Tekniker: 3D-ljudmodellering Strålteorier för tidiga reflektioner Globala ljussättningsmodeller i 3D-grafik Ray-tracing Image Source Tekniker

3D-ljudmodellering, forts… Beam tracing Begränsar spegelkälleberäkning Större geometrier än ett rum Tekniker

3D-ljudmodellering, forts… Statistisk modell för sena reflektioner Diffust ljudfält = jämnt fördelad energi Avklingningskurvan, E(t) Avklingningstid Reproduktion Faltning eller filternätverk Hörlurar, binaural, HRTF-filtrering Stereo-högtalare, transaural Flerhögtalare, panorering Tekniker

Programmeringsverktyg Standardiseringsorgan, IASIG I3DL1 och I3DL2 (två nivåer, Level 1&2) API:er (Application Programming Interface) Microsoft DirectX DirectSound3D = DS3D (I3DL1 och I3DL2) Creative EAX (I3DL2) ovanpå DS3D eller OpenAL, endast Win32 OpenAL (Creative, Apple m.fl.) Plattformsoberoende, (I3DL1) FMOD Wrapper, skal som mappar annat API (DS3D) Egen plattformsoberoende 3D-ljudmotor Med flera Tekniker

Programmeringsverktyg OpenAL OpenSource i Creative’s händer Wrapper eller hårdvarustödd (Creative & Nvidia) Smidigare än DS3D men kan mindre Krävs EAX för efterklangssimulering FMOD Wrapper och egen mjukvarumotor Licensbehäftat, bra support Objektorienterat, C++/C#, enhetligt API Signalprocessning som filtrering m.m. Ny version VT-2005 Efterklangsmodul, prioritet, geometridriven skuggning… Tekniker

Implementering i Gizmo3D Mål: Så lite jobb för ljuddesignern som möjligt Automatiskt genererad spatialisering och akustik Gizmo3D Scengrafteknologi Gizmo3D

Implementering i Gizmo3D Sound Ljudfilsspecifika data format, url, … Ljudkällespecifika data position, hastighet, prioritet AudioEnv Övergripande information, avklingning Inomhus/utomhus Om utomhus=> väder-presets AudioObj Associera en generaliserad geometri Automatisk bounding volume eller manuellt modellerad Med materialegenskaper (för absorptionsberäkningar) Receiver Gizmo3D:s kameraposition Gizmo3D

Ljudmotor Modellering av ljudvärld För rumsakustik Scengraf-avläsning: traversering Culling ( = avgränsning) Grafik Ljud Partitionering => celler Egen traversering För rumsakustik Spegelkällegeneration för tidiga reflektioner Beam Tracing eller Image Source Med valt API Begränsat med 3D-ljud-hårdvarukanaler FMOD-prioritetsmotor och stereokanaler Statistisk modell för efterklangsvans T60 för varje cell Med EAX eller FMOD:s mjukvaruefterklangsmodul Gizmo3D

Andra aspekter Skuggning Prioritet Riktning-direktivitet FMOD-filtrering, OpenAL inte Prioritet FMOD har, OpenAL inte Riktning-direktivitet Volymetrisk ljudkälla Prioritetsmotorn i FMOD Kollisionshantering, interaktivitet Förändring av ljudkaraktär beroende på kollision FMOD:s filtrering går att använda Ambient ljud och musik Gizmo3D

Resultat API-val Prioritet Beroende på syfte Komplett => FMOD Enkelt => OpenAL Oavsett => FMOD Prioritet 1. Scengrafkoppling 2. Interaktivitet och kollisionshantering 3. Skuggning 4. Musiksupport 5. Enkel rumsakustik 6. Hastighet och doppler 7. Avancerad rumsakustik 8. Direktivitet Resultat

Diskussion 3D-ljud Tidigare arbeten Arbetsgång Resultat Svårt men på G Tidigare arbeten Enkelspåriga Arbetsgång Stort och okänt område Resultat Löst uppgiften Forsatt utveckling Själva implementeringen Resultat

Tack! Saab Training Systems AB Examinator Åhörare!