Innehåll ~ 40 min presentation ~ 10 min Opponering och diskussion

En presentation över ämnet: "Innehåll ~ 40 min presentation ~ 10 min Opponering och diskussion"— Presentationens avskrift:

1

2 Innehåll ~ 40 min presentation ~ 10 min Opponering och diskussion
Program: Motiv: Virtual Reality Bakgrund & Syfte: Saab Training Systems Ljud 3D-ljud Tekniker och metoder 3D-ljud i Gizmo3D Resultat

3 Motiv: VR Virtual Reality eller Environments Stimuli: Kräver:
Syntetiskt återskapande av intryck Stimuli: Visuellt Audiellt … Kräver: Interaktivitet Realtid 3D-ljud hemmabio-surround Datorindustrin, 3d-grafik, fysik… Motiv: VR

4 Saab Training Systems (STS)
Företaget: Militära träningssystem Hårdvara -> högnivåprogrammering Bakgrund: Måltavlor Laser och prismor Positionering Övervakning, styrning Kräver: Visualisering => Gizmo3D! Auralisering i Gizmo3D? Syfte: STS

5 Syfte: STS Syfte: specifik uppgift
Forska kring 3D-ljud Teorier Programmeringsverktyg Hårdvara Implementering i Gizmo3D Syfte: generellt i militära träningssystem Ledning Realtidsövervakning & efterövningsgenomgång Enskild soldat i simulator Största möjliga realism Syfte: STS

6 Ljud Fysikaliska egenskaper Ljudvåg Hörbart ljud
Överlagringar av harmoniska svängningar och brus Våglängder : 1,7 cm – 17 m Tryck, intensitet och effekt normaliseras => Decibel Våghastighet Sfärisk vågspridning => avståndsbeskrivning Ljud

7 Ljud Fysikaliska egenskaper, forts. Riktningsspridning Absorption
Frekvensberoende Absorption Frekvensberoende dämpning i: Atmosfär Reflektion och transmission Diffraktion Ljudvågs träff i kantytor Ljudkrökning runt hörn och objekt Doppler Förändring av upplevd frekvens Ljud

8 3D-ljud Hörande Spatialt hörande
Fysiskt ljud via människans fysiologi (hörselorganet) => upplevt ljud, en psykologisk perceptionsmekanism Spatialt hörande Gammalt forskningsområde Fysikaliska skillnader i ljudsignalen kallas för: spatiala ledtrådar, eng. spatial cues 3D-ljud

9 3D-ljud: cues ITD (Interaural Time Difference) & IID (Interaural Intensity Difference) HRTF (Head Related Transfer Function) 3D-ljud

10 3D-ljud: cues Visuell kännedom & Ljud-kännedom Akustisk kännedom
En av de viktigaste aspekterna inom 3D-ljud Ljuds interaktion med omgivningen Akustiksvaret 3D-ljud

11 Tekniker: 3D-ljudmodellering
Strålteorier för tidiga reflektioner Globala ljussättningsmodeller i 3D-grafik Ray-tracing Image Source Tekniker

12 3D-ljudmodellering, forts…
Beam tracing Begränsar spegelkälleberäkning Större geometrier än ett rum Tekniker

13 3D-ljudmodellering, forts…
Statistisk modell för sena reflektioner Diffust ljudfält = jämnt fördelad energi Avklingningskurvan, E(t) Avklingningstid Reproduktion Faltning eller filternätverk Hörlurar, binaural, HRTF-filtrering Stereo-högtalare, transaural Flerhögtalare, panorering Tekniker

14 Programmeringsverktyg
Standardiseringsorgan, IASIG I3DL1 och I3DL2 (två nivåer, Level 1&2) API:er (Application Programming Interface) Microsoft DirectX DirectSound3D = DS3D (I3DL1 och I3DL2) Creative EAX (I3DL2) ovanpå DS3D eller OpenAL, endast Win32 OpenAL (Creative, Apple m.fl.) Plattformsoberoende, (I3DL1) FMOD Wrapper, skal som mappar annat API (DS3D) Egen plattformsoberoende 3D-ljudmotor Med flera Tekniker

15 Programmeringsverktyg
OpenAL OpenSource i Creative’s händer Wrapper eller hårdvarustödd (Creative & Nvidia) Smidigare än DS3D men kan mindre Krävs EAX för efterklangssimulering FMOD Wrapper och egen mjukvarumotor Licensbehäftat, bra support Objektorienterat, C++/C#, enhetligt API Signalprocessning som filtrering m.m. Ny version VT-2005 Efterklangsmodul, prioritet, geometridriven skuggning… Tekniker

16 Implementering i Gizmo3D
Mål: Så lite jobb för ljuddesignern som möjligt Automatiskt genererad spatialisering och akustik Gizmo3D Scengrafteknologi Gizmo3D

17 Implementering i Gizmo3D
Sound Ljudfilsspecifika data format, url, … Ljudkällespecifika data position, hastighet, prioritet AudioEnv Övergripande information, avklingning Inomhus/utomhus Om utomhus=> väder-presets AudioObj Associera en generaliserad geometri Automatisk bounding volume eller manuellt modellerad Med materialegenskaper (för absorptionsberäkningar) Receiver Gizmo3D:s kameraposition Gizmo3D

18 Ljudmotor Modellering av ljudvärld För rumsakustik
Scengraf-avläsning: traversering Culling ( = avgränsning) Grafik Ljud Partitionering => celler Egen traversering För rumsakustik Spegelkällegeneration för tidiga reflektioner Beam Tracing eller Image Source Med valt API Begränsat med 3D-ljud-hårdvarukanaler FMOD-prioritetsmotor och stereokanaler Statistisk modell för efterklangsvans T60 för varje cell Med EAX eller FMOD:s mjukvaruefterklangsmodul Gizmo3D

19 Andra aspekter Skuggning Prioritet Riktning-direktivitet
FMOD-filtrering, OpenAL inte Prioritet FMOD har, OpenAL inte Riktning-direktivitet Volymetrisk ljudkälla Prioritetsmotorn i FMOD Kollisionshantering, interaktivitet Förändring av ljudkaraktär beroende på kollision FMOD:s filtrering går att använda Ambient ljud och musik Gizmo3D

20 Resultat API-val Prioritet Beroende på syfte Komplett => FMOD
Enkelt => OpenAL Oavsett => FMOD Prioritet 1. Scengrafkoppling 2. Interaktivitet och kollisionshantering 3. Skuggning 4. Musiksupport 5. Enkel rumsakustik 6. Hastighet och doppler 7. Avancerad rumsakustik 8. Direktivitet Resultat

21 Diskussion 3D-ljud Tidigare arbeten Arbetsgång Resultat
Svårt men på G Tidigare arbeten Enkelspåriga Arbetsgång Stort och okänt område Resultat Löst uppgiften Forsatt utveckling Själva implementeringen Resultat

22 Tack! Saab Training Systems AB Examinator Åhörare!