Haptik Jonas Moll Doktorand MDI-gruppen, CSC. Känselsinnet Ett system (sematosensoriska systemet) som består av tre komponenter – Taktil perception (Punktberöring,

En presentation över ämnet: "Haptik Jonas Moll Doktorand MDI-gruppen, CSC. Känselsinnet Ett system (sematosensoriska systemet) som består av tre komponenter – Taktil perception (Punktberöring,"— Presentationens avskrift:

1 Haptik Jonas Moll Doktorand MDI-gruppen, CSC

2 Känselsinnet Ett system (sematosensoriska systemet) som består av tre komponenter – Taktil perception (Punktberöring, smärta, temperatur) Exempel – BrailleBraille – Kinestetisk perception (perception från leder och muskler; hårdhet, viskositet och form) – Proprioception (vår känsla av kroppens position i förhållande till gravitationen, samt vår känsla av rörelse) Haptisk perception kombination av dessa

3 Aktiv och passiv beröring Två olika sätt att få känselåterkoppling på Aktiv beröring – Utforska något på egen hand genom att aktivt röra och känna Passiv beröring – Hålla sig stilla, medan t ex ett föremål berör huden eller påverkar kroppens position

4 Haptisk återkoppling Återkoppling till känselsinnet – Antingen via aktiv eller passiv beröring – Kräver ofta speciell program- och hårdvara Haptiska gränssnitt bygger på känselåterkoppling Man lurar känselsinnet genom att ansätta krafter eller på annat sätt ge stimuli till hudens sensorer

5 Multimodala gränssnitt Multimodala gränssnitt ger feedback till fler än ett sinne Gränssnitt som bygger på syn- och hörselintryck i särklass vanligast Haptiska gränssnitt fortfarande mycket ovanliga, men utvecklas mer och mer i forskningssammanhang

6 Haptiska verktyg

7 Programmera för olika sinnen Olika sinnen inriktade på att ta in olika typer av information – Centralt då man studerar och utvecklar multimodala gränssnitt Viktigt att ha koll på illusioner Olika krav på uppdateringsfrekvens och rendering

8 Exempel på applikationer

9 Fallstudie – mitt examensarbete ”Utveckling och utvärdering av programvara till stöd för lärande under samarbete mellan seende och synskadade elever i grundskolan”

10 Bakgrund Behovet av en ny programvara framkom i en fältstudie inom EU-projektet MICOLE Seende och synskadade arbetade i två parallella processer – inget samarbete! Problemet: grupparbeten mer och mer vanliga – alla förväntas delta

11 Själva uppgiften Skapa ett program som stöder hela grupparbetsprocessen – Från utförande till resultatrapportering Höga krav på enkelhet och realism Haptisk feedback central! Avsluta med en utvärdering ute på skolor

12 Den resulterande programvaran Tre versioner – en för läraren, två för eleverna Elevernas 2D-version2D-version – För inlärning av vinklar och plan geometri Elevernas 3D-version3D-version – För inlärning av enkel rymdgeometri Lärarens version – Möjlighet för läraren att förbereda uppgifter

13 Utvärderingen Utvärdering av elevversion i 4 skolor – Vi tog med all utrustning – 3 elever per test, varav en gravt synskadad Eleverna utförde en uppgift i vardera version – 2D-uppgift, 3D-uppgift 2D-uppgift3D-uppgift Avslutande kort intervju

14 Viktiga resultat Om objekt kan flyttas i en samarbetsmiljö blir det mycket svårare för den synskadade då denne inte har något sätt att uppfatta förändringar i miljön I båda miljöerna fick eleverna stöd i diskussionen kring matematiska koncept Alla synskadade klarade av att lyfta, släppa och överlämna objekt

15 Viktiga resultat, forts I samtliga grupper var de synskadade involverade och kunde bidra De synskadade kunde få en bild av miljön genom att använda phantomen ”Haptisk guidning” användes frekvent i vissa grupper

16 Sammanfattande slutsatser Interaktionsmiljöernas betydelse för effektiviteten Haptikens betydelse för samarbetet

17 Resultat från andra studier Haptiken ger en större upplevd närvarokänsla Haptiken ger en större upplevd social närvarokänsla Haptiken påverkar dialogen Man kan tala om haptisk kommunikation Även seende kan hjälpas av haptiken

18 Haptiklabben Totalt 2 timmar Första 1,5 timmarna ägnas åt mycket enkel programmering av haptiska gränssnitt Sista delen en demosession i haptiklabbet

19 Mjukvaran – H3D API API baserat på x3d – en utvidgning av xml för skapande av 3d-grafik – Visuell och haptisk rendering Framtaget av SenseGraphic och är Open Source Baserat på scengrafprincipen och innehåller noder och attribut

20 Hårdvaran – Novint Falcon

21 Ett enkelt litet exempel

22 Resultatet

23 Det visuella - <Material diffuseColor=”1 0 0” transparency=’0.5’ /> Kontrollerar den visuella delen Attribut: – diffuseColor (ett RGB- värde) – Transparency (genomskinligheten, värde i [0,1]

24 Kontrollera haptiken - xxxSurface <SmoothSurface stiffness=’1000’ /> <FrictionalSurface dynamicFriction=’0.2’ stiffness=’300’ /> Kontrollerar ”känslan” Attribut: – Stiffness =”hårdhet” – xxxFriction Andra exempel – MagneticSurface – DepthMapSurface

25 Mer avancerad programmering Bara H3D-filer räcker oftast inte Python – Avancerad interaktionshantering C++ – För att skapa egna, specialierade noder

26 2D-versionen

27 3D-versionen

28 Lärarens version

29 Braille – reading by feeling!

30 Datorspel och vissa simuleringar Vanligaste formen av haptiska verktyg som nästan alla har använt Används i spel och simulatorer Oftast bara 1 frihetsgrad

31 Phantomen Desktop, Omni och Falcon 3 frihetsgrader, 1 interaktionspunkt Förmedlar krafter via ledade robotarmar och wirar Lurar användaren att denne tar på och interagerar med virtuella grafiska objekt

32 Exoskeleton – de mest avancerade Exoskeletonverktyg kan ha upp till 24 frihetsgrader Vissa ger kraftåterkoppling till varje finger Andra ger elekriska impulser till sensorer i huden

33 Medicinska tillämpningar Denna typ av haptiska applikationer används och utvecklas mer och mer idag Mycket höga krav ställs på utrustningen Många fler exempel på medicinska applikationer finns

34 Matematiska tillämpningar Exjobb om tolkning av statistiska data – Vad kan haptiken tillföra till en annars vanligen visuell datortillämpning? En mängd matematiska tillämpningar för synskadade Ett Tetris-liknande spel håller på att utvecklas

35 Samarbetsmiljöer