Haptik Jonas Moll Doktorand MDI-gruppen, CSC

Känselsinnet Ett system (sematosensoriska systemet) som består av tre komponenter – Taktil perception (Punktberöring, smärta, temperatur) Exempel – BrailleBraille – Kinestetisk perception (perception från leder och muskler; hårdhet, viskositet och form) – Proprioception (vår känsla av kroppens position i förhållande till gravitationen, samt vår känsla av rörelse) Haptisk perception kombination av dessa

Aktiv och passiv beröring Två olika sätt att få känselåterkoppling på Aktiv beröring – Utforska något på egen hand genom att aktivt röra och känna Passiv beröring – Hålla sig stilla, medan t ex ett föremål berör huden eller påverkar kroppens position

Haptisk återkoppling Återkoppling till känselsinnet – Antingen via aktiv eller passiv beröring – Kräver ofta speciell program- och hårdvara Haptiska gränssnitt bygger på känselåterkoppling Man lurar känselsinnet genom att ansätta krafter eller på annat sätt ge stimuli till hudens sensorer

Multimodala gränssnitt Multimodala gränssnitt ger feedback till fler än ett sinne Gränssnitt som bygger på syn- och hörselintryck i särklass vanligast Haptiska gränssnitt fortfarande mycket ovanliga, men utvecklas mer och mer i forskningssammanhang

Haptiska verktyg

Programmera för olika sinnen Olika sinnen inriktade på att ta in olika typer av information – Centralt då man studerar och utvecklar multimodala gränssnitt Viktigt att ha koll på illusioner Olika krav på uppdateringsfrekvens och rendering

Exempel på applikationer

Fallstudie – mitt examensarbete ”Utveckling och utvärdering av programvara till stöd för lärande under samarbete mellan seende och synskadade elever i grundskolan”

Bakgrund Behovet av en ny programvara framkom i en fältstudie inom EU-projektet MICOLE Seende och synskadade arbetade i två parallella processer – inget samarbete! Problemet: grupparbeten mer och mer vanliga – alla förväntas delta

Själva uppgiften Skapa ett program som stöder hela grupparbetsprocessen – Från utförande till resultatrapportering Höga krav på enkelhet och realism Haptisk feedback central! Avsluta med en utvärdering ute på skolor

Den resulterande programvaran Tre versioner – en för läraren, två för eleverna Elevernas 2D-version2D-version – För inlärning av vinklar och plan geometri Elevernas 3D-version3D-version – För inlärning av enkel rymdgeometri Lärarens version – Möjlighet för läraren att förbereda uppgifter

Utvärderingen Utvärdering av elevversion i 4 skolor – Vi tog med all utrustning – 3 elever per test, varav en gravt synskadad Eleverna utförde en uppgift i vardera version – 2D-uppgift, 3D-uppgift 2D-uppgift3D-uppgift Avslutande kort intervju

Viktiga resultat Om objekt kan flyttas i en samarbetsmiljö blir det mycket svårare för den synskadade då denne inte har något sätt att uppfatta förändringar i miljön I båda miljöerna fick eleverna stöd i diskussionen kring matematiska koncept Alla synskadade klarade av att lyfta, släppa och överlämna objekt

Viktiga resultat, forts I samtliga grupper var de synskadade involverade och kunde bidra De synskadade kunde få en bild av miljön genom att använda phantomen ”Haptisk guidning” användes frekvent i vissa grupper

Sammanfattande slutsatser Interaktionsmiljöernas betydelse för effektiviteten Haptikens betydelse för samarbetet

Resultat från andra studier Haptiken ger en större upplevd närvarokänsla Haptiken ger en större upplevd social närvarokänsla Haptiken påverkar dialogen Man kan tala om haptisk kommunikation Även seende kan hjälpas av haptiken

Haptiklabben Totalt 2 timmar Första 1,5 timmarna ägnas åt mycket enkel programmering av haptiska gränssnitt Sista delen en demosession i haptiklabbet

Mjukvaran – H3D API API baserat på x3d – en utvidgning av xml för skapande av 3d-grafik – Visuell och haptisk rendering Framtaget av SenseGraphic och är Open Source Baserat på scengrafprincipen och innehåller noder och attribut

Hårdvaran – Novint Falcon

Ett enkelt litet exempel

Resultatet

Det visuella - <Material diffuseColor=”1 0 0” transparency=’0.5’ /> Kontrollerar den visuella delen Attribut: – diffuseColor (ett RGB- värde) – Transparency (genomskinligheten, värde i [0,1]

Kontrollera haptiken - xxxSurface <SmoothSurface stiffness=’1000’ /> <FrictionalSurface dynamicFriction=’0.2’ stiffness=’300’ /> Kontrollerar ”känslan” Attribut: – Stiffness =”hårdhet” – xxxFriction Andra exempel – MagneticSurface – DepthMapSurface

Mer avancerad programmering Bara H3D-filer räcker oftast inte Python – Avancerad interaktionshantering C++ – För att skapa egna, specialierade noder

2D-versionen

3D-versionen

Lärarens version

Braille – reading by feeling!

Datorspel och vissa simuleringar Vanligaste formen av haptiska verktyg som nästan alla har använt Används i spel och simulatorer Oftast bara 1 frihetsgrad

Phantomen Desktop, Omni och Falcon 3 frihetsgrader, 1 interaktionspunkt Förmedlar krafter via ledade robotarmar och wirar Lurar användaren att denne tar på och interagerar med virtuella grafiska objekt

Exoskeleton – de mest avancerade Exoskeletonverktyg kan ha upp till 24 frihetsgrader Vissa ger kraftåterkoppling till varje finger Andra ger elekriska impulser till sensorer i huden

Medicinska tillämpningar Denna typ av haptiska applikationer används och utvecklas mer och mer idag Mycket höga krav ställs på utrustningen Många fler exempel på medicinska applikationer finns

Matematiska tillämpningar Exjobb om tolkning av statistiska data – Vad kan haptiken tillföra till en annars vanligen visuell datortillämpning? En mängd matematiska tillämpningar för synskadade Ett Tetris-liknande spel håller på att utvecklas

Samarbetsmiljöer