Haptik Innehåll: Känselsinnets olika funktioner Hur fungerar känselsinnet biologiskt Fenomenet känsel samt dess relation till övriga sinnen Hårdvara som ger känselåterkoppling Applikationsområden Användbarhet och haptiska gränssnitt                                                                                                                                                                                                                                            Taget från ett företag, talande bild.

Känselsinnet Somatosensoriska systemet Taktila , temperatur, smärta Kinestetiska Haptiska Proprioceptiska 1.3 kvm skinn, 4-5kg skinn Skyddar kroppen från yttervärlden Ger känselintryck gällande kroppens position samt beröring

Somatosensoriska systemet Tactile perception is defined as perception mediated solely by variations in cutaneous stimulation (Loomis & Lederman, 1986). Kinesthetic perception is defined as perception from joints and muscles,by limb movement alone, of hardness, viscosity and shape. Proprioception is the sense of position of the body in relation to gravity as well as our movement through space. Receptors in the vestibular apparatus are involved.

Haptic perception Haptic perception is defined as perception in which both the cutaneous sense and kinesthesis convey significant information about distal objects and events. Haptic system unifies input from many sources, e.g., position of fingers, pressure, into a unitary experience.

Taktila sinnet Känselnerv Fibertyp Bästa stimuli Känselintryck Pacinian corpuscle RA II snabb vibration djup vibration Meissner corpuscle RA I picka på skinnet pickande Ruffini endings SA II tänjning av skin tänjning Merkel disc SA I kontinuerligt tryck tryck Meissner corpuscle Merkel´s discs Ruffini endings Pacinian corpuscle Epidermis Dermis Stimulus Snabb adaption Långsam adaption Lägga pennan i handen

Det kinestetiska känselsinnet De sinnesintryck man får från muskler och leder. Positionen huvud och extremiteter har i förhållande till torso och tex fingrarnas position. Det närmaste man kan komma ren kinestetisk känslan, utan att bedöva alla nervceller, är att tänka sig att röra vid något med en fingerborg på fingret. Fingertricket

Receptorer i muskeln Muscle spindle Finns i muskelfibern. Reagerar på ändringar i muskelns längd tex. då den sträcks. Golgi tendon organ Finns i muskeländarna. Reagerar på en muskels sammandragning. Kontinuerliga krafter.

Golgi tendon organ

Muscle spindle

Proprioception Sinnesintryck av vilken position kroppen har i förhållande till jorden. I innerörat finns vestibular sacs (utricle & saccule) som skickar signaler om acceleration, samt semicircular canals som skickar signaler om kroppens lutning. semicircular canals Utricle Saccule

Homunculus Somatosensory Homunculus Motor Homunculus -the topographical representation of the relative amount of brain devoted to various parts of the body Somatosensory Homunculus Motor Homunculus Genitals Toes Leg Abdomen Shoulder Arm Forearm Fingers Thumb Eyelids Face Lips Tongue Jaw Swallowing

Att utföra en rörelse Intention att röra sig: Sensorisk händelse (SC) Relevans Planering: Lokalisera målet (PPC) Informera motoriska området (PMC) Co-ordination: Formulera sekvens för rörelsen (SMA & motoriskt område) Utförande: Skicka motoriskt kommando Använd sensorisk feedback Primary somato sensory cortex Posterior parietal cortex

Att utföra en rörelse Supplementary motor area

Perception of two-dimensional objects Aktiv känsel – när personen aktivt kontrollerar inhämtandet av känselstimuli tex vid läsande av punktskrift genom att röra fingrar och händer. Passiv känsel – när personen EJ aktivt kontrollerar inhämtandet av känselstimuli tex om ett objekt trycks mot skinnet. Det är signifikant lättare att känna igen tvådimensionella former med aktiv känsel än med passiv. Viktigt att tänka på när man utformar haptiska gränssnitt. Jämför braille som ”flyter” under fingret på personen eller om bilder skulle projiceras på fingret istället för att personen undersöker stimuli aktivt

Tactual Stereognosis Förmågan att känna tre dimensioner genom att undersöka objekt med händerna. Människor kan känna igen 96% av 2000 objekt utan att se objekten. - Sökande fas för att lokalisera objektet. Snabba svepande rörelser, inte särskilt taktila. Positionsfas då händerna håller objektet för att etablera dess placering i förhållande till kroppen. - Undersökande fas för att mäta olika aspekter av objektet. Mikrorörelser med pauser vid kritiska punkter. - Olika rörelser utförs för olika syften, vikt, form, textur. Återigen viktigt att veta hur människor utför motoriska handlingar om man ska utforma haptiska gränssnitt. Vikt lyftande, textur strykande, form omslutande osv. Kan ge exempel från Roberts intervju.

Manipulera objekt med ett verktyg När man manipulerar ett objekt aktivt med ett verktyg som vid tex titthålskirurgi, upplever personen efter ett tag att verktyget blivit som en förlängning av handen. Läkare, silversmeder upplever efter lång användning det som om de har känsel ända ut i verktygets kontaktpunkt med objektet. Detta gör att människor kan integrera synen av sina egna rörelser i ett gränssnitt genom tex en markör med den känselåterkoppling de får genom systemet utan att det blir särskilt kognitivt belastande om haptiska återkopplingen är realistisk vill säga.

Ekologisk psykologi Den känsla något som stängs ger förmedlar egenskaper hos produkten som tex kvalitet. - Underlätta val av knapp eller vred genom formen på knappen. - Formen förmedlar funktionen. - Använda texturer på knappar för att särskilja dem. Minimal möjlighet till förväxling av knappar. Branding, Ibland svårt att verbalisera egenskaper som känselsinnet förmedlar som är viktiga. Stora ENSO papperskvalitet. Om man ej kan lita till synen vid val av knapp eller vred blir det extra viktigt att hitta rätt knapp enbart genom känseln, bilstereo, mobiltelefon. Fler olyckor pga samtalet än pga tryck på knapparna. Liksom vi har syn, hörsel och luktminne så har vi känselminne. Vi associerar därför vissa former med vissa funktioner. Runda knappar förmedlar rotationsfunktion med gradvis stegring av något, platta knappar oftast på/av. Grövre räfflor klickande stegvis förändring emedan smala räfflor förmedlar kontinuerlig mjuk förändring, konformad ratt – finkontroll. Fysiska parametrar, storlek, avstånd mellan knappar och form, motstånd och displacement. Man har vid test visat att av 25 olika alternativ så är dessa tre de som förväxlas minst.

Intermodal relations The specific characteristics of any particular perceptual task should be considered, in relation to the specific properties of the sensory modality (modalities), that provides information for performance of the task (Heller & Schiff, 1991). The sensory modalities are specialised for different tasks, and that specialisation emerges more strongly as the complexity of the task increases (Freides, 1974). Denna princip gäller även för kommunikation/interaktion via olika medier mellan människor.

Intermodal relations Vision is generally dominant over both touch and audition for the perception of spatial location. Vision is more effective than touch for perception of shape (Heller & Schiff, 1991). Audition is more effective than vision for the perception of temporally distributed events. Touch is at least as accurate as vision in the perception of texture. If vision is blurred people rely more on touch for perception of form. Exempel på visuell dominans, tänderna, viktigt att tänka på vid design. Svärdet blinda har andra representationer. Vikt storleksillusionen. Går ej att bara att fylla på med haptik i tex wordprogram menyerna. Effekter adderas då fler modaliteter erbjuds blinda förstår haptiska diagram lättare om ljud också visar tex skillnad på kvantitet. Hur mycket och hur fort man borrar i en tand hörs bättre än ses och eventuellt känns. Men om ytan är slät känns bättre än ses. Texturer oil and gas visuellt komplex information kan förstås lättare då haptik tillförs, atomers bindningskraft och molekylers sammansättning förstås lättare med haptik.

Multi-modala system Multi-media system Stödjer flera modaliteter såsom syn, hörsel, känsel, lukt & smak. Gör systemet mer interaktivt. Ökar bandbredden för interaktion. Multi-media system Information via olika media såsom text, grafiska illustrationer, animeringar & video, men ofta via samma modalitet. Alternativa sätt att presentera information. Ej haptik kraftåterkoppling Finns alla kombinationer av olika medieuttryck och olika modaliteter. Ibland pratar man om multimodalitet då det gäller det input datorn kräver som tex taligenkänningssystem men då jag använder begreppet menar jag det input människan upplever. Kan upplevas som förvirrande.

Haptiska gränssnitt PHANToM consists of a linkage mechanism, thimble interface, stylus interface, three-degree-of-freedom passive gimbal, motors, encoders, cable drive mechanism, and mounting stand. A stylus or tool handle may be substituted for the thimble. PHANToM works in concert with the computer to interpret the finger's position in three dimensional space and apply an appropriate and variable resisting force. Smooth walls, sharp corners, rubbery spheres, textured surfaces and friction can be represented to the user in a typical interaction.

Haptiska gränssnitt The basis of the force display is a six-degree-of-freedom manipulator. Haptic master system employs three sets of parallelogram linkages instead of linear actuators. Each pantograph is driven by three DC motors, powered by amplifiers.The top end of the pantograph is connected to a vertex of the top platform by a spherical joint. The maximum payload of the manipulator is 2.5 kilograms,which is more than a typical hand. With this compact hardware,the operator can feel the physical characteristics of three types of virtual objects: hard surface, elastic surface, and fluid flow velocity.

Haptiska gränssnitt                                                              CyberGrasp™ is an force feedback system for the fingers and hand. The CyberGrasp is a lightweight, force-reflecting exoskeleton that adds resistive force feedback to each finger. Grasp forces are produced by a network of tendons routed to the fingertips via the exoskeleton. There are five actuators, one for each finger, which can be individually programmed to prevent the user’s fingers from penetrating or crushing a virtual solid object. The CyberGrasp system allows an operator to control a remotely-located robotic "hand" and literally "feel" the object being manipulated.

Haptiska gränssnitt This is a 1 DOF device which gives a sense of touch for entertainment applications. It has 4 programmable buttons and can be connected to the serial port of computers. The position resolution is 0.17 degrees and the range of travel is 240 degrees. It delivers a continuous torque of 3.1 lb.ft and peak torque of 4.5 lb.ft. The actuator is a brushless DC motor.

Haptiska gränssnitt This joystick, the WCS II design is taken from the F-15 throttle handle and, therefore, is designed to be used by the left hand, while the right hand operates the stick. The WCS II has six buttons and a three-way rocker switch placed in strategic locations on the handle. Moving the handle fore and aft provides thrust control. Clicks are detectable as the throttle handle is moved, providing tactile feedback for enhanced control and awareness.

Taktilt gränssnitt CyberTouch features small vibrotactile stimulators on each finger and the palm of the CyberGlove. Each stimulator can be individually programmed to vary the strength of touch sensation. The array of stimulators can generate sensations such as pulses or sustained vibration.

Taktilt gränssnitt Braille display

Känna papperskvalitet

Uppleva känslan av en växellåda

Öva på att ta blodprov

Förstå seismiska data                                                                          visualize seismic data to better understand how to plan their exploration and production activities to achieve optimal results. Känner ett större motstånd om borrvikeln blir för snäv.

Simulera kirurgiska ingrepp Att träna på kadaver är mycket dyrt och man kan av etiska skäl inte använda den metoden för ofta. En del kirurgiska ingrepp är så sällsynta att kirurgen inte får tillfälle att öva så ofta. Kirurgiska ingrepp kan bli bättre och kan utföras snabbare om man kan planera ingreppet i förväg. Bilderna till höger ej från samma applikation. Det är dock ganska långt kvar tills man har riktigt bra applikationer som utvärderats gällande realism och pedagogiskt, man kan öva in fel beteende. Device incorporating virtual reality to simulate the look and feel of eye surgery. By using this system, surgeons can practice coping with emergencies and the unpredictable, as do pilots with flight simulators. Beside photo-realistic images of the eye, the simulator has linear tactile feedback for real-time "feel" of tool-tissue interaction.

Psykologiska verktyg Use of tactile augmentation to help distract burn patient from her pain during physical therapy. When she touches the virtual spider in VR with her cyberhand, her real hand simultaneously touches the furry toy spider in the real world. She has the illusion of physically touching the virtual spider, a technique named "tactile augmentation ". http://www.hitl.washington.edu/people/hunter/ Smärtlindring pga distraktion förflyttad närvaro in i virtuell miljö. Bota fobier.

….finns hur många exempel som helst….. Ultraljud på distans Molekyler Uppleva skulpturer i museum Känna på textilier Skapa prototyper…..

Haptik underlättar interaktion i gränssnitt Haptik gör att människor kan interagera snabbare och mer precist (Ishii et al, 1994; Hurmuzlu et al., 1998; Gupta et al. 1997). Haptik förbättrade personers prestation då de tillsammans förflyttade en ring mellan två punkter utan att nudda en vajer. (Basdogan, Ho, Srinivasan & Slater, 2000). Basdogan, Ho, Srinivasan & Slater

Studier om samarbete i haptiska miljöer

Teknisk utrustning Studie 1. Två PHANTOMer Två skärmar kopplade till en dator Två hörlurar Studie 2. Två Reachin display systems Två desktop PHANTOMer En dator Ingen audiokommunikation Networking France telekom och CSIRO Bör uppdateras ca 1000 gånger per sek för haptik ca 30 gånger för syn

Designen av de båda studierna Mellangruppsdesign 28 försökspersoner Haptic vs. ickehaptik Fem uppgifter Studie 2. Inomgruppsdesign 22 försökspersoner Haptic vs. nonhaptic Uppgift: överräcka kuber i 6 olika storlekar

Haptiska samarbetsmiljön i studie 1. Två personer lyfter en kub tillsammans genom att trycka på var sin sida på kuben.

Både ickehaptiska & haptiska miljön: Visuellt gränssnitt Audio kommunikation Kan lyfta objekt tillsammans Kan lyfta objekt själv Endast haptiska miljön: Känna objektens vikt. Känna kollisioner med objekt Känna den andra proxyn “Hålla handen” Känna golv, tak & väggar

Haptiska samarbetsmiljön i studie 2. 1. 2. 3. 4. Reachins system, ingen audio En kub överräcks av en person till en annan.

Vilka data har insamlats vid experimenten? Effektivitet - Hur snabbt uppgifter utförs. - Med vilken precision man manipulerar objekt tillsammans. Upplevd effektivitet Hur väl personerna upplever att de utför olika moment i miljön samt hur lätt de lär sig hur miljön fungerar. Mäts genom enkät. Social närvarokänsla Mäts genom enkät. Virtuell närvarokänsla

Virtuell närvarokänsla En subjektiv känsla av att vara mentalt närvarande på en plats eller i en miljö fastän man fysiskt befinner sig på en annan plats. Ökad känsla av realism, kontroll, engagemang & ökad känsla av inneslutenhet i mediet. (Witmer & Singer, 1998)

Social närvarokänsla Mötets sociala kvalitet, möjlighet att visa & förstå känslor/intentioner (Short et al., 1976). Känsla av att vara tillsammans med en eller flera andra personer i en gemensam miljö. Mediets kapacitet att förmedla information om ansiktsuttryck, ögonkontakt, fokus, gester, kroppshållning, fysiskt avstånd och klädsel. Social facilitation Ändrar människors storlek beroende på vilket avstånd som känns behagligt, är personligt

Conclusions from study 1. Supporting haptic force feedback in a distributed collaborative environment makes manipulation of common objects significantly faster & more precise. People perceived their performance to be significantly better in the haptic environment. People perceived themselves to be significantly more virtually present in the haptic environment. But people did not perceived themselves to be more socially present in the haptic environment.

Conclusions from study 2. No significant differences in average time between the haptic or nonhaptic condition. Error rate is significantly lower when haptic force feedback is provided to people that perform a hand over task in a CVE. People perceived their performance to be significantly better in the haptic environment. Haptic force feedback significantly improves perceived virtual presence. Haptic force feedback significantly improves perceived social presence. Ej audio i denna miljö förklarar social presence Ej lika komplexa uppgifter haptiskt sett I denna miljö förklarar tiden Konsekvent mer fel utan haptik

The subjects´ own words….. ”In the environment where you feel, then you feel what the other person does, if both are at the object then you can adjust so that both persons help each other to move in one direction. But in the other environment you have no idea what the other person actually does. Then it can happen that you pull in different directions…” ”You signal that you are at (the object) then when you push from the front because you felt that yourself …(that you had the object)” ”It was easier to know where you had it….(the cube in the haptic environment)” ”It felt more insecure...(in the environment without haptic feedback)”

Pågående arbete I haptikverkstan Haptisk miljö där konstruktörer med olika specialitet kan diskutera en modell.