Experiment Som forsknings-, design- och utvärderingsmetod

Introduktion • Experiment som forsknings-, design- och utvärderingsmetod • Population, urval, operationalisering, reliabilitet, validitet • Experiment, teori och design inom MDI - kommentar till artikeln av Landauer • Exempel på ett experiment rörande informationsvisualisering

Forskning vs design • Forskning - syftar till att beskriva, förklara eller förstå olika fenomen - närma sig sanning om det existerande - främst deskriptiv - metoden som kvalitetsgarant • Design - syftar till förändring och skapande av det icke-existerande - normativ - bland annat experimentet som kvalitetsgarant...

Kvantitativ vs kvalitativ -metod Kvantitativa metoder - Precision - Bredd - Systematik och struktur - Det gemensamma - Avstånd till studieobjekt - Beskrivning och förklaring - Åskådare och/eller manipulator - Jag-det relation till studieobjektet Kvalitativa metoder - Följsamhet - Djup - Osystematik och ostruktur - Det säregna och unika - Närhet till studieobjekt - Sammanhang och strukturer - Beskrivning och förståelse - Deltagare eller aktör - Jag-du relation

Kvantitativ metod och experiment Kännetecknande drag • Formaliserade och strukturerade - strävar efter högre kontroll från forskarens sida - visst avstånd från informationskällan/källorna - statistiska mätmetoder viktiga vid dataanalys - kontroll och tvärsnittsbild • Operationalisering - kvantifierbara och mätbara aspekter

Population och urval • Ett experiment syftar till att säga något om en population baserat på observationer av ett urval • Hur kan vi veta att urvalet är representativt? - Fullständig representativitet kräver att urvalet är detsamma som hela populationen (orealistiskt) - Urvalstekniker kan hjälpa oss att finna mer eller mindre representativa stickprov

Urval 1. Slumpmässigt urval Baserat på sannolikheten för att vilken enhet som helst ska vara känd Representativt urval för en population 2. Teoretisk sampling Val av enheter som man tror har mest kunskaper inom området för undersökningen 3. Urval genom självselektion Enheterna själva får ta initiativ att vara med jfr, en tidning som uppmanar sina läsare att tycka till 4. Tillfällighetsurval Väljer enheter som är enkla och lätta att få tillgång till

Hypotesprövning • Kvantitativa studier bygger på hypotesprövning i stor utsträckning • Hypotetisk-deduktiv teoribildning Ur en teori genereras en hypotes som testas empiriskt • Exempel Teori – deltagande systemutveckling Hypotes – användare upplever högre kvalitet i informationssystem som de själva medverkat till Empirisk testning – forskaren ställer ett antal frågor om upplevd kvalitet till ett slumpmässigt, representativt urval användare ur en viss population

Hypotesformulering • Experimenthypotes – en förutsägelse om vilken effekt en viss behandling kommer att orsaka ”De som använder piltangenterna kommer att förflytta sig snabbare än de som använder mus och pekdon” • Nollhypotes- specifik variant av experimenthypotes – en förutsägelse om att behandlingen inte har någon effekt ” De som använder piltangenter kommer inte att navigera snabbare än de som använder mus och pekdon”

Reliabilitet • Reliabilitet avser mätresultatens pålitlighet - ger upprepade mätningar samma resultat - kan vara slumpmässiga och systematiska • Möjliga orsaker till låg reliabilitet - Observatörer - Deltagare - Mätinstrument, utrustning

Validitet Tre typer: • Definitionsmässig validitet - mäter vi vad vi avser att mäta - är operationaliseringen fruktbar • Intern validitet - den utsträckning som experimentet visar att behandlingen haft effekt på urvalets experimentgrupp • Extern validitet - den utsträckning som resultaten är möjliga att generalisera från urvalet till populationen

Experiment, teori och design inom MDI Färger? Olika vyer? Hjälp- funktioner? Text eller grafik? Standards? Ljud? Designbeslut om gränssnitt

kompletterande synsätt Tre alternativa och kompletterande synsätt 1. Upprepade experiment är ett led i att formulera generella teorier och lagar 2. Teorier och lagar tillämpas för att informera design av det specifika 3. Experiment används för att (formativt) utvärdera specifika designalternativ

Fitts lag Uttrycker den tid (T) det tar att träffa ett mål med en markör som en funktion av: målets storlek (S) avståndet från startpunkt till mål (D) (T=k1+k2log(D/S)) S D

Hick’s lag Uttrycker den tid (T) det tar att välja ett av flera alternativ som en funktion av antalet alternativ Tid (T) Antal alternativ (A) 1 2 3 4

The Power Law of Practice • Förutsäger den tid det tar att utföra en uppgift som en funktion av antalet försök • Övning ger färdighet • En van användare förbättrar sig mindre och mindre • En ovan användare förbättrar sig markant i relation till antalet försök

Landauers argument mot teoridriven design De flesta användbara teorier är omöjliga!! - Bredd & precision --- svårt... Begränsade och av ringa betydelse - The keystroke level model Vissa teorier har vunnit erkännande och har därför viss betydelse Empiriska experiment däremot må vara specifika men ger större genomslagskraft.

Ett alternativ: Experiment- och utvärderingsdriven design Iteration--analys, revision Kontinuerliga experiment mot användarna Systematiska observationer Formativa utvärderingar av prototyper

om informationsvisualisering Exempel på experiment om informationsvisualisering “Information visualization” Comparing the use of a traditional and an advanced visualization technique Daniel Skog Department of Informatics Umeå University

Jämförande experiment Traditionell teknik; kartor, ritningar, symbler, etc. Avancerad teknik; multimedia, VR, etc. Frågeställningar: På vilket sätt skiljer sig avancerad gestaltningsteknik från traditionella tekniker? Hur kommunicerar avancerad gestaltningsteknik information? Vilka är konsekvenserna av att utnyttja avancerad gestaltningsteknik?

Experimentet Ett hus beskrevs med hjälp av en traditionell gestaltningsteknik och med hjälp av en avancerad gestaltningsteknik. De använde ritningar för att representera den traditionella tekniken och en VR-modell för att representera den avancerade tekniken. VR-modellen Ritningen

• Språk • Estetik • Rumsuppfattning • Funktionalitet

Språk VR-gruppen beskrev huset med ett rikt, uttrycksfullt språk och med grafiska beskrivningar Ex: “liten mysig stuga”, “trevlig design men alltför stelt” Ritningsgruppen fokuserade på planeringen av huset och beskrev rummens fördelning och storlek. Ex: “dåligt planerad”, “köket var beläget rakt fram”

Estetik VR-gruppen visade en större förmåga att se huset ur ett estetiskt perspektiv. Ex: Någon nämnde att huset hade ett ”lustigt tak”, “en trivsam och trevlig veranda” och ”fina pillars” etc. Ritningsgruppen hade inga kommentarer beträffande husets utformning och/eller estetik.

Rumsuppfattning Originalritningen av En skiss gjord av huset VR-gruppen Originalritningen av huset En skiss gjord av ritningsgruppen

Slutsatser Den virtuella representationen (VR-modellen) kan upplevas och ritningen endast betraktas. Deltagarna i VR-gruppen hade en stark känsla av att “faktiskt” varit i huset, erfarit huset. De starka intrycken och känslorna som VR-modellen skapade verkar distrahera användaren och ge en ofullständig och felaktig rumsuppfattning och en bristfällig förståelse av husets funktioner VR-modellen kommunicerade en känsla av närvaro i huset, och ritningen erbjöd en bättre översikt och bild över huset.

Det började med en idé...