Speltestning -Med Fuzzy Logic

Introduktion - Banor och fiender visar strategier - Akademiska världen vs speldesigner

Introduktion ”Speltestning är den viktigaste aktiviteten en speldesigner ägnar sig åt, ironiskt nog är det oftast den aktiviteten en speldesigner vet minst om” (Fullerton, Tracy, 2008)

Introduktion - Speltestning != Enkel process!!! - Selektion, rekrytering, förberedelse, övervakning och analys - Objektiv syn

Introduktion -Svårt för speldesignern att förutse strategier -Speltester under hela utvecklingsprocessen - Undvika kryphål

Introduktion -Hjälp vid speltestning: -One-on-One testing -Tidskrävande -Halo 3 – 3000 timmar -Halo Reach – 16 miljoner timmar

Introduktion -Data hooks -Mindre tidskrävande = Billigare -Problem: Förstå och tolka data -En lösning: Data Mining

Introduktion -Data Mining – Hitta mönster i stora datamängder -Klassificering – Ge instanser en målklass -Genomskinliga vs ogenomskinliga modeller

Introduktion -Beslutsträd -Tydlig och överskådligt -Öka tydligheten mha Fuzzy Logic

Introduktion -Fuzzy Logic – relativa värden -Bättre träd med Genetisk Programmering -GP söker globalt- ger tydligare träd. -Mindre träd – Tydligare, men mindre träffsäkra

Syfte Utveckla en metod för att i så stor utsträckning som möjligt automatiskt kunna hitta kryphål och strategier i ett spel, samt kunna jämföra detta mot hur speldesignern ämnat att spelet skulle spelas.

Problemformulering - Hur kan fuzzy logic användas för spelstrategianalys baserat på data hooks?

Problemformulering Delproblem: 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? 2. Hur skiljer sig träffsäkerhet mellan automatiska och manuella fuzzy medlemsfunktioner?

Bakgrund - Speltestning -Speltestning != Enkel process!!! -Speltestning != feedback med buggar -One-on-One testing -Grupptestning -Feedback Forum -Intervju -Öppen diskussion -Data Hooks

Bakgrund – Data Mining -Klassificering -Regression -Tekniker -ANN -Beslutsträd – Fuzzy Logic

Bakgrund – Fuzzy Logic -Suddig logik -Suddiga svar, inte logiken som är suddig -Relativa värden, inte 0/1 -Delvis medlem i fuzzymängd(-er)

Bakgrund – Fuzzy Logic Exempel: Kalle 30år, Sven 50år -Avgöra ung/gammal -Binär logik : ålder < 40 = ung -Fuzzy logic : ung = (1/0, 0/50)

Bakgrund– Fuzzymängden ung

Bakgrund– Fuzzymängden gammal

Bakgrund– Fuzzy Logic Lingvistiska variabler och värden -Kalle är gammal -Om Kalle är gammal så går han långsamt

Bakgrund– Fuzzy Logic Häckar (eng. Hedges) -Ändra utseendet på en fuzzymängd -väldigt, ganska, mer eller mindre mm. -Mer och tydligare information -Fuzzymängden väldigt ung

Bakgrund– G-REX Genetic Rule Extraction Program för att extrahera regler från datamängder Använder bl.a. Fuzzy Logic

Bakgrund– Relaterat arbete Microsoft + Bungie Studios = Halo Laboratorie för speltestning Flera metoder – Data hooks Extrahering av data 

Teori– Spelet Top Down Shooter 2D

Teori– Insamling av data Time- Tiden sedan omgången startades. PosX- Spelarens position I X-led PosY- Spelarens position I Y-led HP- Spelarens aktuella hälsa Ammo - Spelarens tillgängliga ammunition Bombs - Antal tillgängliga bomber för spelaren FShots - Antal skott avfyrade av spelaren Points - Spelarens poäng EType- Typ av fiende på skärmen ECurve- Fiendens rörelsemönster #Enemies - Antal fiender på skärmen.

Teori – Fuzzy evaluering 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? 2. Hur skiljer sig träffsäkerhet mellan automatiska och manuella fuzzy medlemsfunktioner?

Experiment Klassificering i ramverket Pass poäng

Analys 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Tolkningsbarhet: Automatiska: Svårare att tyda, längre regler Beroende av inställning i G-REX Olika representation mot manuella regler. Manuella är en väg i trädet.

Analys 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Tolkningsbarhet: Vad säger reglerna? Pass 1 float fuzzyValue = 0; fuzzyValue += LowX; fuzzyValue += HighX; fuzzyValue += FiredShots / 2; fuzzyValue += UsedBombs;

Analys 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Träffsäkerhet: Automatiska regler har bättre träffsäkerhet Manuella regler har svårt för komplexa pass. Sämre än naiv klassificering i pass 3 Tränings Prec TestPr ec Län gd Gräns för en bra spelare399 Bra spelare i %15 Naiv klassificering i %85 Fuzzy regler (Manuella)70 G-REX - med vanlig fuzzy89 4 G-REX - med very/rather fuzzy89884 G-REX - Crisp Values88867 G-REX - Crisp Values med Very/rather88867

Analys 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Träffsäkerhet: Alla Pass: Manuella är lite bättre Häckar är bra PassAlla Pass Tränings Prec TestPre c Läng d Fuzzy regler (Manuella)85 G-REX Fuzzy G-REX Fuzzy med very/rather Naiv klassificering i %75 G-REX - Crisp Values G-REX - Crisp Values med Very/rather887415

Analys 2. Hur skiljer träffsäkerheten mellan automatiska och manuella fuzzy medlemsfunktioner? Ingen stor skillnad Hög träffsäkerhet Innebär: Bra resultat! Ingen kunskap om Fuzzy PassAlla Pass Tränings Prec TestPre c Läng d Fuzzy regler (Manuella)85 G-REX Fuzzy G-REX Fuzzy med very/rather Naiv klassificering i %75 G-REX - Crisp Values G-REX - Crisp Values med Very/rather Pass2 TräningsPr ec TestPre c Läng d Gräns för en bra spelare479 bra spelare i %30 Naiv klassificering i %70 Fuzzy regler (Manuella)92 Korrelation fuzzy regler0,89 G-REX - med vanlig fuzzy92 9 G-REX - med very/rather fuzzy92 8 G-REX - Crisp Values94926 G-REX - Crisp Values med Very/rather94927

Analys Hur kan fuzzy logic användas för spelstrategianalys baserat på data hooks? M.h.a. Fuzzy Logic och G-REX hittades icke triviala regler En oväntad regel i pass 2 Bra regler pass för pass. Ingen bra generell regel för alla pass Beror på spelets och attributens uppbyggnad (bombs)

Analys Hur kan fuzzy logic användas för spelstrategianalys baserat på data hooks? En oväntad regel från pass 2: Om spelaren skjuter bomber och förlorar hälsa, är det en bra spelare… Fler fiender = Fler poäng

Slutsats 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Tolkningsbarheten är tydligare för manuella regler medan träffsäkerheten är bättre för de automatiska reglerna. Tolkningsbarheten för de automatiska reglerna är acceptabel och går att utläsa när träden inte blir för stora.

Slutsats 2. Hur skiljer sig träffsäkerhet mellan automatiska och manuella fuzzy medlemsfunktioner? Träffsäkerheten skiljer sig inte mellan de automatiska och de manuella fuzzy medlemsfunktionerna. Det spelar alltså ingen roll om det är speldesignern eller G-REX som sätter upp medlemsfunktionerna för fuzzy logic.

Slutsats Hur kan fuzzy logic användas för spelstrategianalys baserat på data hooks? Fuzzy logic används med framgång på data från loggfiler för att evaluera och predicera spelstrategier. Det bästa sättet är att använda automatisk fuzzifiering och regelskapande i program som G-REX.

Tack för 3 härliga år !!!