Speltestning -Med Fuzzy Logic. Introduktion - Banor och fiender visar strategier - Akademiska världen vs speldesigner.

En presentation över ämnet: "Speltestning -Med Fuzzy Logic. Introduktion - Banor och fiender visar strategier - Akademiska världen vs speldesigner."— Presentationens avskrift:

1 Speltestning -Med Fuzzy Logic

2 Introduktion - Banor och fiender visar strategier - Akademiska världen vs speldesigner

3 Introduktion ”Speltestning är den viktigaste aktiviteten en speldesigner ägnar sig åt, ironiskt nog är det oftast den aktiviteten en speldesigner vet minst om” (Fullerton, Tracy, 2008)

4 Introduktion - Speltestning != Enkel process!!! - Selektion, rekrytering, förberedelse, övervakning och analys - Objektiv syn

5 Introduktion -Svårt för speldesignern att förutse strategier -Speltester under hela utvecklingsprocessen - Undvika kryphål

6 Introduktion -Hjälp vid speltestning: -One-on-One testing -Tidskrävande -Halo 3 – 3000 timmar -Halo Reach – 16 miljoner timmar

7 Introduktion -Data hooks -Mindre tidskrävande = Billigare -Problem: Förstå och tolka data -En lösning: Data Mining

8 Introduktion -Data Mining – Hitta mönster i stora datamängder -Klassificering – Ge instanser en målklass -Genomskinliga vs ogenomskinliga modeller

9 Introduktion -Beslutsträd -Tydlig och överskådligt -Öka tydligheten mha Fuzzy Logic

10 Introduktion -Fuzzy Logic – relativa värden -Bättre träd med Genetisk Programmering -GP söker globalt- ger tydligare träd. -Mindre träd – Tydligare, men mindre träffsäkra

11 Syfte Utveckla en metod för att i så stor utsträckning som möjligt automatiskt kunna hitta kryphål och strategier i ett spel, samt kunna jämföra detta mot hur speldesignern ämnat att spelet skulle spelas.

12 Problemformulering - Hur kan fuzzy logic användas för spelstrategianalys baserat på data hooks?

13 Problemformulering Delproblem: 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? 2. Hur skiljer sig träffsäkerhet mellan automatiska och manuella fuzzy medlemsfunktioner?

14 Bakgrund - Speltestning -Speltestning != Enkel process!!! -Speltestning != feedback med buggar -One-on-One testing -Grupptestning -Feedback Forum -Intervju -Öppen diskussion -Data Hooks

15 Bakgrund – Data Mining -Klassificering -Regression -Tekniker -ANN -Beslutsträd – Fuzzy Logic

16 Bakgrund – Fuzzy Logic -Suddig logik -Suddiga svar, inte logiken som är suddig -Relativa värden, inte 0/1 -Delvis medlem i fuzzymängd(-er)

17 Bakgrund – Fuzzy Logic Exempel: Kalle 30år, Sven 50år -Avgöra ung/gammal -Binär logik : ålder < 40 = ung -Fuzzy logic : ung = (1/0, 0/50)

18 Bakgrund– Fuzzymängden ung

19 Bakgrund– Fuzzymängden gammal

20 Bakgrund– Fuzzy Logic Lingvistiska variabler och värden -Kalle är gammal -Om Kalle är gammal så går han långsamt

21 Bakgrund– Fuzzy Logic Häckar (eng. Hedges) -Ändra utseendet på en fuzzymängd -väldigt, ganska, mer eller mindre mm. -Mer och tydligare information -Fuzzymängden väldigt ung

22 Bakgrund– G-REX Genetic Rule Extraction Program för att extrahera regler från datamängder Använder bl.a. Fuzzy Logic

23 Bakgrund– Relaterat arbete Microsoft + Bungie Studios = Halo Laboratorie för speltestning Flera metoder – Data hooks Extrahering av data 

24 Teori– Spelet Top Down Shooter 2D

25 Teori– Insamling av data Time- Tiden sedan omgången startades. PosX- Spelarens position I X-led PosY- Spelarens position I Y-led HP- Spelarens aktuella hälsa Ammo - Spelarens tillgängliga ammunition Bombs - Antal tillgängliga bomber för spelaren FShots - Antal skott avfyrade av spelaren Points - Spelarens poäng EType- Typ av fiende på skärmen ECurve- Fiendens rörelsemönster #Enemies - Antal fiender på skärmen.

26 Teori – Fuzzy evaluering 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? 2. Hur skiljer sig träffsäkerhet mellan automatiska och manuella fuzzy medlemsfunktioner?

27 Experiment Klassificering i ramverket Pass 1 330 poäng

28 Analys 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Tolkningsbarhet: Automatiska: Svårare att tyda, längre regler Beroende av inställning i G-REX Olika representation mot manuella regler. Manuella är en väg i trädet.

29 Analys 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Tolkningsbarhet: Vad säger reglerna? Pass 1 float fuzzyValue = 0; fuzzyValue += LowX; fuzzyValue += HighX; fuzzyValue += FiredShots / 2; fuzzyValue += UsedBombs;

30 Analys 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Träffsäkerhet: Automatiska regler har bättre träffsäkerhet Manuella regler har svårt för komplexa pass. Sämre än naiv klassificering i pass 3 Tränings Prec TestPr ec Län gd Gräns för en bra spelare399 Bra spelare i %15 Naiv klassificering i %85 Fuzzy regler (Manuella)70 G-REX - med vanlig fuzzy89 4 G-REX - med very/rather fuzzy89884 G-REX - Crisp Values88867 G-REX - Crisp Values med Very/rather88867

31 Analys 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Träffsäkerhet: Alla Pass: Manuella är lite bättre Häckar är bra PassAlla Pass Tränings Prec TestPre c Läng d Fuzzy regler (Manuella)85 G-REX Fuzzy827311 G-REX Fuzzy med very/rather838011 Naiv klassificering i %75 G-REX - Crisp Values867414 G-REX - Crisp Values med Very/rather887415

32 Analys 2. Hur skiljer träffsäkerheten mellan automatiska och manuella fuzzy medlemsfunktioner? Ingen stor skillnad Hög träffsäkerhet Innebär: Bra resultat! Ingen kunskap om Fuzzy PassAlla Pass Tränings Prec TestPre c Läng d Fuzzy regler (Manuella)85 G-REX Fuzzy827311 G-REX Fuzzy med very/rather838011 Naiv klassificering i %75 G-REX - Crisp Values867414 G-REX - Crisp Values med Very/rather887415 Pass2 TräningsPr ec TestPre c Läng d Gräns för en bra spelare479 bra spelare i %30 Naiv klassificering i %70 Fuzzy regler (Manuella)92 Korrelation fuzzy regler0,89 G-REX - med vanlig fuzzy92 9 G-REX - med very/rather fuzzy92 8 G-REX - Crisp Values94926 G-REX - Crisp Values med Very/rather94927

33 Analys Hur kan fuzzy logic användas för spelstrategianalys baserat på data hooks? M.h.a. Fuzzy Logic och G-REX hittades icke triviala regler En oväntad regel i pass 2 Bra regler pass för pass. Ingen bra generell regel för alla pass Beror på spelets och attributens uppbyggnad (bombs)

34 Analys Hur kan fuzzy logic användas för spelstrategianalys baserat på data hooks? En oväntad regel från pass 2: Om spelaren skjuter bomber och förlorar hälsa, är det en bra spelare… Fler fiender = Fler poäng

35 Slutsats 1. Hur skiljer sig tolkningsbarhet och träffsäkerhet mellan automatiska och manuella regler? Tolkningsbarheten är tydligare för manuella regler medan träffsäkerheten är bättre för de automatiska reglerna. Tolkningsbarheten för de automatiska reglerna är acceptabel och går att utläsa när träden inte blir för stora.

36 Slutsats 2. Hur skiljer sig träffsäkerhet mellan automatiska och manuella fuzzy medlemsfunktioner? Träffsäkerheten skiljer sig inte mellan de automatiska och de manuella fuzzy medlemsfunktionerna. Det spelar alltså ingen roll om det är speldesignern eller G-REX som sätter upp medlemsfunktionerna för fuzzy logic.

37 Slutsats Hur kan fuzzy logic användas för spelstrategianalys baserat på data hooks? Fuzzy logic används med framgång på data från loggfiler för att evaluera och predicera spelstrategier. Det bästa sättet är att använda automatisk fuzzifiering och regelskapande i program som G-REX.

38 Tack för 3 härliga år !!!