Robust Bayes och konkurrerande skolor Stefan Arnborg, KTH.

En presentation över ämnet: "Robust Bayes och konkurrerande skolor Stefan Arnborg, KTH."— Presentationens avskrift:

1 Robust Bayes och konkurrerande skolor Stefan Arnborg, KTH

2 För att skapa fred måste man *veta hur det ser ut *veta hur det fungerar * WIRED on Total Information Awareness WIRED (Dec 2, 2002) article "Total Info System Totally Touchy" discusses the Total Information Awareness system. The Total Information Awareness System and related efforts received ~~~ Quote: "People have to move and plan before committing a terrorist act. Our hypothesis is their planning process has a signature." Jan Walker, Pentagon spokeswoman, in Wired, Dec 2, 2002. "What's alarming is the danger of false positives based on incorrect data," Herb Edelstein, in Wired, Dec 2, 2002.

3 Fred Fred är viktigt för oss. I LoveKrig är inte bra för oss. Om jag fick välja va jag vill då skulle jag göra fred. Fred tycker jag om. I Love FRED.FRED. Krig är jätte dåligt.Av Mikaela.

4 Sun Zi Den som känner sig själv och sin motpart genomgår hundra strider utan fara. Den som känner sig själv men inte sin motpart förlorar en strid för varje seger. Den som varken känner sig själv eller sin motpart är dömd att förlora varje strid.

5 Sun Zi Om han upprättar ett läger på ett lättillgängligt ställe är det för att vinna andra fördelar. Om det rör sig i skogen är han på väg. Många uppsatta hinder på öppen mark betyder att fienden vill vilseleda. När fåglar lättar ligger fienden i bakhåll. Uppskrämda djur betyder att fienden är i rörelse. När dammet yr i höga och tydliga strängar är det vagnar som är på väg. När dammet ligger lågt och jämnt är det fotsoldater. När dammet är utspritt i tunna strängar samlar fienden ved. När dammet är tunt och yr kors och tvärs slår fienden läger

6 Bayes metod Posterior fås ur prior genom multiplicering med den nya informationens likelihood och normalisering. Vid en serie oberoende observationer: posterior blir prior för ny observation,

7 Kombination av ‘evidens’ Förutsättning: d1 och d2 oberoende betingat av. Laplace/Bernoulli ‘parallellkombination’ vid ändligt parameterrum: uttryck alla ‘likelihoods’ och prior som sannolikhetsvektorer över  Kombinera genom komponentvis multiplikation och normalisering. Formellt: pdf kan betraktas som (singelton) slumpmängd. Kombinationen är snitt av slumpmängder betingad att vara icke-tomma.

8 Bayesiansk Beslutsteori (Savage) Utfall R beror av osäker  med prior f( ) och eget val a: Nyttan av utfall R är u(R) Observerbarhet: f(D| ) Välj a som maximerar förväntad nytta,

9 Tillämpning: PET-kamera Camera geometry&noise film scene regularity

10 Chapman-Kolmogorov Dynamiska problem Grund för Kalman-filtret, där alla ingående fördelningar är normalfördelningar. Generella fördelningar kan ofta hanteras med ’partikelfilter’ (sekvensiell Markov Chain Monte Carlo) Uppskattning av en dynamisk situation: tillstånd, observationer d, likelihood f(d | ), innovation f( (t) | (t-1)), rekursion/prior i varje steg IMM: flera filter med olika manöverbrus. Klassificerar ’manövertillstånd’.

11 Problem med IMM (Smets Fusion 2004) Om målets klass kan ändras fritt, tex som vid klassning av manövertillstånd, råkar multipla modeller fungera bra: det filter som är bäst anpassat ger klassen. Är också Bayesianskt tolkningsbart. Om målets klass inte kan ändras momentant, t ex klassning av måltyp, är IMM inte bra - utgå i stället från Chapman-Kolmogorov

12 Joint Tracking & Classification Civilflyg, Bombplan, Attackplan (c, b, a) Har olika accelerationsprestanda Tillstånd: position, hastighet, typ : Manöverbrus: typ ändras aldrig, Acceleration begränsas: och då

13 Generalisering av Bayes/Kalman Hur gör man när man ‘inte har’ någon prior? Likelihood går inte att bestämma exakt (imprecision)? Parameterrummet är vagt, dvs inte samma för alla likelihoods (Fuzziness, vagueness)? Parameterrummet(och observationsrummet) har komplex struktur (enkel struktur är t ex Cartesisk produkt av ett antal R och ändliga mängder)?

14 Några ansatser... Robust Bayes: ersätter fördelningar med konvexa mängder av fördelningar (Berger m fl) Dempster/Shafer/TBM: Beskriver imprecision med slumpmängder DSm: Transformerar parameterrum för att beskriva ‘vagueness’.(Dezert/Smarandache) FISST: FInite Set STatistics: Generaliserar observations-och parameterrum till produkt av rum beskriven som slumpmängd (Goodman, Mahler, Ngyuen)

15 Robust Bayes Arbeta med priors och likelihoods som är konvexa mängder av sannolikhets-fördelningar (Berger, de Finetti, Walley,...): imprecisa sannolikheter Varje element i posterior består av parallellkombination av ett element i likelihood och ett element i prior. För beslut: använd det element i posterior som har störst entropi (Maxent estimat).

16 Ellsberg’s Paradox: Ambiguity Avoidance ? ? ? ? Urna A innehåller 4 vita och 4 svarta kulor, och 4 av okänd färg (svart eller vit) Urna B innehåller 6 vita och 6 svarta kulor Du får en krona om du drar en svart kula. Ur vilken urna vill du dra den? En precis Bayesian bör först anta hur ?-kulorna är färgade och sedan svara. Men en majoritet föredrar urna B även om svart byts mot vit

17 Maximum Entropy - kanonisk pdf i konvex mängd? En obalanserad tärning har medelutfall 4.5 i stället för 3.5. Hur stora är sannolikheterna? Jaynes’ koncentrationsfenomen: Av alla sekvenser med medelutfall 4.5 har en förbluffande stor andel frekvenser nära den fördelning med medelutfall 4.5 som har högst entropi: Kan man alltid ersätta en imprecis fördelning med MAXENT-estimatet?

18 Hur används imprecisa sannolikheter? Förväntad nytta för beslutsalternativ blir intervall i stället för punkter: maximax, maximin, maximedel? u a pessimist optimist Bayesian

19 Dempster/Shafer/Smets Beskriv evidens med slumpmängd över . Sannolikhetsfördelning över 2^ . Sannolikhet för singelton: ‘Belief’ som allokeras för alternativet, dvs sannolikhet. Sannolikhet för icke-singelton: ‘Belief’ som allokeras till mängden alternativ, men som inte kan tillordnas någon av dess delar. Kombineras med snitt betingat av att vara icke-tomt (Dempster’s rule).

20 Correspondence DS-structure -- set of probability distributions For a pdf (bba) m over 2^ , consider all ways of reallocating the probability mass of non-singletons to their member atoms: This gives a convex set of probability distributions over . Example:  ={A,B,C} A: 0.1 B: 0.3 C: 0.1 AB: 0.5 A: 0.1+0.5*x B: 0.3+0.5*(1-x) C: 0.1 Can we regard any set of pdf:s as a bba? Answer is NO!! There are more convex sets of pdf:s than DS-structures for all x  [0,1] bba set of pdfs

21 Representing probability set as bba: 3-element universe Rounding up: use lower envelope. Rounding down: Linear programming Rounding is not unique!! Black: convex set Blue: rounded up Red: rounded down

22 Dempster/Shafer/Smets För precis (bayesiansk) belief: samma som Bayes metod. Kombination av precis och imprecis DS- struktur: blir singeltonslumpmängd, dvs precis belief. Så är det inte i Robust Bayes! Kombination av två imprecisa DS- strukturer: Blir imprecis, dock mycket smalare än Robust Bayes.

23 An appealing conjecture Precise pdf can be regarded as (singleton) random set. Bayesian combination of precise pdf:s corresponds to random set intersection (conditioned on non-emptiness) DS-structure corresponds to Choquet capacity (set of pdf:s) Is it reasonable to combine Choquet capacities by (nonempty) random set intersection (Dempster’s rule)?? Answer is NO!!

24 Zadeh’s Paradoxical Example Patient has headache, possible explanations are M-- Meningitis ; C-- Concussion ; T-- Tumor. Expert 1: P( M )=0 ; P( C )=0.9 ; P( T )=0.1 Expert 2: P( M )=0.9 ; P( C )=0 ; P( T )=0.1 Parallel comb: 0 0 0.01 What is the combined conclusion? Parallel normalized: (0,0,1)? Is there a paradox??

25 Zadeh’s Paradox (ctd) One expert (at least) made an error Experts do not know what probability zero means Experts made correct inferences based on different observation sets, and T is indeed the correct answer: f( |o1, o2) = c f(o1| )f(o2| )f( ) but this assumes f(o1,o2 | )=f(o1| ) f(o2| ) which need not be true if granularity of  is too coarse (not taking variability of f(oi| ) in account). One reason (among several) to look at Robust Bayes.

26 Zadeh’s example Robust and Dempster’s rule Yager’s rule Union rule random set union

27 Robust Combination on Zadeh’s ex -- Expert 2 discounted by 10% Robust rule Dempster’s rule maxent Fixsen/Mahler rule

28 Robust Combination on Zadeh’s ex -- Both discounted by 5% Robust rule Dempster’s rule Rounded robust maxent MDS

29 Two imprecise operands o1, o2 (red lines), their pignistic transformations p1, p2 (red crosses), and robust combinations o1*p2 and p1*o2 (blue) o1*p2 p1*o2

30 o1*o2 p1*o2 o1*p2 p1*p2

31 MDS(o1,o2) p1*p2  MDS(o1,o2)  (p1*o2  o1*p2)

32 Consistency of fusion operators Operands Robust rule

33 Consistency of fusion operators Dempster’s fusion rule outside robust rounded polytope!! Fixsen/Mahler (MDS) compatible with Robust Bayes fusion DS rule MDS rule Rounded robust

34 Fördelning av resultat

35 Jaynes koncentrationsfenomen 10 100 1000

36 FInite Set STatistics Särskilt avsedd för problem multiple tracking/multiple sensor Flera tätt flygande mål. Varierar vid MIRV och missilavfyring. Tillstånd är ett variabelt antal tillstånds- vektorer för enkla mål: Problem med symmetrier: I FISST är tillståndet en slumpmängd ur Ska inte förväxlas med DS-struktur.

37 That’s all Folks! Bayesianism har starka normativa anspråk Dempsters regel inkompatibel med synen på DS-struktur som imprecis sannolikhetsfördelning. MDS kompatibelt men underskattar imprecision. Förståelsen av komplexa tillståndsrum otillräcklig: Behövs antingen enklare teori (gränsvärdesteknik för kompakta metriska rum) eller måtteori i ingenjörsutbildningen.