02-02-18Industriella tillämpningar inom bildanalysen Neuronnät Peter Wintoft Institutet för rymdfysik i Lund.

En presentation över ämnet: "02-02-18Industriella tillämpningar inom bildanalysen Neuronnät Peter Wintoft Institutet för rymdfysik i Lund."— Presentationens avskrift:

1 02-02-18Industriella tillämpningar inom bildanalysen Neuronnät Peter Wintoft Institutet för rymdfysik i Lund

2 02-02-18Industriella tillämpningar inom bildanalysen

3 02-02-18Industriella tillämpningar inom bildanalysen Artificiella neuronnät … 1985 – Backpropagation [Rumelhart, Hinton …]. 1911 – Neuronen [R. Cajál]. 1943 – Artificiell neuron [McCulloch & Pitts].  1962 – Perceptronen [Rosenblatt]. 1969 – XOR-problemet [Minsky & Papert]. 0 0 0 0 1 1 1 0 1 1 1 0

4 02-02-18Industriella tillämpningar inom bildanalysen Dator vs. riktiga neuronnät ASCI White Antal processorer Beräknings- kapacitet (s -1 ) Vikt (kg) Effekt- förbrukning 819610 13 10 5 Liten stad Hjärnan10 11 10 18 11 potatis Ögon10 7 10 13 10 -1 10 -2 potatisar Myra10 5 10 12 10 -6 ?

5 02-02-18Industriella tillämpningar inom bildanalysen Artificiell neuron xixi wiwi b a y  y = g(a) a =  w i x i + b

6 02-02-18Industriella tillämpningar inom bildanalysen En neuron – linjär klassificering a =  w i x i + b x1x1 x2x2 a = w 1 x 1 + w 2 x 2 + b a = x 1 - x 2 + 0.5 y = g(a) = 0 om a<0 1 om a>0

7 02-02-18Industriella tillämpningar inom bildanalysen Två lager med neuroner Input Dolt lager Output-lager xixi w ji (1) y j (1) w kj (2) y k (2) y k (2) =g 2 (  w kj (2) y j (1) + b k (2) ) y j (1) =g 1 (  w ji (1) x i + b j (1) )

8 02-02-18Industriella tillämpningar inom bildanalysen Två lager – icke-linjär klassificering x1x1 x2x2

9 02-02-18Industriella tillämpningar inom bildanalysen Feed-forward neuronnät 4 Ett lager –Linjär klassificering 4 Två lager –(Konvex) icke-linjär klassificering –Kontinuerliga icke-linjära kurvor 4 Tre lager –Generell icke-linjär klassificering –Icke-kontinuerliga och icke-linjära kurvor

10 02-02-18Industriella tillämpningar inom bildanalysen Hur bestämmer man vikterna? Linjärt filter x = x1x1 xmxm y =  w i x i = w T x wmwm w1w1 y = [y(1),y(2),…,y(n)] X = [x(1),x(2),…,x(n)] Filtrets output: y = w T X w T = d X (XX ) T T Minsta-kvadratlösning: Önskad output: d (p)

11 02-02-18Industriella tillämpningar inom bildanalysen Hur bestämmer man vikterna? Feed-forward neuronnät xixi w ji (1) y j (1) w kj (2) y k (2)

12 02-02-18Industriella tillämpningar inom bildanalysen Error-backpropagation Summed squared error: E = 1/2  p,k (d k (p)-y k (p)) 2 Error gradient ∂E ∂w∂w ∆w = -  +  ∆w prev. och momentum:

13 02-02-18Industriella tillämpningar inom bildanalysen Träningsstrategi för feed-forward neuronnät 4 Välj ut tre dataserier för –träning, –validering respektive –test. 4 Variera antalet dolda neuroner och träna varje neuronnät flera gånger (3-10) utifrån olika slumpmässigt valda vikter. 4 Välj neuronnätet med det minsta valideringsfelet. 4 Bestäm prestandan på testserien.

14 02-02-18Industriella tillämpningar inom bildanalysen Hur länge skall man träna? Validation Local minimumGlobal minimum?

15 02-02-18Industriella tillämpningar inom bildanalysen Hur många dolda neuroner? RMS Error # neurons

16 02-02-18Industriella tillämpningar inom bildanalysen 3 Exempel 1: Textigenkänning I Optical Character Recognition (OCR) Tolka handskrivna postnummer [LeCun et al., 1990]. Bild med 20x20 pixlar

17 02-02-18Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning II FFNN med lokala receptiva fält. [Haykin, 1994]. Input Lager 1 Lager 2 Lager 3 Lager 4 Lager 5

18 02-02-18Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning III Lokala receptiva fält

19 02-02-18Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning IV

20 02-02-18Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning V 4 Lager 1–4 implementerade på ett neuron- kretskort. 4 Lager 5 DSP-kort. 4 Test på riktiga brev gav –2.5% fel för människa –5.5% fel för neuronnät

21 02-02-18Industriella tillämpningar inom bildanalysen Exempel 2: Bildkomprimering I FFNN med lika input och output samt 3-5 dolda lager. Input Output Komprimering Rekonstruktion

22 02-02-18Industriella tillämpningar inom bildanalysen Exempel 2: Bildkomprimering II

23 02-02-18Industriella tillämpningar inom bildanalysen Människa I varje givet ögonblick kontrolerar hjärnan 244 frihetsgrader med över 600 muskler.

24 02-02-18Industriella tillämpningar inom bildanalysen Self-organized map – SOM Input SOM Mappa input till en (vanligen) 2-dimensionell karta och om möjligt bevara topologin.

25 02-02-18Industriella tillämpningar inom bildanalysen Exempel 3: Robotseende

26 02-02-18Industriella tillämpningar inom bildanalysen Referenser 4 Haykin, Neural networks – a comprehensive foundation, Macmillan, 1994. 4 Ritter, Martinetz, Schulten, Neural computation and self- organizing maps, Addison-Wesley Publ. Comp., 1992. 4 Swingler, Applying neural networks – a practical guide, Academic Press, 1996. 4 OCR –http://www.geocities.com/SiliconValley/2548/ochre.html 4 Bildkomprimering –http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html