03-02-18Industriella tillämpningar inom bildanalysen Neuronnät och identifiering av CME’s Peter Wintoft Institutet för rymdfysik i Lund.

En presentation över ämnet: "03-02-18Industriella tillämpningar inom bildanalysen Neuronnät och identifiering av CME’s Peter Wintoft Institutet för rymdfysik i Lund."— Presentationens avskrift:

1 03-02-18Industriella tillämpningar inom bildanalysen Neuronnät och identifiering av CME’s Peter Wintoft Institutet för rymdfysik i Lund

2 03-02-18Industriella tillämpningar inom bildanalysen

3 03-02-18Industriella tillämpningar inom bildanalysen Artificiella neuronnät … 1985 – Backpropagation [Rumelhart, Hinton …]. 1911 – Neuronen [R. Cajál]. 1943 – Artificiell neuron [McCulloch & Pitts].  1962 – Perceptronen [Rosenblatt]. 1969 – XOR-problemet [Minsky & Papert]. 0 0 0 0 1 1 1 0 1 1 1 0

4 03-02-18Industriella tillämpningar inom bildanalysen Dator vs. riktiga neuronnät ASCI White Antal processorer Beräknings- kapacitet (s -1 ) Vikt (kg) Effekt- förbrukning 819610 13 10 5 Liten stad Hjärnan10 11 10 18 11 potatis Ögon10 7 10 13 10 -1 10 -2 potatisar Myra10 5 10 12 10 -6 ? http://www.marshill.org/worlds_fastest_computer_2001.htm

5 03-02-18Industriella tillämpningar inom bildanalysen Artificiell neuron xixi wiwi b a y  y = g(a) a =  w i x i + b

6 03-02-18Industriella tillämpningar inom bildanalysen En neuron – linjär klassificering a =  w i x i + b x1x1 x2x2 a = w 1 x 1 + w 2 x 2 + b a = x 1 - x 2 + 0.5 y = g(a) = 0 om a<0 1 om a>0

7 03-02-18Industriella tillämpningar inom bildanalysen Två lager med neuroner Input Dolt lager Output-lager xixi w ji (1) y j (1) w kj (2) y k (2) y k (2) =g 2 (  w kj (2) y j (1) + b k (2) ) y j (1) =g 1 (  w ji (1) x i + b j (1) )

8 03-02-18Industriella tillämpningar inom bildanalysen Två lager – icke-linjär klassificering x1x1 x2x2

9 03-02-18Industriella tillämpningar inom bildanalysen Feed-forward neuronnät 4 Ett lager –Linjär klassificering 4 Två lager –(Konvex) icke-linjär klassificering –Kontinuerliga icke-linjära kurvor 4 Tre lager –Generell icke-linjär klassificering –Icke-kontinuerliga och icke-linjära kurvor

10 03-02-18Industriella tillämpningar inom bildanalysen Hur bestämmer man vikterna? Linjärt filter x = x1x1 xmxm y =  w i x i = w T x wmwm w1w1 y = [y(1),y(2),…,y(n)] X = [x(1),x(2),…,x(n)] Filtrets output: y = w T X w T = d X (XX ) T T Minsta-kvadratlösning: Önskad output: d (p)

11 03-02-18Industriella tillämpningar inom bildanalysen Hur bestämmer man vikterna? Feed-forward neuronnät xixi w ji (1) y j (1) w kj (2) y k (2)

12 03-02-18Industriella tillämpningar inom bildanalysen Error-backpropagation Summed squared error: E = 1/2  p,k (d k (p)-y k (p)) 2 Error gradient ∂E ∂w∂w ∆w = -  +  ∆w prev. och momentum:

13 03-02-18Industriella tillämpningar inom bildanalysen Träningsstrategi för feed-forward neuronnät 4 Välj ut tre dataserier för –träning, –validering respektive –test. 4 Variera antalet dolda neuroner och träna varje neuronnät flera gånger (3-10) utifrån olika slumpmässigt valda vikter. 4 Välj neuronnätet med det minsta valideringsfelet. 4 Bestäm prestandan på testserien.

14 03-02-18Industriella tillämpningar inom bildanalysen Hur länge skall man träna? Validation Local minimumGlobal minimum?

15 03-02-18Industriella tillämpningar inom bildanalysen Hur många dolda neuroner? RMS Error # neurons

16 03-02-18Industriella tillämpningar inom bildanalysen 3 Exempel 1: Textigenkänning I Optical Character Recognition (OCR) Tolka handskrivna postnummer [LeCun et al., 1990]. Bild med 20x20 pixlar

17 03-02-18Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning II FFNN med lokala receptiva fält. [Haykin, 1994]. Input Lager 1 Lager 2 Lager 3 Lager 4 Lager 5

18 03-02-18Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning III Lokala receptiva fält

19 03-02-18Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning IV

20 03-02-18Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning V 4 Lager 1–4 implementerade på ett neuron- kretskort. 4 Lager 5 DSP-kort. 4 Test på riktiga brev gav –2.5% fel för människa –5.5% fel för neuronnät

21 03-02-18Industriella tillämpningar inom bildanalysen Exempel 2: Bildkomprimering I FFNN med lika input och output samt 3-5 dolda lager. Input Output Komprimering Rekonstruktion

22 03-02-18Industriella tillämpningar inom bildanalysen Exempel 2: Bildkomprimering II http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html

23 03-02-18Industriella tillämpningar inom bildanalysen Människa I varje givet ögonblick kontrolerar hjärnan 244 frihetsgrader med över 600 muskler.

24 03-02-18Industriella tillämpningar inom bildanalysen Self-organized map – SOM Input SOM Mappa input till en (vanligen) 2-dimensionell karta och om möjligt bevara topologin.

25 03-02-18Industriella tillämpningar inom bildanalysen Exempel 3: Robotseende [Ritter et al., 1992]

26 03-02-18Industriella tillämpningar inom bildanalysen Referenser 4 Böcker –Haykin, Neural networks – a comprehensive foundation, Macmillan, 1994. –Ritter, Martinetz, Schulten, Neural computation and self- organizing maps, Addison-Wesley Publ. Comp., 1992. –Swingler, Applying neural networks – a practical guide, Academic Press, 1996. 4 Artiklar –LeCun, Boser, Denker, Henderson, Howard, Hubbard, Jackel, Handwritten digit recognition with a back-propagation network, Advances in Neural Information Processing Systems 2, Morgan Kaufmann, 396–404, 1990.

27 03-02-18Industriella tillämpningar inom bildanalysen Web-referenser 4 OCR –http://www.geocities.com/SiliconValley/2548/ochre.html 4 Bildkomprimering –http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.htmlhttp://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html 4 Neuronnät –http://www.kcl.ac.uk/neuronet/http://www.kcl.ac.uk/neuronet/ –http://www.neuroinformatik.ruhr-uni- bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.html

28 03-02-18Industriella tillämpningar inom bildanalysen Identifiering av CME’s med radon-transformen Examensarbete 2002 Åsa Fransson Rymdingenjör, Kiruna

29 03-02-18Industriella tillämpningar inom bildanalysen

30 03-02-18Industriella tillämpningar inom bildanalysen

31 03-02-18Industriella tillämpningar inom bildanalysen Tid Avstånd från solen

32 03-02-18Industriella tillämpningar inom bildanalysen Radon-transformen

33 03-02-18Industriella tillämpningar inom bildanalysen Test image

34 03-02-18Industriella tillämpningar inom bildanalysen Radon-transformed image

35 03-02-18Industriella tillämpningar inom bildanalysen Filtered image

36 03-02-18Industriella tillämpningar inom bildanalysen

37 03-02-18Industriella tillämpningar inom bildanalysen Estimation of onset time

38 03-02-18Industriella tillämpningar inom bildanalysen Identified CME’s

39 03-02-18Industriella tillämpningar inom bildanalysen Modell för CME till solvind 4 Träna neuronnät för förutsägelse av solvindshastigheten 4 Input: Radonbilder 4 Output: Solvinden vid L1