Industriella tillämpningar inom bildanalysen Neuronnät och identifiering av CME’s Peter Wintoft Institutet för rymdfysik i Lund

Industriella tillämpningar inom bildanalysen

Industriella tillämpningar inom bildanalysen Artificiella neuronnät … 1985 – Backpropagation [Rumelhart, Hinton …] – Neuronen [R. Cajál] – Artificiell neuron [McCulloch & Pitts].  1962 – Perceptronen [Rosenblatt] – XOR-problemet [Minsky & Papert]

Industriella tillämpningar inom bildanalysen Dator vs. riktiga neuronnät ASCI White Antal processorer Beräknings- kapacitet (s -1 ) Vikt (kg) Effekt- förbrukning Liten stad Hjärnan potatis Ögon potatisar Myra ?

Industriella tillämpningar inom bildanalysen Artificiell neuron xixi wiwi b a y  y = g(a) a =  w i x i + b

Industriella tillämpningar inom bildanalysen En neuron – linjär klassificering a =  w i x i + b x1x1 x2x2 a = w 1 x 1 + w 2 x 2 + b a = x 1 - x y = g(a) = 0 om a<0 1 om a>0

Industriella tillämpningar inom bildanalysen Två lager med neuroner Input Dolt lager Output-lager xixi w ji (1) y j (1) w kj (2) y k (2) y k (2) =g 2 (  w kj (2) y j (1) + b k (2) ) y j (1) =g 1 (  w ji (1) x i + b j (1) )

Industriella tillämpningar inom bildanalysen Två lager – icke-linjär klassificering x1x1 x2x2

Industriella tillämpningar inom bildanalysen Feed-forward neuronnät 4 Ett lager –Linjär klassificering 4 Två lager –(Konvex) icke-linjär klassificering –Kontinuerliga icke-linjära kurvor 4 Tre lager –Generell icke-linjär klassificering –Icke-kontinuerliga och icke-linjära kurvor

Industriella tillämpningar inom bildanalysen Hur bestämmer man vikterna? Linjärt filter x = x1x1 xmxm y =  w i x i = w T x wmwm w1w1 y = [y(1),y(2),…,y(n)] X = [x(1),x(2),…,x(n)] Filtrets output: y = w T X w T = d X (XX ) T T Minsta-kvadratlösning: Önskad output: d (p)

Industriella tillämpningar inom bildanalysen Hur bestämmer man vikterna? Feed-forward neuronnät xixi w ji (1) y j (1) w kj (2) y k (2)

Industriella tillämpningar inom bildanalysen Error-backpropagation Summed squared error: E = 1/2  p,k (d k (p)-y k (p)) 2 Error gradient ∂E ∂w∂w ∆w = -  +  ∆w prev. och momentum:

Industriella tillämpningar inom bildanalysen Träningsstrategi för feed-forward neuronnät 4 Välj ut tre dataserier för –träning, –validering respektive –test. 4 Variera antalet dolda neuroner och träna varje neuronnät flera gånger (3-10) utifrån olika slumpmässigt valda vikter. 4 Välj neuronnätet med det minsta valideringsfelet. 4 Bestäm prestandan på testserien.

Industriella tillämpningar inom bildanalysen Hur länge skall man träna? Validation Local minimumGlobal minimum?

Industriella tillämpningar inom bildanalysen Hur många dolda neuroner? RMS Error # neurons

Industriella tillämpningar inom bildanalysen 3 Exempel 1: Textigenkänning I Optical Character Recognition (OCR) Tolka handskrivna postnummer [LeCun et al., 1990]. Bild med 20x20 pixlar

Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning II FFNN med lokala receptiva fält. [Haykin, 1994]. Input Lager 1 Lager 2 Lager 3 Lager 4 Lager 5

Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning III Lokala receptiva fält

Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning IV

Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning V 4 Lager 1–4 implementerade på ett neuron- kretskort. 4 Lager 5 DSP-kort. 4 Test på riktiga brev gav –2.5% fel för människa –5.5% fel för neuronnät

Industriella tillämpningar inom bildanalysen Exempel 2: Bildkomprimering I FFNN med lika input och output samt 3-5 dolda lager. Input Output Komprimering Rekonstruktion

Industriella tillämpningar inom bildanalysen Exempel 2: Bildkomprimering II

Industriella tillämpningar inom bildanalysen Människa I varje givet ögonblick kontrolerar hjärnan 244 frihetsgrader med över 600 muskler.

Industriella tillämpningar inom bildanalysen Self-organized map – SOM Input SOM Mappa input till en (vanligen) 2-dimensionell karta och om möjligt bevara topologin.

Industriella tillämpningar inom bildanalysen Exempel 3: Robotseende [Ritter et al., 1992]

Industriella tillämpningar inom bildanalysen Referenser 4 Böcker –Haykin, Neural networks – a comprehensive foundation, Macmillan, –Ritter, Martinetz, Schulten, Neural computation and self- organizing maps, Addison-Wesley Publ. Comp., –Swingler, Applying neural networks – a practical guide, Academic Press, Artiklar –LeCun, Boser, Denker, Henderson, Howard, Hubbard, Jackel, Handwritten digit recognition with a back-propagation network, Advances in Neural Information Processing Systems 2, Morgan Kaufmann, 396–404, 1990.

Industriella tillämpningar inom bildanalysen Web-referenser 4 OCR – 4 Bildkomprimering – 4 Neuronnät – – bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.html

Industriella tillämpningar inom bildanalysen Identifiering av CME’s med radon-transformen Examensarbete 2002 Åsa Fransson Rymdingenjör, Kiruna

Industriella tillämpningar inom bildanalysen

Industriella tillämpningar inom bildanalysen

Industriella tillämpningar inom bildanalysen Tid Avstånd från solen

Industriella tillämpningar inom bildanalysen Radon-transformen

Industriella tillämpningar inom bildanalysen Test image

Industriella tillämpningar inom bildanalysen Radon-transformed image

Industriella tillämpningar inom bildanalysen Filtered image

Industriella tillämpningar inom bildanalysen

Industriella tillämpningar inom bildanalysen Estimation of onset time

Industriella tillämpningar inom bildanalysen Identified CME’s

Industriella tillämpningar inom bildanalysen Modell för CME till solvind 4 Träna neuronnät för förutsägelse av solvindshastigheten 4 Input: Radonbilder 4 Output: Solvinden vid L1