Industriella tillämpningar inom bildanalysen Neuronnät Peter Wintoft Institutet för rymdfysik i Lund

Industriella tillämpningar inom bildanalysen

Industriella tillämpningar inom bildanalysen Artificiella neuronnät … 1985 – Backpropagation [Rumelhart, Hinton …] – Neuronen [R. Cajál] – Artificiell neuron [McCulloch & Pitts].  1962 – Perceptronen [Rosenblatt] – XOR-problemet [Minsky & Papert]

Industriella tillämpningar inom bildanalysen Dator vs. riktiga neuronnät ASCI White Antal processorer Beräknings- kapacitet (s -1 ) Vikt (kg) Effekt- förbrukning Liten stad Hjärnan potatis Ögon potatisar Myra ?

Industriella tillämpningar inom bildanalysen Artificiell neuron xixi wiwi b a y  y = g(a) a =  w i x i + b

Industriella tillämpningar inom bildanalysen En neuron – linjär klassificering a =  w i x i + b x1x1 x2x2 a = w 1 x 1 + w 2 x 2 + b a = x 1 - x y = g(a) = 0 om a<0 1 om a>0

Industriella tillämpningar inom bildanalysen Två lager med neuroner Input Dolt lager Output-lager xixi w ji (1) y j (1) w kj (2) y k (2) y k (2) =g 2 (  w kj (2) y j (1) + b k (2) ) y j (1) =g 1 (  w ji (1) x i + b j (1) )

Industriella tillämpningar inom bildanalysen Två lager – icke-linjär klassificering x1x1 x2x2

Industriella tillämpningar inom bildanalysen Feed-forward neuronnät 4 Ett lager –Linjär klassificering 4 Två lager –(Konvex) icke-linjär klassificering –Kontinuerliga icke-linjära kurvor 4 Tre lager –Generell icke-linjär klassificering –Icke-kontinuerliga och icke-linjära kurvor

Industriella tillämpningar inom bildanalysen Hur bestämmer man vikterna? Linjärt filter x = x1x1 xmxm y =  w i x i = w T x wmwm w1w1 y = [y(1),y(2),…,y(n)] X = [x(1),x(2),…,x(n)] Filtrets output: y = w T X w T = d X (XX ) T T Minsta-kvadratlösning: Önskad output: d (p)

Industriella tillämpningar inom bildanalysen Hur bestämmer man vikterna? Feed-forward neuronnät xixi w ji (1) y j (1) w kj (2) y k (2)

Industriella tillämpningar inom bildanalysen Error-backpropagation Summed squared error: E = 1/2  p,k (d k (p)-y k (p)) 2 Error gradient ∂E ∂w∂w ∆w = -  +  ∆w prev. och momentum:

Industriella tillämpningar inom bildanalysen Träningsstrategi för feed-forward neuronnät 4 Välj ut tre dataserier för –träning, –validering respektive –test. 4 Variera antalet dolda neuroner och träna varje neuronnät flera gånger (3-10) utifrån olika slumpmässigt valda vikter. 4 Välj neuronnätet med det minsta valideringsfelet. 4 Bestäm prestandan på testserien.

Industriella tillämpningar inom bildanalysen Hur länge skall man träna? Validation Local minimumGlobal minimum?

Industriella tillämpningar inom bildanalysen Hur många dolda neuroner? RMS Error # neurons

Industriella tillämpningar inom bildanalysen 3 Exempel 1: Textigenkänning I Optical Character Recognition (OCR) Tolka handskrivna postnummer [LeCun et al., 1990]. Bild med 20x20 pixlar

Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning II FFNN med lokala receptiva fält. [Haykin, 1994]. Input Lager 1 Lager 2 Lager 3 Lager 4 Lager 5

Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning III Lokala receptiva fält

Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning IV

Industriella tillämpningar inom bildanalysen Exempel 1: Textigenkänning V 4 Lager 1–4 implementerade på ett neuron- kretskort. 4 Lager 5 DSP-kort. 4 Test på riktiga brev gav –2.5% fel för människa –5.5% fel för neuronnät

Industriella tillämpningar inom bildanalysen Exempel 2: Bildkomprimering I FFNN med lika input och output samt 3-5 dolda lager. Input Output Komprimering Rekonstruktion

Industriella tillämpningar inom bildanalysen Exempel 2: Bildkomprimering II

Industriella tillämpningar inom bildanalysen Människa I varje givet ögonblick kontrolerar hjärnan 244 frihetsgrader med över 600 muskler.

Industriella tillämpningar inom bildanalysen Self-organized map – SOM Input SOM Mappa input till en (vanligen) 2-dimensionell karta och om möjligt bevara topologin.

Industriella tillämpningar inom bildanalysen Exempel 3: Robotseende

Industriella tillämpningar inom bildanalysen Referenser 4 Haykin, Neural networks – a comprehensive foundation, Macmillan, Ritter, Martinetz, Schulten, Neural computation and self- organizing maps, Addison-Wesley Publ. Comp., Swingler, Applying neural networks – a practical guide, Academic Press, OCR – 4 Bildkomprimering –