neuronnät och identifiering av cme’s
DESCRIPTION
Neuronnät och identifiering av CME’s. Peter Wintoft Institutet för rymdfysik i Lund. S. Artificiella neuronnät. 1911 – Neuronen [R. Cajál]. 1943 – Artificiell neuron [McCulloch & Pitts]. 1962 – Perceptronen [Rosenblatt]. 1969 – XOR-problemet [Minsky & Papert]. 0 0 0 0 1 1 1 0 1 - PowerPoint PPT PresentationTRANSCRIPT
03-02-18 Industriella tillämpningar inom bildanalysen
Neuronnätoch
identifiering av CME’s
Peter Wintoft
Institutet för rymdfysik i Lund
03-02-18 Industriella tillämpningar inom bildanalysen
03-02-18 Industriella tillämpningar inom bildanalysen
Artificiella neuronnät
…
1985 – Backpropagation [Rumelhart, Hinton …].
1911 – Neuronen [R. Cajál].
1943 – Artificiell neuron [McCulloch & Pitts].
1962 – Perceptronen [Rosenblatt].
1969 – XOR-problemet [Minsky & Papert].
0 0 00 1 11 0 11 1 0
03-02-18 Industriella tillämpningar inom bildanalysen
Dator vs. riktiga neuronnät
ASCI White
Antal processorer
Beräknings-kapacitet (s-1)
Vikt(kg)
Effekt-förbrukning
8196 1013 105 Liten stad
Hjärnan 1011 1018 1 1 potatis
Ögon 107 1013 10-1 10-2 potatisar
Myra 105 1012 10-6 ?
http://www.marshill.org/worlds_fastest_computer_2001.htm
03-02-18 Industriella tillämpningar inom bildanalysen
Artificiell neuron
xiwi
b
a y
y = g(a)
a = wi xi + b
03-02-18 Industriella tillämpningar inom bildanalysen
En neuron – linjär klassificering
a = wi xi + b
x1
x2
a = w1x1 + w2x2 + b
a = x1 - x2 + 0.5
y = g(a) =0 om a<0
1 om a>0
03-02-18 Industriella tillämpningar inom bildanalysen
Två lager med neuroner
Input
Dolt lager
Output-lager
xi
wji(1)
yj(1)
wkj(2)
yk(2)
yk(2)=g2( wkj
(2)yj(1) + bk
(2) )
yj(1)=g1( wji
(1)xi + bj(1) )
03-02-18 Industriella tillämpningar inom bildanalysen
Två lager – icke-linjär klassificering
x1
x2
03-02-18 Industriella tillämpningar inom bildanalysen
Feed-forward neuronnät
Ett lager– Linjär klassificering
Två lager– (Konvex) icke-linjär klassificering
– Kontinuerliga icke-linjära kurvor
Tre lager– Generell icke-linjär klassificering
– Icke-kontinuerliga och icke-linjära kurvor
03-02-18 Industriella tillämpningar inom bildanalysen
Hur bestämmer man vikterna?
Linjärt filter
x =
x1
xm
y = wixi = wTx
wm
w1
y = [y(1),y(2),…,y(n)]
X = [x(1),x(2),…,x(n)]
Filtrets output: y = wTX
wT = d X (XX )-1T TMinsta-kvadratlösning:
Önskad output: d
(p)
(p)
(p)
(p) (p) (p)
03-02-18 Industriella tillämpningar inom bildanalysen
Hur bestämmer man vikterna?
Feed-forward neuronnät
xi
wji(1)
yj(1)
wkj(2)
yk(2)
03-02-18 Industriella tillämpningar inom bildanalysen
Error-backpropagation
Summed squared error: E = 1/2 p,k (dk(p)-yk(p))2
Error gradient
∂E∂w
∆w = - + ∆wprev.
och momentum:
03-02-18 Industriella tillämpningar inom bildanalysen
Träningsstrategi för feed-forward neuronnät
Välj ut tre dataserier för– träning,
– validering respektive
– test.
Variera antalet dolda neuroner och träna varje neuronnät flera gånger (3-10) utifrån olika slumpmässigt valda vikter.
Välj neuronnätet med det minsta valideringsfelet. Bestäm prestandan på testserien.
03-02-18 Industriella tillämpningar inom bildanalysen
Hur länge skall man träna?
RMS Error
Epoch
Training
Validation
Local minimum Global minimum?
03-02-18 Industriella tillämpningar inom bildanalysen
Hur många dolda neuroner?
RMS Error
# neurons
03-02-18 Industriella tillämpningar inom bildanalysen
3Exempel 1: Textigenkänning I
Optical Character Recognition (OCR)
Tolka handskrivna postnummer [LeCun et al., 1990].
Bild med 20x20 pixlar
03-02-18 Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning II
FFNN med lokala receptiva fält. [Haykin, 1994].
Input
Lager 1
Lager 2
Lager 3
Lager 4
Lager 5
03-02-18 Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning III
Lokala receptiva fält
03-02-18 Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning IV
03-02-18 Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning V
Lager 1–4 implementerade på ett neuron-kretskort.
Lager 5 DSP-kort. Test på riktiga brev gav
– 2.5% fel för människa– 5.5% fel för neuronnät
03-02-18 Industriella tillämpningar inom bildanalysen
Exempel 2: Bildkomprimering I
FFNN med lika input och output samt 3-5 dolda lager.
Input Output
Komprimering Rekonstruktion
03-02-18 Industriella tillämpningar inom bildanalysen
Exempel 2: Bildkomprimering II
http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html
03-02-18 Industriella tillämpningar inom bildanalysen
Människa
I varje givet ögonblick kontrolerar hjärnan 244 frihetsgrader med över 600 muskler.
03-02-18 Industriella tillämpningar inom bildanalysen
Self-organized map – SOM
Input
SOM
Mappa input till en (vanligen) 2-dimensionell kartaoch om möjligt bevara topologin.
03-02-18 Industriella tillämpningar inom bildanalysen
Exempel 3: Robotseende
[Ritter et al., 1992]
03-02-18 Industriella tillämpningar inom bildanalysen
Referenser
Böcker– Haykin, Neural networks – a comprehensive foundation,
Macmillan, 1994.– Ritter, Martinetz, Schulten, Neural computation and self-
organizing maps, Addison-Wesley Publ. Comp., 1992.– Swingler, Applying neural networks – a practical guide, Academic
Press, 1996. Artiklar
– LeCun, Boser, Denker, Henderson, Howard, Hubbard, Jackel, Handwritten digit recognition with a back-propagation network, Advances in Neural Information Processing Systems 2, Morgan Kaufmann, 396–404, 1990.
03-02-18 Industriella tillämpningar inom bildanalysen
Web-referenser
OCR– http://www.geocities.com/SiliconValley/2548/ochre.html
Bildkomprimering– http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html
Neuronnät– http://www.kcl.ac.uk/neuronet/– http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/
DemoGNG/GNG.html
03-02-18 Industriella tillämpningar inom bildanalysen
Identifiering av CME’s med radon-transformen
Examensarbete 2002Åsa FranssonRymdingenjör, Kiruna
03-02-18 Industriella tillämpningar inom bildanalysen
QuickTime™ and a decompressorare needed to see this picture.
03-02-18 Industriella tillämpningar inom bildanalysen
QuickTime™ and a decompressorare needed to see this picture.
03-02-18 Industriella tillämpningar inom bildanalysen
Tid
Avs
tånd
frå
n so
len
03-02-18 Industriella tillämpningar inom bildanalysen
Radon-transformen
03-02-18 Industriella tillämpningar inom bildanalysen
Test image
03-02-18 Industriella tillämpningar inom bildanalysen
Radon-transformed image
03-02-18 Industriella tillämpningar inom bildanalysen
Filtered image
03-02-18 Industriella tillämpningar inom bildanalysen
QuickTime™ and a decompressorare needed to see this picture.
03-02-18 Industriella tillämpningar inom bildanalysen
Estimation of onset time
03-02-18 Industriella tillämpningar inom bildanalysen
Identified CME’s
03-02-18 Industriella tillämpningar inom bildanalysen
Modell för CME till solvind
Träna neuronnät för förutsägelse av solvindshastigheten
Input: Radonbilder Output: Solvinden vid L1