home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / ai / neuraln / 4345 < prev    next >
Encoding:
Internet Message Format  |  1992-11-22  |  2.5 KB
  1. Path: sparky!uunet!know!cass.ma02.bull.com!think.com!rpi!batcomputer!ghost.dsi.unimi.it!univ-lyon1.fr!chx400!dxcern!dxlaa.cern.ch!block
  2. From: block@dxlaa.cern.ch (Frank Block)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Re: How to train a lifeless network (of "silicon atoms")?
  5. Message-ID: <1992Nov22.182325.24185@dxcern.cern.ch>
  6. Date: 22 Nov 92 18:23:25 GMT
  7. References: <1992Nov21.002654.13198@news.columbia.edu>
  8. Sender: news@dxcern.cern.ch (USENET News System)
  9. Reply-To: block@dxlaa.cern.ch (Frank Block)
  10. Organization: CERN, European Laboratory for Particle Physics, Geneva
  11. Lines: 48
  12.  
  13.  
  14. In article <1992Nov21.002654.13198@news.columbia.edu>, rs69@cunixb.cc.columbia.edu (Rong Shen) writes:
  15.  
  16. |>     Please allow me to ask you this childish question:
  17. |> 
  18. |>     Suppose you have a neural network and you want to train it to
  19. |> perform a task; for the moment, let's say the task is to recognize
  20. |> handwriting. Now suppose the network has recognized the word "hello,"
  21. |> and the weight in the synapse between neurodes (neurons) X and Y is k.
  22. |> If you proceed to train the network to recognize the word "goodbye"
  23. |> (by back propagation, or whatever algorithms), and since all the
  24. |> neurodes are connected in some way (through some interneurons, maybe),
  25. |> the synaptic weight between X and Y is likely to change from k to some
  26. |> other number; similarly, the weights in other synapses will change.
  27. |> Therefore, it is extremely likely that one training session will erase
  28. |> the efforts of previous sessions.
  29. |> 
  30. |>     My question is, What engineering tricks shall we use to
  31. |> overcome this apparent difficulty?
  32. |> 
  33. |>     Thanks.
  34. |> 
  35. |> --
  36. |> rs69@cunixb.cc.columbia.edu
  37. |> 
  38. --
  39.  
  40. What you normally do during training is to present (taking you example) the
  41. words 'hello' and 'goodbye' alternatively. You should not train the net first
  42. just on one and then, when it has learned to recognize it, on the other.
  43. The training is a statistical process which in the end (let's hope) converges
  44. to a good set of weights (a compromise which recognizes all patterns in an
  45. optimal way).
  46. The engineering trick is mostly the so-called 'gradient descent' (in backprop). 
  47. This moves you current weight vector always in a direction which decreases the 
  48. network error measure.
  49.  
  50. Hope this helps a bit
  51.  
  52. Frank
  53.  
  54. ===============================================================================
  55. Frank Block
  56. Div. PPE
  57. European Laboratory for Particle Physics - CERN
  58. CH-1211 Geneve 23                    BLOCKF@cernvm.cern.ch
  59. Switzerland                        BLOCKF@vxcern.cern.ch
  60. ===============================================================================
  61.