home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #3 / NN_1993_3.iso / spool / comp / ai / neuraln / 4951 < prev    next >
Encoding:
Text File  |  1993-01-22  |  3.9 KB  |  86 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!usc!news.aero.org!speedy.aero.org!news
  3. From: jrg@punch (James R. Goble)
  4. Subject: Re: Need help on Neural-network learning
  5. Message-ID: <1993Jan22.171308.8391@speedy.aero.org>
  6. Sender: news@speedy.aero.org
  7. Nntp-Posting-Host: punch.aero.org
  8. Organization: The Aerospace Corporation; El Segundo, CA
  9. References: <qq6qXB7w164w@cellar.org>
  10. Date: Fri, 22 Jan 1993 17:13:08 GMT
  11. Lines: 73
  12.  
  13. In article <qq6qXB7w164w@cellar.org> tsa@cellar.org (The Silent Assassin)  
  14. writes:
  15. > I only recently got interested in neural networks.  I believe I  
  16. understand
  17. > how they work, but I have some questions:
  18. > 
  19. > How many hidden layers do most neural networks have?  Does the typical  
  20. NN
  21. > have an input layer, a hidden layer, and an output layer, or several  
  22. hidden
  23. > layers?
  24. > 
  25. > How do NN's learn?  Other than randomly changing weights, how do they
  26. > "back-propagate" or whatever?
  27. > 
  28. > I finally discovered, at the age of 21, what all of my friends had found  
  29. out
  30. > at 12 or 13-that your parents are just as fucked-up and wierd as  
  31. everyone
  32. > else.  Politically Correct:  Socially, Politcally, and Environmentally
  33. > concious to the point of nausea.   
  34. tsa%cellar@tredysvr.tredydev.unisys.com
  35.  
  36. Let me try to answer some of your questions.
  37.  
  38. 1.  There is no standard number of hidden layers for a neural net because  
  39. there is no standard neural net.  
  40.  
  41. Backpropagation nets, in their most basic form have one input layer, one  
  42. hidden layer, and one output layer.  Some people feel that additional  
  43. hidden layers will speed up learning and allow the modeling of more  
  44. complex systems.  I haven't found any noticable speed enhancement by using  
  45. more hidden layers.  The extra update time seems to negate any decrease in  
  46. training iterations.  Backprop nets are trained with known data.  You know  
  47. which output should be chosen for a given input.  For example I want  
  48. output node 3 to be a 1 and all other nodes to be a 0 when I input a  
  49. vector from a given set of data.  During training, everytime I input one  
  50. of those vectors an error signal is generated which attempts to force the  
  51. desired output by updating the weights.  The same conditioning occurs for  
  52. all other sets of data from the other classes.  If my net trains properly,  
  53. (I haven't gotten stuck in a local minimum) I will have a good  
  54. representation of the types of data I want to classify stored in my  
  55. weights. 
  56.  
  57. Self-Organizing nets (Blessed be Saint Tevo) may not have any hidden  
  58. layers, though I have seen some that did (hybrids like counterprop nets).   
  59. These nets essentially learn by pushing the outputs in the direction of  
  60. the data.  If you have data from 4 different events, you should see four  
  61. distinct clumps of nodes at the output.  This is an extremely powerful  
  62. tool.  It allows you to use a binary machine (a computer) to derive a  
  63. human-like closest guess answer.
  64.  
  65. I know this is a rudimentary explanation and doesn't completely answer  
  66. your questions.  Neural nets are like that.  The exciting part is that  
  67. there are so many unanswered question.  So many fields, like  
  68. electromagnetics, are entrenched.  Most of the good questions have been  
  69. answered.  NN are new.  You can make a difference.  Look at what Grossberg  
  70. has done in the last twenty years.  Besides offending most of his peers  
  71. with his incredible ego, he has forged a new and exciting field from the  
  72. ashes of perceptrons.  Tevo Kohonen, well he's just a god of NN.
  73.  
  74. A suggestion for a good, interesting book on NN is "An Introduction to  
  75. Biological Artificial Neural Networks" by Kabrisky and Rogers.  This is  
  76. possibly the best written book in the field, from the perspective that  
  77. normal human can understand what the hell they're talking about.  It also  
  78. has some great software at the called Neural Graphics.  This program was  
  79. written by Dr. Greg Tarr and is available at edu.afit.blackbird.ftp.  
  80.  
  81. Hope this is of some value to you!
  82.  
  83. Later,
  84. Jim Goble
  85. Los Angeles
  86.