home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / ai / neuraln / 4326 < prev    next >
Encoding:
Internet Message Format  |  1992-11-19  |  2.7 KB
  1. Path: sparky!uunet!stanford.edu!unix!nova.sarnoff.com!nova!sam
  2. From: sam@zoar.sarnoff.com (Scott A. Markel  x2683)
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: NIPS 92 Workshop on Training Issues
  5. Message-ID: <SAM.92Nov19115304@zoar.sarnoff.com>
  6. Date: 19 Nov 92 16:53:04 GMT
  7. Sender: news@nova.sarnoff.com
  8. Followup-To: comp.ai.neural-nets
  9. Organization: /home/zoar/sam/.organization
  10. Lines: 57
  11. Nntp-Posting-Host: zoar
  12.  
  13. ****************************   NIPS 92  Workshop   *****************************
  14.  
  15.                  "Computational Issues in Neural Network Training"
  16.                  
  17.                                        or
  18.  
  19.                    Why is Back-Propagation Still So Popular?
  20.  
  21. ********************************************************************************
  22.  
  23. Roger Crane and I are are leading a NIPS '92 workshop on "Computational Issues
  24. in Neural Network Training".  Our workshop will be on Saturday, 5 December, the
  25. second of two days of workshops in Vail.
  26.  
  27. The discussion will focus on optimization techniques currently used by neural
  28. net researchers, and include some other techniques that are available.  Back-
  29. propagation is still the optimization technique of choice even though there are
  30. obvious problems in training with BP: speed, convergence, ... .  Several innova-
  31. tive algorithms have been proposed by the neural net community to improve upon
  32. BP, e.g., Scott Fahlman's QuickProp.  We feel that there are classical optimiza-
  33. tion techniques that are superior to back-propagation.  In fact, gradient
  34. descent (BP) fell out of favor with the mathematical optimization folks way back
  35. in the 60's!  So why is BP still so popular?
  36.  
  37. Topics along these lines include:
  38.  
  39.    *  Why are classical methods generally ignored?
  40.  
  41.    *  Computational speed
  42.  
  43.    *  Convergence criteria (or lack thereof!)
  44.  
  45. Broader issues to be discussed include:
  46.  
  47.    *  Local minima
  48.  
  49.    *  Selection of starting points
  50.  
  51.    *  Conditioning (for higher order methods)
  52.  
  53.    *  Characterization of the error surface
  54.  
  55. If you would like to present something on any of these or similar topics, please
  56. contact me by e-mail and we can discuss details.
  57.  
  58. Workshops are scheduled for a total of four hours.  We're allowing for approxi-
  59. mately 8 presentations of 10-20 minutes each, since we want to make sure that
  60. ample time is reserved for discussion and informal presentations.  We will
  61. encourage (incite) lively audience participation.  By the way, none of the NIPS
  62. workshops are limited to presenters only.  People who want to show up and just
  63. listen are more than welcome.
  64.  
  65. --
  66. Scott Markel                   Computational Science Research
  67. smarkel@sarnoff.com            David Sarnoff Research Center
  68. Tel. 609-734-2683              CN 5300
  69. FAX  609-734-2662              Princeton, NJ 08543-5300
  70.