home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / ai / neuraln / 4294 < prev    next >
Encoding:
Text File  |  1992-11-17  |  1.9 KB  |  52 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!mcsun!Germany.EU.net!infko!inews
  3. From: evol@infko.uni-koblenz.de
  4. Subject: Backpercolation vs. other training algorithms
  5. Message-ID: <1992Nov17.152007.15543@infko.uucp>
  6. Sender: inews@infko.uucp (inews)
  7. Organization: University of Koblenz, Germany
  8. Date: Tue, 17 Nov 1992 15:20:07 GMT
  9. Lines: 41
  10.  
  11.  
  12. I am working on a technical report comparing many different training
  13. algorithms for feedford networks. All algorithms are applied to a
  14. very hard to solve classification task. Up to now I have applied
  15. the following algorithms:
  16.  
  17.     1. Standard Backprop
  18.     2. Standard Backprop in batched mode
  19.     3. Standard Backprop in batched mode, learning rate
  20.        set by Harry A. C. Eaton and Tracy L. Olivier's rule
  21.     4. Standard Backprop  with decreasing learning rate
  22.        (Christian Darken and John Moody)
  23.     5. J. Schmidhuber's adaptation of the step size
  24.     6. R. Salomon's evolutionary adaptation of the learning rate
  25.     7. L.-W.Chan and F. Fallside 's adaptation of the learning rate
  26.        by angle observing
  27.     8. A.H. Kramer and A. Sangiovanni-Vincentelli's Polak-Ribiere
  28.        method with line search
  29.     9. J. Leoard and M.A. Kramer's conjugate gradient method
  30.        with line search
  31.     10. F.M. Silva and L.B. Almeida's learning rate adaptation
  32.         by detecting sign changes in the derivatives
  33.     11. T. Tollenaere's SuperSAB
  34.     12. M. Riedmiller's RPROP
  35.     13. Robert A. Jacobs Delta-Bar-Delta technique
  36.     14. Scott E. Fahlman's Quickprop
  37.  
  38. I am still looking for some more training algorithms. I have tried to
  39. implement BACKPERCOLATION. Nervertheless the only report on backpercolation
  40. I know is not sufficient to implement this algorithm. Does anyone know a
  41. good paper on backpercolation? Has anyone applied it to bigger problems ?
  42. Is there a public available implementation (other than SNNS) ? 
  43.  
  44. By the way RPROP and Quickprop are clearly the winners. I will publish
  45. my report soon (available by ftp).
  46.  
  47.     Thanks in advance
  48.  
  49.         Randolf Werner
  50.  
  51.  
  52.