home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #3 / NN_1993_3.iso / spool / comp / ai / neuraln / 4995 < prev    next >
Encoding:
Internet Message Format  |  1993-01-28  |  1.0 KB
  1. Path: sparky!uunet!munnari.oz.au!spool.mu.edu!agate!doc.ic.ac.uk!warwick!uknet!yorkohm!minster!george
  2. From: george@minster.york.ac.uk
  3. Newsgroups: comp.ai.neural-nets
  4. Subject: Recurrent networks
  5. Message-ID: <728134656.26714@minster.york.ac.uk>
  6. Date: 27 Jan 93 11:37:36 GMT
  7. Organization: Department of Computer Science, University of York, England
  8. Lines: 21
  9.  
  10. I've been trying to get neural networks to learn sequences
  11. of type DIFFERENT->SAME->DIFFERENT states, e.g.
  12.  
  13. A->B->C and X->B->Y
  14.  
  15. is a simple example. However, with a recurrent network (feeding
  16. back the hidden layer), the output of a network for both pattern
  17. sequences can be given as: (fn O() is output layer, H() hidden)
  18.  
  19. O(H(A)) and O(H(X)) both must equal B
  20.  
  21. This seems to force the hidden representation for A and X to be
  22. identical. On the next step when B is given as input, the context
  23. fed back, i.e. the hidden representation H(A) or H(X), will
  24. not distinguish the network's state to output C or Y as appropriate.
  25.  
  26. i.e. O(H(B, H(A))) = O(H(B, H(X)))
  27.  
  28. How can this problem be overcome?
  29.  
  30. Thanks - George Bolt
  31.