home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #3 / NN_1993_3.iso / spool / comp / ai / neuraln / 5012 < prev    next >
Encoding:
Text File  |  1993-01-28  |  1.7 KB  |  45 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!charon.amdahl.com!amdahl!rtech!pacbell.com!sgiblab!munnari.oz.au!newsroom.utas.edu.au!probitas!vamplew
  3. From: vamplew@probitas.cs.utas.edu.au (Peter Vamplew)
  4. Subject: Re: Recurrent networks
  5. Message-ID: <vamplew.728187821@probitas>
  6. Sender: news@newsroom.utas.edu.au
  7. Organization: University of Tasmania, Australia.
  8. References: <728134656.26714@minster.york.ac.uk>
  9. Date: Thu, 28 Jan 1993 02:23:41 GMT
  10. Lines: 33
  11.  
  12. In <728134656.26714@minster.york.ac.uk> george@minster.york.ac.uk writes:
  13.  
  14. >I've been trying to get neural networks to learn sequences
  15. >of type DIFFERENT->SAME->DIFFERENT states, e.g.
  16.  
  17. >A->B->C and X->B->Y
  18.  
  19. >is a simple example. However, with a recurrent network (feeding
  20. >back the hidden layer), the output of a network for both pattern
  21. >sequences can be given as: (fn O() is output layer, H() hidden)
  22.  
  23. >O(H(A)) and O(H(X)) both must equal B
  24.  
  25. >This seems to force the hidden representation for A and X to be
  26. >identical. On the next step when B is given as input, the context
  27. >fed back, i.e. the hidden representation H(A) or H(X), will
  28. >not distinguish the network's state to output C or Y as appropriate.
  29.  
  30. >i.e. O(H(B, H(A))) = O(H(B, H(X)))
  31.  
  32. >How can this problem be overcome?
  33.  
  34. Why is it neccesary for H(A) = H(X)? This is true only if your output
  35. function is strictly one-to-one. The network should be able to produce B as
  36. an output for more than one possible set of hidden layer activations.
  37.  
  38. Peter
  39.  
  40. --
  41. Peter Vamplew     Dept of Computer Science, Uni of Tasmania
  42. "The second hand moves very quickly, the minute hand moves
  43.  a bit more slowly, and the hour hand moves not much at all"
  44. - results of a time and motion study by Reg the Slayer
  45.