home *** CD-ROM | disk | FTP | other *** search
/ HPAVC / HPAVC CD-ROM.iso / pc / NNUTL101.ZIP / NNEVOLVE / EVOLVE.DOC < prev    next >
Encoding:
Text File  |  1993-07-22  |  6.6 KB  |  107 lines
  1. Gregory Stevens                                                    7/22/93
  2.                                   NNEVOLVE.C
  3. The Experiment:
  4.  
  5.    I set up a network archetecture of three layers, 16-10-4 nodes, initialized
  6. with random weights and threshholds.  The total input pattern set represented
  7. 4 shapes in each of 4 possible positions (the shapes being horizontal lines,
  8. vertical lines, 3x3 squares and 3x3 diamonds).  The initial output goal 
  9. patterns for supervised training were set up to classify by what the shape
  10. was, independant of position.  The initial net was trained by standard back-
  11. propagation algorithm on 10 randomly chosen patterns from the complete input
  12. pattern set, until each item was classified correctly within 0.20 of the
  13. goal state (see otput sheet for generation 1).
  14.    Then, the final output of that net for each of all 16 patterns was saved as
  15. the new output goal pattern file, and the next net was initialized and trained
  16. on 10 random input patterns, with those outputs as the goal outputs.  This
  17. was repeated for 20 generations, with the weights, hidden unit activations,
  18. and output activations saved for each generation.
  19.  
  20. Significance:
  21.  
  22.    Many people assume that, especially during communication, each other's
  23. mental models of the world and of the referents of terms are the same, or
  24. at least extremely similar.  Some even postulate that language is a means for
  25. transmission of information, so that the decoding of a term by the listener's
  26. understanding is so exact to the encoding by the speaker's understanding that
  27. the actual mental state can be said to have been transmitted in the speach
  28. process.  Followers of the Wittgensteinian "private language" view maintain
  29. that it is impossible to tell how similar people's understandings of terms
  30. are, because it is only necessary that the behaviors of the communicators
  31. coincide.  Thus, it is feasable, they maintain, that two people's internal
  32. states when using a term in mutual communication could be completely different
  33. and communication would still be successful as long as, coincidentally, maybe,
  34. the each person's behavior was considered appropriate by the other.
  35.   How similar cognitive states must be for communication to be successful has
  36. been of much debate over the years.  People of the conversative camp (as I
  37. will refer to the formerly mentioned view) maintain that the world of 
  38. interaction is so dense with reference and diverse contexts that any 
  39. discrepency between people's understandings of terms would show up quickly
  40. as miscommunication.  The liberal camp (as I will refer to the later mentioned
  41. extreme philosophy) maintains that because constraints for communication are
  42. only behavioral, as long as there was a one to one mapping between behavior
  43. and mental states, they could be completely different internal states giving
  44. rise to consistently successful communication.  There are, of course, many
  45. and diverse views between.
  46.  
  47.   The model implemented here draws the loose parallel between input units
  48. and sensory channels, hidden units and internal cognitive states, and output
  49. units and behavioral states.  The goal is to simulate the notion of a person
  50. learning a catagorization (maybe a word), based on some non-exhaustive set
  51. of examples learned from (we don't get exposed to all examples of dogs before
  52. learning the term "dog"), and then teaching another person what the term means
  53. based on generalizations made by him, and that person doing the same to someone
  54. else, and so on.  The resulting hidden unit activation states and nodes could
  55. then be analysed to determine if there are different internal states that
  56. still correspond to output states the same as the teacher's.  Thus, in
  57. analogy, the two nets could (input-output) communicate about the patterns and
  58. identify them to each other, and it could be seen whether the internal states
  59. need to be the same for there to be communication, and how similar they must
  60. be.
  61.  
  62. Results:
  63.  
  64.   Though the initial set was trained only on 10 of the 16 possible patterns
  65. at each iteration, it classified all of the input stimuli correctly after
  66. 500 iterations.  After 20 generations, with each net being exposed to 10
  67. random patterns of the input set, the net was still producing almost completely
  68. accurate catagorization of all input patterns (after 500 iterations, only
  69. 2 of 16 were misclassified), though there was considerable degradation of
  70. surety (the average deviation wass 0.35 rather than under 0.20).  This
  71. presumably could be solved by increasing iterations, but because each net
  72. had only learned to 500 iterations when it trained the next net, these are
  73. the relevant values.
  74.  
  75.   Upon gross analysis of the hidden unit activations for each generation for
  76. each of the 16 input patterns after 500 iterations for each net, it appeared
  77. that certain structures of internal activation representation remained the
  78. same (within 0.02 across all generations), others deviated considerably with
  79. disproportionately little degredation in output activation (changes of
  80. activation as much as 0.60 or so).  Although with a 10 unit representation of
  81. a 16 unit input pattern, it is impossible to analyse the funciton of the units
  82. in terms of feature detection and the like, this seems to correspond to the
  83. notion that there are certain "important" aspects of an internal representation
  84. that must be preserved, while others can vary a great deal across internal
  85. representations with little effect on communication.
  86.   Upon gross analysis of the weight structures it is apparent that the weight
  87. construction is extremely different in most of the connections to nodes, and
  88. that the strongly different connections are distributed evenly across the
  89. network, unlike the similar vs. different patterns of activity, which were
  90. localized.
  91.  
  92. Conclusion:
  93.  
  94.   If our actions are guided by internal "models of the world," they must
  95. satisfy the constraints of relevent sensory input for survival.  If we view
  96. survival, or at least creating internal models of the world, as a 
  97. constraint satisfaction problem, there is a strong parallel to neural net
  98. learning.  If our mental models of the world must simultaniously solve for
  99. all the contraints of our sensory inputs, then it is strongly analogous to
  100. solving for the appropriate weights to get appropriate output activities
  101. given input activities.  With this analogy in hand, I maintain that the results
  102. of this mini-model, although showing nothing conclusive about human
  103. psychology, indicate that the amount of lenience in internal representation
  104. while still allowing for effective communication and interaction in the
  105. outside world is greater than at least the conservative camp tends to
  106. propose.
  107.