home *** CD-ROM | disk | FTP | other *** search
/ Liren Large Software Subsidy 9 / 09.iso / e / e065 / 1.ddi / BACKPROP.INS < prev    next >
Encoding:
Text File  |  1991-08-28  |  5.6 KB  |  250 lines
  1. inst4.0        ! Oct-09-90 (backprop.ins) BackProp Builder
  2. !****************************************************************
  3. !*                                *
  4. !*    General Back-Propagation Network Builder        *
  5. !*                                *
  6. !****************************************************************
  7. !
  8. ?&In    1
  9. >bge    CheckOut
  10. @Err    "Back-Propagation MUST have at least one input PE"
  11. :CheckOut
  12. ?BPAa    0            !check for auto-associative
  13. >beq    Hetero1
  14. =&Out    &In
  15. >br    OutOK
  16. :Hetero1                !hetero-associative
  17. ?&Out    1
  18. >bge    OutOK
  19. @Err    "Back-Propagation MUST have at least one output PE"
  20. :OutOK
  21.  
  22. !    *** Load the Control Strategy and LRS if needed ***
  23.  
  24. ?BPFa    0
  25. >bne    CS1
  26. @LdCS    "backprop"        !control strategy
  27. >br    CS2
  28. :CS1
  29. @LdCS    "bkpfast"        !fast control strategy
  30. :CS2
  31. @LdLR    "backprop"        !Load Global Schedule
  32.  
  33. =netn "Untitled"
  34. =DLnF    0            !learn  re-display off
  35. =DRcF    0            !recall re-display off
  36.  
  37. !    *** Build the Input Layer ***
  38.  
  39. @LLdf                !load default layer to mi_layer structure
  40. =LDln    "In"            !layer name
  41. =Lpes    &In            !copy # of input PEs from menu
  42. =Ltrn    "Linear"        !buffer
  43. ?BPGN    0            !Gaussian Noise?
  44. >beq    GN1            !No
  45. =Lnse    "Gaussian"        !Yes
  46. :GN1
  47. =x    100            !place to put layer on screen
  48. =y     40
  49. #Incl    "stdnwgtf.iif"        !standard # weight fields
  50. @LAdd                !add the input layer
  51.  
  52. !    *** Build the functional link Layer if requested ***
  53.  
  54. =n6    LayN            !Index of Last "Input" (preprocessing) layer
  55. ?BPFu    0            !Functional Links requested?
  56. >beq    FLnk1            !No
  57.  
  58. ! Functional Link script is in separate file due to potential
  59. ! patent infringements.  On exit from bckpfunc.iif", n6 must
  60. ! be equal to the index of the last pre-processing layer.
  61. ! 
  62. #Incl   "bckpfunc.iif"
  63.  
  64. :FLnk1
  65.  
  66. !    *** Build Hidden Layers ***
  67.  
  68. =n3    0            !hidden layer index
  69.  
  70. :LayerLp            !# Main build layer loop
  71. ?n3    0
  72. >bgt    NotHd1
  73. +n3    1
  74. ?&Hd1    0
  75. >ble    NotHd1
  76. =n4    &Hd1
  77. =BBLC    H1LC
  78. >br    BldLay
  79. :NotHd1
  80. ?n3    1
  81. >bgt    NotHd2
  82. +n3    1
  83. ?&Hd2    0
  84. >ble    NotHd2
  85. =n4    &Hd2
  86. =BBLC    H2LC
  87. >br    BldLay
  88. :NotHd2
  89. ?n3    2
  90. >bgt    OutLay
  91. +n3    1
  92. ?&Hd3    0
  93. >ble    OutLay
  94. =n4    &Hd3
  95. =BBLC    H3LC
  96. :BldLay
  97.  
  98. ?n4    0            !Check #PEs in hidden
  99. >ble    OutLay            !skip to output layer
  100.  
  101. @LLdf                !start with default layer again
  102. =LDln    "Hidden"        !layer name
  103. +LDln    n3            !indexed by layer number
  104. =Lpes    n4            !Number of PEs
  105. =Llrn    BPLf            !Learning Rule
  106. =Ltrn    BPTf            !Transfer function
  107. ?BPGN    0            !Gaussian Noise?
  108. >beq    GN2            !No
  109. =Lnse    "Gaussian"        !Yes
  110. :GN2
  111. ?BPTE    0            !Tolerant Error?
  112. >beq    TE1            !No
  113. =Lerf    "tolerant"        !Yes
  114. :TE1
  115. ?BPDS    0            !Use Default Schedule?
  116. >bne    LRS1            !Yes
  117. @CrSc    LDln            !Create New Schedule
  118. =Llrs    LDln            !Point to it
  119. :LRS1
  120. +y    60            !up higher on display
  121. #Incl    "stdnwgtf.iif"        !standard # weight fields
  122. @LAdd
  123.  
  124. >br    LayerLp
  125.  
  126. ! Now build output layer
  127. :OutLay
  128. @LLdf                !start with default layer again
  129. =LDln    "Out"            !layer name
  130. =Lpes    &Out            !Number of PEs
  131. =n4    Lpes            !Save for instruments
  132. =Llrn    BPLf            !Learning Rule
  133. ?BPLi    0            !Linear Output?
  134. >bne    LinOut
  135. =Ltrn    BPTf            !Transfer function
  136. :LinOut
  137. ?BPGN    0            !Gaussian Noise?
  138. >beq    GN3            !No
  139. =Lnse    "Gaussian"        !Yes
  140. :GN3
  141. ?BPTE    0            !Tolerant Error ?
  142. >beq    TE2            !No
  143. =Lerf    "tolerant"        !Yes
  144. :TE2
  145. ?BPDS    0            !Use Default Schedule?
  146. >bne    LRS2            !Yes
  147. =BBLC    OPLC            !Set up Learn Coefficient
  148. @CrSc    LDln            !Create New Schedule
  149. =Llrs    LDln            !Point to it
  150. :LRS2
  151. +y    60            !up higher on display
  152. #Incl    "stdnwgtf.iif"        !standard # weight fields
  153. @LAdd
  154. =n7    LayN            !Output (highest) layer index
  155.  
  156.  
  157. !Now put in the Connections
  158. =cnwt    1.0            !connection weight
  159. =cnty    WVar            !Variable
  160. =cnsc    WRel            !Relative
  161. =n1    n6            !Initialize Outer Loop counter
  162. +n1    1            !First target layer
  163. =n3    n1            !remember first target layer
  164.  
  165. :OutCnLp            !Outer Connection Loop
  166. ?n1    n7
  167. >bgt    EndConn            !Connections Completed
  168.  
  169. =n0    0            !init inner loop ctr to input layer
  170. =n2    n1            !Upper limit is
  171. -n2    1            !previous layer
  172. ?BPCP    0
  173. >bne    InCnLp            !connect all prior layers
  174. ?n1    n3            !First target layer?
  175. >beq    InCnLp            !connect all prior layers (may be func links)
  176. =n0    n2            !init inner loop ctr to prev. layer
  177.  
  178. :InCnLp                !Inner Connection Loop
  179. ?n0    n2
  180. >bgt    EndInLp            !Break out of inner loop
  181. =SPEl    n1            !destination layer
  182. @SlPE                !select as destination
  183. =NPEl    n0            !source layer
  184. @NrPE                !select as source
  185. @LCFl                !full connections
  186.  
  187. +n0    1            !Increment source layer
  188. >br    InCnLp
  189.  
  190. :EndInLp
  191. ?BPBi    0            !check for bias connections
  192. >beq    NoBias
  193. =NPEl    -1            !bias layer as source
  194. @NrPE                !select as source
  195. @LCFl                !full connections
  196. :NoBias
  197. +n1    1            !Increment destination layer
  198. >br    OutCnLp
  199.  
  200.  
  201. :EndConn
  202.  
  203. !    *** Select Control Strategy & L/R Schedule ***
  204.  
  205. =LnPr    0            !no pruning
  206. @LLsl                !load super layer
  207. ?BPFa    0
  208. >bne    CS3
  209. =Lctl    "backprop"        !backprop control strategy
  210. >br    CS4
  211. :CS3
  212. =Lctl    "bkpfast"        !fast backprop control strategy
  213. :CS4
  214. =Llrs    "backprop"        !backprop L/R Schedule
  215. =Llnn    "train"            !name of learn input
  216. =Lrcn    "test"            !name of recall output
  217. #Incl    "stdioset.iif"        !standard I/O settings
  218. ?Lax1    0            !has Aux1 been set up?
  219. >bgt    Aux1Done        !yes
  220. =Lax1    16            !nominal number of accumulations
  221. :Aux1Done
  222. ?BPAa    0            !check for auto-associative
  223. >beq    Hetero2
  224. +Lflg    LAAs            !auto-associative network
  225. :Hetero2
  226. =Lscl     -1.0            !input  low-value
  227. =Loff     1.0            !input  high-value
  228. =Llow     -0.8            !output low-value
  229. =Lhgh     0.8            !output high-value
  230. =n5    -1.0            !Save for instrument limits
  231. =n6     1.0            !Save for instrument limits
  232. ?BPTf    4            !Is this a Sigmoid?
  233. >bne    BiPolar            !No, - assume bipolar
  234. =Lscl    0.0            !input  low-value
  235. =Llow    0.2            !output low-value
  236. =n5    0.0            !Save for instrument limits
  237. =n6    1.0            !Save for instrument limits
  238. :BiPolar
  239. @SVsl                !save it back
  240. !
  241. #Incl    "stdprobe.iif"        !Standard probe include file
  242. !
  243. =jogl    -.1            !lower limit for jog
  244. =jogh    +.1            !upper limit for jog
  245. =seed    257            !starting seed number
  246. @seed                !set the seed
  247. @Nini                !randomize the network
  248. @EOF
  249.  
  250.