home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #3 / NN_1993_3.iso / spool / comp / ai / neuraln / 4998 < prev    next >
Encoding:
Text File  |  1993-01-28  |  3.3 KB  |  69 lines
  1. Newsgroups: comp.ai.neural-nets
  2. Path: sparky!uunet!charon.amdahl.com!pacbell.com!decwrl!purdue!yuma!lamar!tstanley
  3. From: tstanley@lamar.ColoState.EDU (Thomas R Stanley)
  4. Subject: Help, statistics and learning algorithms
  5. Sender: news@yuma.ACNS.ColoState.EDU (News Account)
  6. Message-ID: <Jan26.205706.73285@yuma.ACNS.ColoState.EDU>
  7. Date: Tue, 26 Jan 1993 20:57:06 GMT
  8. Nntp-Posting-Host: lamar.acns.colostate.edu
  9. Organization: Colorado State University, Fort Collins, CO  80523
  10. Lines: 57
  11.  
  12. Hi everybody:
  13.  
  14. I am currently using classification procedures like Linear Discriminant
  15. Analysis (LDA) and Classification And Regression Trees (CART) as model
  16. selection procedures for a known (finite) set of multinomial models.  In
  17. general, I generate data under a known model using Monte Carlo
  18. simulations, compute diagnostic statistics from the simulated data, then
  19. use these statistics as training data for LDA and CART.  Thus, given a set
  20. of new data where the underlying model is unknown, I compute the
  21. diagnostic statistics and let LDA and CART tell me which model the new
  22. data were most likely to have come from.  Lately, I have become interested
  23. in using neural nets for model selection under a supervised learning
  24. algorithm.  My question is, what are the statistical equivalents of the
  25. supervised learning methods commonly used in constructing neural nets? 
  26. More precisely, are there statistical equivalents to the following (see,
  27. I did check the FAQ first :) learning methods:
  28.  
  29. 2. SUPERVISED LEARNING (i.e. with a "teacher"):
  30.        1). Feedback Nets:
  31.            a). Brain-State-in-a-Box (BSB)
  32.            b). Fuzzy Cognitive Map (FCM)
  33.            c). Boltzmann Machine (BM)
  34.            d). Mean Field Annealing (MFT)
  35.            e). Recurrent Cascade Correlation (RCC)
  36.            f). Learning Vector Quantization (LVQ)
  37.        2). Feedforward-only Nets:
  38.            a). Perceptron
  39.            b). Adaline, Madaline
  40.            c). Backpropagation (BP)
  41.            d). Cauchy Machine (CM)
  42.            e). Adaptive Heuristic Critic (AHC)
  43.            f). Time Delay Neural Network (TDNN)
  44.            g). Associative Reward Penalty (ARP)
  45.            h). Avalanche Matched Filter (AMF)
  46.            i). Backpercolation (Perc)
  47.            j). Artmap
  48.            k). Adaptive Logic Network (ALN)
  49.            l). Cascade Correlation (CasCor)
  50.  
  51. I found one reference that said BP was equivalent to least squares
  52. fitting.  Is this true of the rest of the methods?  If these methods are
  53. really just variations on classical statistical procedures, then (and here
  54. is where I show my ignorance) what do I have to gain by using neural nets? 
  55. Why should I expect these procedures to perform better than a parametric
  56. method (let's assume for the sake of argument the assumptions of the
  57. method (e.g. normality) are met) where there exists maximum likelihood
  58. estimators (MLE's) for the parameters (i.e. weights at the processing
  59. element or node)?  MLE's guarantee unbiasedness and efficiency (minimum
  60. variance), you can't get better than that can you?  I would appreciate any
  61. help, ideas, or input I can get on these questions.  I don't want to spend
  62. a lot of time looking into neural nets if they are unlikely to lead to a
  63. better model selection procedure.  Thanks in advance.
  64.  
  65.                                           Tom Stanley
  66.  
  67.                                           National Ecology Research Center
  68.                                           Fort Collins, CO
  69.