home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / ai / 4319 < prev    next >
Encoding:
Text File  |  1992-11-17  |  3.1 KB  |  57 lines
  1. Newsgroups: comp.ai
  2. Path: sparky!uunet!charon.amdahl.com!pacbell.com!sgiblab!spool.mu.edu!news.nd.edu!mentor.cc.purdue.edu!pop.stat.purdue.edu!hrubin
  3. From: hrubin@pop.stat.purdue.edu (Herman Rubin)
  4. Subject: Re: Looking for Good Intro to Bayesian Classifiers
  5. Message-ID: <BxvGts.FLr@mentor.cc.purdue.edu>
  6. Sender: news@mentor.cc.purdue.edu (USENET News)
  7. Organization: Purdue University Statistics Department
  8. References: <19293@ucdavis.ucdavis.edu>
  9. Distribution: usa
  10. Date: Tue, 17 Nov 1992 18:03:27 GMT
  11. Lines: 44
  12.  
  13. In article <19293@ucdavis.ucdavis.edu> f175003@wilma.ucdavis.edu writes:
  14. >I am looking for a book or paper with a good introduction into using 
  15. >Bayesian Classifiers preferably with a few examples showing how to 
  16. >determine the probabilities.  I understand the idea behind a Bayesian 
  17. >Classifier, but I have looked at a couple of examples of Bayesian 
  18. >Classifiers and they appeared to use maximum likelihood estimators to 
  19. >determine the values for the various probabilities.  According to my 
  20. >statistics book, this method provides excellent estimates if the sample 
  21. >size is large, but in the cases I hope to be dealing with I will only 
  22. >have a few samples and want to get as much information from them as I can.
  23.  
  24. >There has also been some discussion here about whether 
  25. >there exist some values for the probabilities of the classes and the 
  26. >probabilities of the various attributes given the class, which tells 
  27. >you as much as possible from the given samples.  The methods I have 
  28. >seen require a prior distribution and show you how to determine the 
  29. >posterior distribution after seeing each example.  One then chooses a value 
  30. >from this distribution using their favorite function, such as mean, median, 
  31. >or mode, or equivalently by using some loss function.  It seems that their 
  32. >is no value for the probabilities which will give you as much
  33. >information as possible about the samples without chosing some
  34. >type of loss function.  Is this correct and is there some way to 
  35. >prove if it is or is not correct?
  36.  
  37. To do Bayesian statistics "correctly" requires that one sets up a prior
  38. measure on the collection of states of nature and a loss function, and
  39. then uses that procedure which minimizes the expected loss.  Now it is
  40. a physical impossibility to do this accurately.  Fortunately, there are
  41. robustness results which point out that certain approximations may do a
  42. good job in certain situations.  Using maximum likelihood estimators to
  43. approximate parameters may or may not be robust.
  44.  
  45. With a sufficiently large sample size, one can always do a better job.
  46. But the largest sample size is not any better than knowing the distribution.
  47.  
  48. The prior measure and the loss function come from the user, and there is
  49. no dictum which can be given as to how to set these up.  Now there are 
  50. packages on the market which claim to do this for the user with little
  51. input; they should be used only with the greatest of suspicion.  
  52. -- 
  53. Herman Rubin, Dept. of Statistics, Purdue Univ., West Lafayette IN47907-1399
  54. Phone: (317)494-6054
  55. hrubin@snap.stat.purdue.edu (Internet, bitnet)  
  56. {purdue,pur-ee}!snap.stat!hrubin(UUCP)
  57.