home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #31 / NN_1992_31.iso / spool / comp / ai / 4683 < prev    next >
Encoding:
Internet Message Format  |  1992-12-22  |  2.2 KB
  1. Xref: sparky comp.ai:4683 sci.math.stat:2664
  2. Newsgroups: comp.ai,sci.math.stat
  3. Path: sparky!uunet!gatech!usenet.ins.cwru.edu!agate!boulder!ucsu!yertle.Colorado.EDU!mcclella
  4. From: mcclella@yertle.Colorado.EDU (Gary McClelland)
  5. Subject: Re: Learning from subjective data
  6. Message-ID: <mcclella.725048643@yertle.Colorado.EDU>
  7. Sender: news@ucsu.Colorado.EDU (USENET News System)
  8. Nntp-Posting-Host: yertle.colorado.edu
  9. Organization: University of Colorado, Boulder
  10. References: <BzE5G3.Hoq@ux1.cso.uiuc.edu> <ALMOND.92Dec21220007@bass.statsci.com> <Bzo3Fr.7Kw@cs.uiuc.edu>
  11. Date: Tue, 22 Dec 1992 18:24:03 GMT
  12. Lines: 38
  13.  
  14. bharat@cs.uiuc.edu (R. Bharat Rao) writes:
  15.  
  16.  
  17. >almond@statsci.com (Russell G. Almond) writes:
  18. >>R. Bharat Rao (bharat@cs.uiuc.edu) writes:
  19. >>> I was wondering if anyone knew of any work that has been done on
  20. >>> learning from subjective data.  For instance, you may have a data set
  21. >>> of events with a number of independent attribute (x1...xn) and a
  22. >>> single dependent attribute y.  However, y is a subjective rating.
  23.  
  24. >>This is generally a messy problem and I don't know that there has ever
  25. >>been a definative answer.  I would, however, try the Psych--Stat
  26. >>literature,
  27.  
  28. I second that recommendation.  You may be particularly interested
  29. in some research on expert judgment by James Shanteau.  He has
  30. studied, among other things, the subjective judgments of
  31. livestock judges and soil experts in agricultural contexts. This
  32. is the same generic problem as your esthetic judgment problem. 
  33. Also of interest would be Ken Hammond's work.  A useful starting
  34. place would be an aritcle in Science by Hammond & Adelman in the
  35. mid 70's.
  36.  
  37.  
  38. >OK, the case where you have a unique expert for every problem is
  39. >obviously very messy.  Does the situation become any simpler if each
  40. >expert does many ratings (again no point is rated by more than one
  41. >expert)?  Say, you have 10,000 data points and 500 experts each rate
  42. >20 random points.  Also, for a point you know the expert who rated
  43. >that point.  I think this makes the problem somewhat easier.
  44.  
  45. Sure, just include terms in your model for the experts.  This
  46. controls for differences among experts so long as the experts
  47. still agree as to which end is up for each attribute.
  48.  
  49. gary mcclelland
  50. univ of colorado
  51. mcclella@yertle.colorado.edu
  52.