home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #3 / NN_1993_3.iso / spool / rec / autos / 32694 < prev    next >
Encoding:
Internet Message Format  |  1993-01-25  |  2.6 KB
  1. Path: sparky!uunet!zaphod.mps.ohio-state.edu!saimiri.primate.wisc.edu!ames!sun-barr!news2me.EBay.Sun.COM!seven-up.East.Sun.COM!phaedrus!ebergman
  2. From: ebergman@phaedrus.East.Sun.COM (Eric Bergman)
  3. Newsgroups: rec.autos
  4. Subject: Re: yet another consumer reports article (
  5. Date: 25 Jan 1993 23:31:49 GMT
  6. Organization: Sun Microsystems Inc. - BDC
  7. Lines: 46
  8. Distribution: world
  9. Message-ID: <1k1t96INN176@seven-up.East.Sun.COM>
  10. References: <1993Jan25.174221.11394@magnus.acs.ohio-state.edu>
  11. Reply-To: ebergman@phaedrus.East.Sun.COM
  12. NNTP-Posting-Host: phaedrus.east.sun.com
  13. Summary: statistics is a science
  14. Keywords: consumer reports statistics
  15.  
  16. > IF you have 10,000 people responding about problems with their Ford
  17. > Ranger  and 50,000 about problems with their Ford Taurus, patterns
  18. > will show up. 
  19.  
  20. Here is a story about why sample bias is important,
  21. REGARDLESS OF THE SIZE OF THE SAMPLE:
  22.  
  23. Literary Digest did a telephone survey of Readers in 1936.
  24. They asked for whom readers were intending to vote, and on the
  25. basis of the huge response (over 100,000 people responded!), 
  26. they predicted that Roosevelt would lose in a landslide.  
  27. (For you young folks -- Roosevelt won in a landslide).
  28.  
  29. You are right to say that "patterns will show up", but you
  30. are wrong to think that we can draw valid conclusions from
  31. those patterns.  
  32.  
  33. Your email ends with the note "Back off man, I'm a Scientist!",
  34. which I think is great, but really, you should know that there
  35. are people who get PhD's studying how to do valid survey research.
  36. Doing it RIGHT is a science.  It is NOT so simple as to say 
  37. "there are patterns".   That is no more science than it is to
  38. for an Astrologer to say that there are patterns in the stars. 
  39.  
  40. > And, both with have groups of people who respond
  41. > because they love or hate their machine.
  42.  
  43. True.  But you can't know what factors will cause people to
  44. respond differentially.  For example, in the poll I cited above,
  45. the reason that Roosevelt did so poorly is that Readers of the
  46. Literary Digest who *had phones* were more likely to be Republicans,
  47. because phones were still relatively expensive in 1936.
  48.  
  49. For all we know, readers of Consumer Reports are highly likely to
  50. have families -- perhaps in the large samples, the people who
  51. drive the Taurus treat it with greater care than those who drive
  52. an Eclipse, for example.  Who *knows*.  The point is, there are
  53. too many factors that could cause "the patterns" that you speak
  54. of to be utterly meaningless.
  55.  
  56. The useful information, I think, is not comparative, but descriptive.
  57. Consumer Reports describes cars.  If they use the same criteria, then
  58. comparing the qualitative info in the descriptions is useful.
  59.  
  60.  
  61.  
  62.