home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #31 / NN_1992_31.iso / spool / sci / med / 22950 < prev    next >
Encoding:
Text File  |  1992-12-22  |  3.4 KB  |  68 lines
  1. Newsgroups: sci.med
  2. Path: sparky!uunet!elroy.jpl.nasa.gov!ames!agate!spool.mu.edu!news.nd.edu!mentor.cc.purdue.edu!pop.stat.purdue.edu!hrubin
  3. From: hrubin@pop.stat.purdue.edu (Herman Rubin)
  4. Subject: Re: Bashing, truth, etc.
  5. Message-ID: <Bzo510.23n@mentor.cc.purdue.edu>
  6. Sender: news@mentor.cc.purdue.edu (USENET News)
  7. Organization: Purdue University Statistics Department
  8. References: <1992Dec21.171109.2975@cnsvax.uwec.edu> <2311@hsdndev.UUCP>
  9. Date: Tue, 22 Dec 1992 16:12:36 GMT
  10. Lines: 56
  11.  
  12. In article <2311@hsdndev.UUCP> rind@binoc.bih.harvard.edu (David Rind) writes:
  13. >>[hrubin@pop.stat.purdue.edu writes:]
  14. >>>I do not need any data whatever to know that saccharin has an effect on
  15. >>>cancer rates, or that vitamin C has an effect on longevity, or even that
  16. >>>the most disreputable quack treatments have an effect.
  17.  
  18. >This point, which Herman Rubin makes here frequently, has its problems.
  19. >The assumption is that everything has some effect, however small,
  20. >on everything, and so given a large enough N, a statistically significant
  21. >effect will be demonstrated.
  22.  
  23. >I think this ignores the randomness and finiteness of the universe.  If
  24. >the N needed to show an effect is larger than the number of humans
  25. >that have ever lived and can ever be expected to live over the lifetime
  26. >of the universe, I don't think it is fair to say that we "know" that 
  27. >a large enough N will prove an effect.  Further, given chaos in 
  28. >the universe, it is unlikely that we could ever control things in 
  29. >such a way that we could have any likelihood that such a small effect
  30. >would show the same results in an experiment performed twice.
  31.  
  32. The problem is even worse.  For any N, there is a positive probability
  33. that a "statistically significant" result will occur, even if there is
  34. absolutely no effect; this is what is usually called the significance
  35. level. 
  36.  
  37. >That is not to say that this is not a relevant real world problem in 
  38. >statistics.  Frequently large studies do demonstrate statistically
  39. >significant but clinically insignificant results.  I am commenting
  40. >more on the specific philosophical position that leads to the
  41. >position that we can be certain that saccharin has an effect on
  42. >cancer rates (either to raise or to lower them).
  43.  
  44. Again, there is the confusion due to the misuse of the word "significant."
  45. Whether something is clinically significant is not dependent on the size
  46. of the sample, but on the magnitude of the effect.  Even this is an 
  47. oversimplification; it is unlikely that there is a 0-1 statement 
  48. possible that something is or is not clinically significant.  If a
  49. treatment is effective, the clinical, or practical, significance is
  50. present BEFORE the data is collected, although the statistical
  51. significance is not.
  52.  
  53. That there is a racial effect on the secondary sex ratio is 
  54. statistically significant, but has little, if any, practical
  55. significance.  On the other hand, that a drug has not been shown
  56. to have statistically significant effects does not mean that its
  57. effects are not practically significant.  The problem is one of
  58. which action to take, and statistical significance, confidence
  59. intervals, etc., do not provide the answer.  There are procedures
  60. which take into account the relevant information, and they should
  61. be used.
  62.  
  63. -- 
  64. Herman Rubin, Dept. of Statistics, Purdue Univ., West Lafayette IN47907-1399
  65. Phone: (317)494-6054
  66. hrubin@snap.stat.purdue.edu (Internet, bitnet)  
  67. {purdue,pur-ee}!snap.stat!hrubin(UUCP)
  68.