home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #3 / NN_1993_3.iso / spool / comp / ai / 4943 < prev    next >
Encoding:
Internet Message Format  |  1993-01-21  |  5.1 KB
  1. Path: sparky!uunet!think.com!ames!saimiri.primate.wisc.edu!zaphod.mps.ohio-state.edu!cis.ohio-state.edu!bounce-bounce
  2. From: byland@cis.ohio-state.edu (Tom Bylander)
  3. Newsgroups: comp.ai
  4. Subject: Re: New Problems in IJCAI Reviewing (long)
  5. Date: 21 Jan 1993 10:57:22 -0500
  6. Organization: The Ohio State University Dept. of Computer and Info. Science
  7. Lines: 91
  8. Message-ID: <1jmh52INN1i8@iris.cis.ohio-state.edu>
  9. References: <C10q84.390@cpsc.ucalgary.ca>
  10. NNTP-Posting-Host: iris.cis.ohio-state.edu
  11.  
  12.  
  13.  
  14. I think IJCAI's reviewing system could have been administrated better
  15. (i.e., let authors know that the reviewing would be anonymous and that
  16. abstracts should be on a separate page), but I disagree with the
  17. other arguments against anonymous reviewing.
  18.  
  19. Several reviewers have noted that it is often easy to guess who the
  20. author(s) of the paper are anyway.  Part of this is because authors
  21. did not know about the anonymous reviewing.  It does not take much
  22. work to make the guessing a little harder, though admittedly it would
  23. still be easy much of the time.  However, focusing on this problem
  24. misses a key point.  The point of anonymous reviewing is not to make
  25. authorship impossible to guess in every instance.  Many complaints
  26. about the IJCAI reviewing process (probably about every reviewing
  27. process) is that there is a significant bias in favor of recognized
  28. researchers and places, and that these complaints come from people
  29. outside of this grouping.  Certainly, there are many papers whose
  30. authors cannot be easily determined, and at least these papers would
  31. be on a level playing field.  Reviewers (primarily researchers who are
  32. "inside") find many aspects of anonymous reviewing irritating, but
  33. they should remember that "outside" researchers can come up with a
  34. compelling explanation for this (compelling to those on the "outside"
  35. at least).
  36.  
  37. Now I feel I must respond to some of Brian Gaines' points.
  38.  
  39. > Authors have to modify their papers
  40. > extensively to remove any evidence of their identities, and these
  41. > modifications may distort the content.
  42.  
  43. I don't anyone is requiring that authors remove every evidence of
  44. their identities.  It would be simple enough to refer to your own
  45. previous work as if it were somebody else (e.g., avoiding phrases like
  46. "in our previous work \cite{...}"), and to remove identifying
  47. information from references to unpublished, relatively unknown
  48. papers.  I doubt that this level of anonymization distorts much of
  49. anything, and this year it would have made some easy-to-guess cases
  50. much more doubtful.
  51.  
  52. > The 'meaning' of text is situated in its origins and in its place in the
  53. > stream of discourse. The same statements do not have the same meaning from
  54. > different authors. The same text has a very different status as a report of
  55. > the ongoing research previously reported by one group, than it does as a
  56. > report of replication of that research activity by an independent group. In
  57. > the event of replication, the relation between the two groups, the degree of
  58. > independence, is very relevant. 
  59.  
  60. Give me a break.  In general, either the paper is sufficiently
  61. persuasive or it is not, i.e., it presents sufficient evidence that
  62. the reviewer can evaluate.  I cannot imagine a comment like "accept
  63. this paper only if it was written by x, y, or z" being taken seriously
  64. by any fellow reviewers, or "the claim by this paper is true if x
  65. wrote the paper, but false if y wrote the paper".  In those cases in
  66. which independent authorship is important (i.e., "accept this paper
  67. only if it wasn't written by x because it claims to be an independent
  68. evaluation of x's work"), this is something that editors are good for.
  69.  
  70. > A brief statement of a research result from a researcher with a
  71. > major track record of excellent, replicated research may be acceptable on the
  72. > reasonable assumption that she or he knows the state of the art, artifacts,
  73. > etc. The same statement from a researcher new to the field may require
  74. > in-depth justification. This is bias, but it is proper bias reflecting the
  75. > communication process involved, not improper bias reflecting personal
  76. > prejudice or self-interest.
  77.  
  78. Argument by authority is a classic fallacy, and, because it is a
  79. fallacy, depending on such an argument has its own significant fraud
  80. potential, note Gallo AIDS research case and David Baltimore case.  In
  81. this political climate, we had better be careful that the evidence is
  82. there whether or not the researcher is recognized, or we will pay for
  83. it later.
  84.  
  85. > An improper effect
  86. > would be one that damaged the progress of science because one group had direct
  87. > power to prevent the dissemination of knowledge rather than the indirect power
  88. > of showing it be incorrect. There have been many independent empirical studies
  89. > to determine whether such improper effects exist in the scientific community.
  90. > The difficulties of measurement and interpretation are such that no studies
  91. > are conclusive, but any effects found have been slight. 
  92.  
  93. No doubt the "empirically measurable" effects of anonymous reviewing
  94. are slight as well, so this is no argument against anonymous
  95. reviewing, per se.  It's only an argument for keeping things the way
  96. they are because we (on the inside) are comfortable with it.
  97.  
  98. Tom Bylander
  99. byland@cis.ohio-state.edu
  100.  
  101.  
  102.  
  103.