home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #3 / NN_1993_3.iso / spool / comp / ai / 4944 < prev    next >
Encoding:
Text File  |  1993-01-21  |  7.5 KB  |  148 lines
  1. Newsgroups: comp.ai
  2. Path: sparky!uunet!cis.ohio-state.edu!news.sei.cmu.edu!bb3.andrew.cmu.edu!crabapple.srv.cs.cmu.edu!yoram
  3. From: yoram+@CENTRO.SOAR.CS.CMU.EDU (Yoram Reich)
  4. Subject:  Re: New Problems in IJCAI Reviewing (longER)
  5. Message-ID: <C17LBt.n3.1@cs.cmu.edu>
  6. Originator: yoram@CENTRO.SOAR.CS.CMU.EDU
  7. Sender: news@cs.cmu.edu (Usenet News System)
  8. Nntp-Posting-Host: centro.soar.cs.cmu.edu
  9. Organization: School of Computer Science, Carnegie Mellon
  10. Date: Thu, 21 Jan 1993 14:52:36 GMT
  11. Lines: 135
  12.  
  13. There is no question that all those who posted opinions on this subject
  14. where correct, or at least represent positions that are defendable in a
  15. strong way. How can this be possible? Easy. It merely requires that we
  16. acknowledge that the kind of research we do (and for that matter, all
  17. sciences) involve politics, interest groups, money, pleasure, ego, trips to
  18. the French Riviera, and very remote with ``objectivity''---whatever that
  19. means. [If you ask, I can give a long list of references stating these
  20. ideas, including one on mathematics and the names of conferences discussing
  21. politics in the sciences]
  22.  
  23. Since there is no objective standard for quality, fairness, etc., the issue
  24. becomes who or which group succeeds in influencing the rest of the community
  25. to adopt a certain practice. Alternatively, this may be done by vote or
  26. through a discussion like the one started by Brian. There is a bag full of
  27. issues that can be discussed beyond the anonymity issue such as: what is the
  28. role of researchers that run journals for many years. Societies' Journals
  29. often replace their editors, but ``private'' ones don't; although, there are
  30. exceptions (e.g., Machine Learning replaces its editor once every several
  31. years). So is it good or bad practice? What are the consequences of it?
  32.  
  33. Nobody is going to resolve these issues in the sense of making them correct.
  34. The critical thing is to keep talking about them continually and not only
  35. once every two years or so. The discussion can include many aspects. For
  36. example, one can do the following experiment:
  37.  
  38.     a. Take a conference and set up two parallel review processes: 
  39.        (1) anonymous and (2) open. 
  40.     b. Let reviewers make their judgment and have another 
  41.        set of judges evaluate all the papers (now as they'd appear in a 
  42.        proceeding), without knowing how each of the papers was reviewed. 
  43.     c. Sum the evaluation of the two groups of papers and see whether 
  44.        the change in quality is statistically significant. Alternatively, 
  45.        publish two proceedings and let the market decides which is better
  46.        by counting the number of purchases of each. 
  47.  
  48. Would this be satisfactory? Maybe more than what is done now. The point is
  49. that there are many issues to discuss, and continue doing so. 
  50.  
  51. Having said that, a small advertisement for a special issue of AI EDAM
  52. journal on research methodology that will accept these kinds of issues follows.
  53.  
  54. Yoram
  55. -----------------------------------------------------------------
  56. Yoram Reich, Engineering Design Research Center, Carnegie Mellon 
  57.   University, 5000 Forbes Avenue Pittsburgh, PA 15213-3890, USA
  58.     Voice: (412) 268 7864, Fax: (412) 268 5229, email: yoram@edrc.cmu.edu
  59.  
  60.  
  61.  
  62.  
  63.        ======================================================================
  64.                  Please Circulate               Please Circulate
  65.        ======================================================================
  66.  
  67.                                 Call For Papers
  68.                            Artificial Intelligence in
  69.               Engineering Design Analysis and Manufacturing (AI EDAM)
  70.                       Special Issue on Research Methodology
  71.  
  72.     AI EDAM is an international journal devoted to the reporting of research
  73.     and applications of AI in engineering design, analysis, and manufacturing
  74.     (AIEDAM). AIEDAM is a growing field attracting many researchers from
  75.     academia and practitioners from industry. Early work in this field was
  76.     largely exploratory and often ignored methodological issues. The term
  77.     methodology used hear means more than methods; it stands for the methods of
  78.     conducting research and the interpretation of the research activity
  79.     including: the meaning and evaluation of the results, the accumulation of
  80.     knowledge, the relation of research to practice, etc..
  81.  
  82.     While some scattered studies on AIEDAM research methodology exist, the lack
  83.     of continuous attention to this subject has severe consequences on the
  84.     field: (1) it is sometimes unclear what the goals of the field are, (2) it
  85.     is unclear what constitutes a contribution to the field, and (3) it is
  86.     unclear what are appropriate or promising ways of approaching research
  87.     questions. These three problems, and others, complicate the interpretation
  88.     and understanding of research results and gradually make it hard to
  89.     convince potential supporters of the pragmatic merit of the field. The
  90.     special issue of AI EDAM on research methodology attempts to initiate a
  91.     discussion on these fundamental problems.
  92.  
  93.     Topics are welcome from (but not limited to) the following issues:
  94.  
  95.       o  Is AIEDAM a science?
  96.       o  What kind of inquiry is AIEDAM (e.g., positivist, constructivist)
  97.        and how does this influence the research methodology?
  98.       o  What is the purpose of AIEDAM research.
  99.       o  How should AIEDAM research be tested or validated?
  100.       o  How is knowledge accumulated in AIEDAM research?
  101.       o  What are good measures of AIEDAM research progress or goodness?
  102.       o  What is the relation between AIEDAM research and practice and how
  103.        does it influence the research methodology?
  104.       o  Is (should be) research methodology of AIEDAM different from
  105.        methodologies in other engineering disciplines?
  106.       o  Reviews of methodologies used in research and their
  107.        successes/failures.
  108.  
  109.     This list is by no means exhaustive; other topics are welcome provided that
  110.     they are relevant to the issue of AIEDAM research methodology.
  111.  
  112.     All papers submitted to this special issue will be blind reviewed according
  113.     to the usual procedure of AI EDAM.
  114.  
  115.     Manuscripts should be limited to 35 typewritten, double spaced pages (12pt
  116.     font), including figures, tables, and references; two-sided manuscripts are
  117.     welcome. Each manuscript should have a title page with the title of the
  118.     paper, full name(s) and affiliation(s) of author(s), complete postal and
  119.     electronic addresses (if available), telephone number(s), and a maximum 300
  120.     word abstract.
  121.  
  122.     Please submit 4 copies of a paper (or address any inquiry regarding this
  123.     special issue) to the guest editor by 31 MARCH 1993, to the following
  124.     address:
  125.  
  126.                         Yoram Reich
  127.      BEFORE             Department of Civil and Environmental Engineering
  128.      June 15, 1993       Duke University
  129.                         Durham, NC 27706, USA
  130.  
  131.      AFTER              Engineering Design Research Center
  132.      June 15, 1993       Carnegie Mellon University
  133.                         5000 Forbes Avenue
  134.                         Pittsburgh, PA 15213, USA
  135.  
  136.     electronic mail: yoram@edrc.cmu.edu
  137.  
  138.     Acceptance status letters will be sent by 15 JULY 1993.
  139.  
  140.        ======================================================================
  141.                  Please Circulate               Please Circulate
  142.        ======================================================================
  143. -- 
  144. -----------------------------------------------------------------
  145. Yoram Reich, Engineering Design Research Center, Carnegie Mellon 
  146.   University, 5000 Forbes Avenue Pittsburgh, PA 15213-3890, USA
  147.     Voice: (412) 268 7864, Fax: (412) 268 5229, email: yoram@edrc.cmu.edu
  148.