home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / benchmar / 1705 < prev    next >
Encoding:
Internet Message Format  |  1992-11-16  |  3.8 KB
  1. Path: sparky!uunet!pmafire!mica.inel.gov!ux1!news.byu.edu!hamblin.math.byu.edu!sol.ctr.columbia.edu!spool.mu.edu!olivea!inews.Intel.COM!mipos2!jwreilly
  2. From: jwreilly@mipos2.intel.com (Jeffrey Reilly)
  3. Newsgroups: comp.benchmarks
  4. Subject: Re: SPEC : questions, copyright, summary - a database of spec's ?
  5. Message-ID: <BxtHDv.Gq7@inews.Intel.COM>
  6. Date: 16 Nov 92 16:20:18 GMT
  7. References: <1992Nov16.143948.27382@crc.ac.uk>
  8. Sender: news@inews.Intel.COM (USENET News System)
  9. Organization: Intel Corporation, Santa Clara, CA USA
  10. Lines: 70
  11. Nntp-Posting-Host: mipos2
  12.  
  13.  
  14. In article <1992Nov16.143948.27382@crc.ac.uk> you write:
  15. >i would like to complie a list of all (!) SPECmark ratings, both INT & FP,
  16. >even THRUput, if possible.  basically i would like to be able to produce a 
  17. >list that i could post every-so-often when a new spec-mark for a new machine
  18. >appears.  this would be of interest when the dec-alpha marks came out, to
  19. >give an example.  this however, raises a coupla questions...
  20. >
  21. >is it legal ?  am i infringing SPEC's copyright ?  
  22.  
  23. Well, I am not a lawyer :-) but from what I understand the benchmarks results are
  24. not copyrightable (the terminology and the reporting format from the SPEC
  25. Newsletter may be). For example, both companies and magazines frequently publish
  26. tables of SPEC data (for example, performance brief's from DEC, IBM, Sun and
  27. magazines such a Microprocessor Report, Andrew Allison's RISC Forum, EE Times.
  28.  
  29. >
  30. >how should i report them ?  i assume that i would include supplementary
  31. >info along with each benchmark result, such as cpu (with mhz rating), 
  32. >cache size (?), memory (is it relevant?), compiler used?  i assume that
  33. >it is necessary to chop the results up into specint92, specfp92, and 
  34. >specthruput, (and also spec89marks, if relevant).  i would probably also
  35. >separate the multi-cpu from the single-cpu results.
  36.  
  37. Typically, SPEC suggests that enough information be reported to allow someone to
  38. easily reproduce the results. Cache size and memory are important (though
  39. admittedly if you throw enough hardware at the problem, eventually you reach a
  40. point where adding more doesn't help). The choice of a compiler makes a big
  41. difference (as an extreme, look at the difference between the results published
  42. by SUN, HP, etc. before and after the introduction of the KAP Preprocessor).
  43.  
  44. The OS may make a difference in SPEC SDM results.
  45.  
  46. Also, note that configurations may vary between a reported SPECint92, SPECfp92
  47. and SPECrate_int92, SPECrate_fp92.
  48.  
  49. Another key point to make is you should make sure you mention the source of the
  50. information.
  51.  
  52. All and all, it depends on how much work you want to put into it. It is a lot of
  53. information that changes and is added to quite rapidly from many sources (SPEC
  54. Newletter, company hardware and software announcements, etc.)
  55.  
  56. SPEC is currently planning to include a year end summary of performance for it's
  57. December Newsletter.
  58. >
  59. >i have read the FAQ pertaining to spec-stuff.  perhaps i am trying to create
  60. >a store of spec-marks that could be attached to a FAQ, although this is not
  61. >my intention.  it is intented to be stand-alone (!) from a faq.  do you think
  62. >anyone from spec would be upset.  and no, i can't be bothered to go and
  63. >ask them myself.  any comments welcomed (flame-proof suit on...) mainly be
  64. >postings, email also.
  65. >
  66.  
  67. Well, if you ever want to bring anything up with SPEC, we're always willing to
  68. listen... :-)
  69.  
  70. Personally, I think its a useful idea and I think most other people would too
  71. (particularly if it is kept current and correctly).
  72. >thanks...
  73.  
  74. Good Luck!
  75.  
  76. Jeff
  77. Intel's Representitive To SPEC
  78. Jeff Reilly            | "There is something fascinating about
  79. Intel Corporation        | science. One gets such wholesale returns
  80. jwreilly@mipos2.intel.com    | of conjecture out of such a trifling
  81. (408) 765 - 5909        | investment of fact" - M. Twain
  82. All opinions are my own....
  83.