home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #31 / NN_1992_31.iso / spool / comp / benchmar / 1908 < prev    next >
Encoding:
Text File  |  1993-01-02  |  6.4 KB  |  183 lines
  1. Newsgroups: comp.benchmarks
  2. Path: sparky!uunet!think.com!ames!data.nas.nasa.gov!amelia.nas.nasa.gov!eugene
  3. From: eugene@amelia.nas.nasa.gov (Eugene N. Miya)
  4. Subject: [l/m 11/2/92] good conceptual benchmarking    (2/28) c.be FAQ
  5. Keywords: who, what, where, when, why, how
  6. Sender: news@nas.nasa.gov (News Administrator)
  7. Organization: NAS Program, NASA Ames Research Center, Moffett Field, CA
  8. Date: Sat, 2 Jan 93 12:25:10 GMT
  9. Message-ID: <1993Jan2.122510.6458@nas.nasa.gov>
  10. Reply-To: eugene@amelia.nas.nasa.gov (Eugene N. Miya)
  11. Lines: 170
  12.  
  13. 2    Benchmarking concepts                    <this panel>
  14. 3    PERFECT Club/Suite
  15. 4
  16. 5    Performance Metrics
  17. 6    Temporary scaffold of New FAQ material
  18. 7    Music to benchmark by
  19. 8    Benchmark types
  20. 9    Linpack
  21. 10
  22. 11    NIST source and .orgs
  23. 12    Benchmark Environments
  24. 13    SLALOM
  25. 14
  26. 15    12 Ways to Fool the Masses with Benchmarks
  27. 16    SPEC
  28. 17    Benchmark invalidation methods
  29. 18
  30. 19    WPI Benchmark
  31. 20    Equivalence
  32. 21    TPC
  33. 22
  34. 23    RFC 1242 terminology (network benchmarking)
  35. 24
  36. 25    Ridiculously short benchmarks
  37. 26    Other miscellaneous benchmarks
  38. 27
  39. 28    References
  40. 1    Introduction to FAQ chain and netiquette
  41.  
  42. Benchmarking
  43. is difficult black art which combines several technical and social
  44. problems.  It is a juggling act,
  45. as such, the solutions must attempt to combine several components
  46. to the solutions: technical and social.
  47.  
  48. In particular the social problems require some degree of consensus
  49. very much like the problems Internatonal measurement: ala the
  50. Metric system.
  51.  
  52. Benchmarking is usually seen as a linear process:
  53.                 -----------
  54.                 | test    |
  55.     "optional input" -->| program |---> "output [time]"
  56.                 |          |
  57.                 -----------
  58. Sort of like a ruler or scale.
  59. It really is a more detailed process.  This is probably too simplistic.
  60.  
  61. A more useful figure:
  62.   -----------  -----------  -----------  -----------
  63.   |pre      |  |pre      |  |         |  |post     |
  64. ->|compiled |->|test     |->|test     |->|test     |->
  65.   |condition|  |execution|| |         | ||execution|
  66.   -----------  -----------| ----------- |-----------
  67.               |         |
  68.               | ----------- |
  69.               | |control  | |
  70.               |-|condition|-|
  71.                 |         |
  72.                 -----------
  73. From this figure one can see some of the more detailed elements and
  74. issues of the basic measurement problem: equivalence, concurrency,
  75. control, intrusive (invasive) measurement, overheads, preparation, etc.
  76.  
  77. Before you ever say: "That's trying to measure apples and ornanges"
  78. you had best realize that the biologists and biochemists did just that
  79. several decades ago.  They did.  They discovered that apples and oranges
  80. have a very common base, it's called DNA and the gene maps between the
  81. two differ very little.
  82.  
  83. Let's make some clear distinctions:
  84. Performance Evaluation
  85.     The over all process.  (Analysis and masurement)
  86. Performance Analysis
  87.     Like mathematical analysis.
  88.     The implication should be mathematical or simulation.
  89.     Susceptible to illusion and deception.  Never the last word.
  90.     Ideally: deterministic.
  91. Performance Measurement
  92.     The emphasis should be empirical.  Benchmarks run on simulations
  93.     are "Analysis."  Measurement is a verification of real hardware
  94.     performance.  It's bound by the laws of physics.  It can be spoofed.
  95.     It appear as "the last word."  This is where benchmarking lies.
  96.     Ideally: demonstrable, repeatable, and reproducible.
  97.  
  98. The history of area is such that many architectures are claimed for
  99. one performance and in the reality under-performing (usually).
  100.  
  101. [Wulf81]:
  102.   We want to learn about the consequences of different designs on the
  103.   useability and performance of multiprocessors.
  104.   Unfortunately, each decision we make precludes us from exploring its
  105.   alternatives.  This is unfortunate, but probably inevitable for hardware.
  106.   Perhaps, however, it is not inevitable for the software....
  107.   and especially for the facilities provided by the operating system.
  108.  
  109. %A William A. Wulf
  110. %A Roy Levin
  111. %A Samuel P. Harbison
  112. %T HYDRA/C.mmp: An Experimental Computer System
  113. %I McGraw-Hill
  114. %D 1981
  115. %K grecommended91, CMU, C.mmp, HYDRA OS,
  116. multiprocessor architecture and operating systems
  117. %K bsatya, book, text,
  118. %K enm, ag,
  119. %X A detailed description of the philosophy, design, and implementation of
  120. Hydra, similar in a sense to Organick's monograph on Multics. Highly
  121.  
  122.  
  123. Quoting Georg von\ Bekesy
  124.  . . . AS I see it the difference between successful and unsuccessful
  125. research is basically a problem of asking the right question.  I can
  126. distinguish the following types of questions:
  127.     1. The unimportant question
  128.     2. The premature question
  129.     3. The strategic question
  130.     4. The stimulating question
  131.     5. The embarrassing question (the kind asked at meetings)
  132.     6. The pseudo-question (often a consequence of a different
  133.     definition or a different approach)
  134. As a beginner I wanted to find a strategic question, but was unable to
  135. do so.
  136. Pierce (and Bekesy) likes stimulating questions:
  137. they motivate you to do something.
  138.  
  139. %A Willem A van\ Bergeijk
  140. %A John R. Pierce
  141. %A Edward E. David, Jr.
  142. %T Waves and the Ear
  143. %I Double Day
  144. %C Garden City, New York
  145. %D 1960
  146.  
  147.   Every science begins with the observation of striking events like
  148. thunderstorms or fevers, and soon establishes rough connections between
  149. them and other events, such as hot weather or infection.
  150. The next stage is a stage of exact observation and measurement, and it is
  151. often very difficult to know what we should measure in order to best
  152. explain the events we are investigating.
  153. In the case of both thunderstorms and fevers the clue came from measuring
  154. the lengths of mercury columns in glass tubes, but what prophet could
  155. have predicted this?
  156. Then comes a stage of innumerable graphs and tables of figures, the dispair
  157. of the student, the laughing-stock of the man in the street.
  158. And out of this intellectual mess there sudden crystallizes a new and easily
  159. grasped idea, the idea of a cyclone of an electron, a bacillus or an
  160. antitoxin, and everybody wonders why it had not been thought of before.
  161.  
  162. %A J.B.S. Haldane
  163. %T The Future of Biology
  164. %B oN BEinG THE rIGht SiZe and other Essays
  165. %O Oxford Univ. Press
  166. %C Oxford, England
  167. %D 1985
  168. %X Also good for "What 'Hot' means" (terminology) and pseudo science essays.
  169.  
  170.                    ^ A  
  171.                 s / \ r                
  172.                m /   \ c              
  173.               h /     \ h            
  174.              t /       \ i          
  175.             i /         \ t        
  176.            r /           \ e      
  177.           o /             \ c    
  178.          g /               \ t  
  179.         l /                 \ u
  180.        A /                   \ r
  181.         <_____________________> e   
  182.                 Language
  183.