home *** CD-ROM | disk | FTP | other *** search
/ Programmer's ROM - The Computer Language Library / programmersrom.iso / ada / test / bench.doc < prev    next >
Encoding:
Text File  |  1988-05-03  |  7.1 KB  |  218 lines
  1. ,print 106
  2. type 86 86 86 86
  3. ,end
  4.  
  5.  
  6.                              USERS MANUAL
  7.                              version 1.0
  8.  
  9.  
  10.                                  for
  11.  
  12.  
  13.                         BENCHMARKING COMPILERS
  14.  
  15.  
  16.  
  17.  
  18.  
  19.                                   by
  20.                    Doris Sayon and Bonnie Burkhardt
  21.  
  22.  
  23.  
  24.  
  25.  
  26.  
  27.  
  28.  
  29.  
  30.                              May 9, 1985
  31.  
  32.  
  33.  
  34.  
  35.  
  36.  
  37.  
  38.  
  39.  
  40.                            Western Division
  41.                      GTE Government Systems Group
  42.                           100 Ferguson Drive
  43.                        Mountain View, CA  94039
  44.  
  45.  
  46.  
  47.  
  48.                                    CONTENT
  49.  
  50.         1       INTRODUCTION . . . . . . . . . . . . . . . . . . . . 3
  51.         2       WHETSTONE BENCHMARK  . . . . . . . . . . . . . . . . 3
  52.         2.1       Description: . . . . . . . . . . . . . . . . . . . 3
  53.         2.2       Usage Instructions:  . . . . . . . . . . . . . . . 3
  54.         3       DHRYSTONE BENCHMARK  . . . . . . . . . . . . . . . . 5
  55.         3.1       Description: . . . . . . . . . . . . . . . . . . . 5
  56.         3.2       Usage Instructions:  . . . . . . . . . . . . . . . 5
  57.                                                                 Page 3
  58.  
  59.  
  60. 1  INTRODUCTION
  61.  
  62.      The suite of tests were gathered and developed at GTE  Government
  63. Systems  to  provide  a benchmarking capability to determine which ADA
  64. compiler would be suitable to be used for our needs.  As a measurement
  65. of  the  efficiency of the compiler, the Whetstone test was written in
  66. FORTRAN, 'C', and Pascal as well as ADA to give a relative measurement
  67. across languages as well as compilers.
  68.  
  69.  
  70.  
  71. 2  WHETSTONE BENCHMARK
  72.  
  73. 2.1  Description:
  74.  
  75.      The first program in the suite is the Whetstone benchmark,  which
  76. measures  processor  speed.   Included in the Whetstone data generated
  77. from the test is some information gathered from package  SYSTEM  which
  78. tells of the environment in which the test is taking place.
  79.  
  80.      In order to compare  the  processor  speed  with/without  a  math
  81. library  and with/without a full set of checks, four variations of the
  82. Whetstone program were created.  These versions were called A,  B,  C,
  83. and  D.   The  files  are  also  labelled  according  to  the version,
  84. Whetadaa, Whetadab, Whetadac, and Whetadad.  The versions are  defined
  85. as follows:
  86.  
  87.      A    stubbed math library, no checks
  88.      B    stubbed math library, full checks
  89.      C    full math library, no checks
  90.      D    full math library, full checks
  91.  
  92.  
  93.  
  94.  
  95. 2.2  Usage Instructions:
  96.  
  97.      In order to use the Whetstone benchmark, you must first create  a
  98. file  called  ENVIRON.INF  in  the  directory  in  which the Whetstone
  99. program will be running.  The information in ENVIRON.INF  will  be  of
  100. the following format:
  101.  
  102.   Machine:      xyz
  103.   Op. Sys:      4.xxx
  104.   Physical Mem:  yy
  105.  
  106.   Compiler Tested:   compiler 1.o of xyz company
  107.  
  108. This information will be copied into  the  data  file  which  will  be
  109. created from running the whetstone test.  This will help keep track of
  110. what compiler and machine the test was run on.
  111.  
  112.      If the ENVIRON.INF file does not exist, there will be a message
  113.  
  114.   "Something wrong with the existence of the ENVIRON.INF file"
  115.                                                                 Page 4
  116.  
  117.  
  118.  
  119. written into the file and the tests results will still be recorded.
  120.  
  121.      Compile the files in the following order:
  122.  
  123.      1.  MATHSTUB.ADA should be compiled first because it is a package
  124.          which needs to be resolved in the WHETADA.ADA file
  125.  
  126.      2.  HELPTOOLS.ADA should be compiled next.
  127.  
  128.      3.  WHETADA.ADA (all versions) should be compiled last.
  129.  
  130.  
  131.      After successful compilation of the above packages,  the  program
  132. should  be  ready  to  run.  When the program is run, the results will
  133. appear both on the terminal and in a data file.  The name of the  data
  134. file has following format:
  135.  
  136.      Wnnddhhmm.DAT when
  137.   
  138.        nn: two character sequence which represents the month
  139.      (i.e. ja,fe,mr,ap,my,jn,jl,ag,se,oc,nv,dc)
  140.  
  141.        dd: two number sequence for day (01 thru 31)
  142.  
  143.        hh: two number sequence for hour (00 thru 23)
  144.  
  145.        mm: two number sequence for minutes (00 thru 59)
  146.  
  147.   Example: a test run at 2:47 pm on Jan 8 will have the 
  148.      file name WJA081447.DAT
  149.  
  150. The encoding of  the  date  into  the  name  of  the  file  will  help
  151. distinguish between several runs of the same test.
  152.  
  153.      If compile time and link time is desired,  you  can  compile  and
  154. link the Whetstone programs by executing the command file WHETADA.COM.
  155. This command file displays the current  time  before  and  after  each
  156. compile and link to SYS$OUTPUT (defaulted to the terminal screen.) The
  157. user can then determine the compile and link  time  by  computing  the
  158. time difference between the start and stop of each compile and link.
  159.  
  160.      The Whetstone test can also be used to  compare  execution  speed
  161. and  size  of the executable image when using various compile options,
  162. such  as  OPTIMIZE=TIME,  OPTIMIZE=SPACE,  NOOPTIMIZE.   This  can  be
  163. accomplished  by  compiling  the  Whetstone  program  with the desired
  164. compile option,  linking,  and  executing  the  program  as  described
  165. previously.   The  command  file WHETADA.COM also compiles, links, and
  166. executes all four version of the Whetstone with  3  different  compile
  167. options, OPTIMIZE=TIME, OPTIMIZE=SPACE, NOOPTIMIZE.
  168.  
  169.      Size of the  executable  code  can  be  found  by  executing  the
  170. command:
  171.  
  172.      $DIR/SIZE *.EXE
  173.                                                                 Page 5
  174.  
  175.  
  176.  
  177. The size of the executable  version  will  be  written  to  SYS$OUTPUT
  178. (defaulted  to  the  terminal screen.) The user can then determine the
  179. size of the executable code.
  180.  
  181.      This process is then repeated for the Whetstone test  written  in
  182. the  other languages.  Since there is no way in 'C' to designate which
  183. checks are to be included in the executable code,  the  'C'  Whetstone
  184. only  has  2  versions, A and B.  Version A has a stubbed math library
  185. and Version B has a full math library.
  186.  
  187.  
  188.  
  189. 3  DHRYSTONE BENCHMARK
  190.  
  191. 3.1  Description:
  192.  
  193.      The next program in the suite is the  Dhrystone  benchmark.   The
  194. Dhrystone  benchmark  measures  statement  execution  per  unit  time.
  195. Included in the Dhrystone data which is generated from the test, there
  196. is  also  some information gathered from package SYSTEM which tells of
  197. the environment in which the test is taking place.
  198.  
  199.  
  200.  
  201. 3.2  Usage Instructions:
  202.  
  203.      In order to use the Dhrystone benchmark, you must first make sure
  204. the  HELPTOOLS  package  has been compiled and is in the library to be
  205. referenced for  resolution  of  packages.   Next,  DHRYADA  should  be
  206. compiled after helptools has compiled.
  207.  
  208.      If  the  compilation  was  successful,  execute   the   Dhrystone
  209. benchmark.  The data should appear both on your terminal and in a data
  210. file.
  211.  
  212.      The name of the data file is encoded the same  was  as  the  data
  213. file for the Whetstone data except that the filename starts with a "D"
  214. instead of "W".
  215.  
  216.      The existence of ENVIRON.INF should exist for the same reasons as
  217. expressed in the information above for the Whetstone benchmark.
  218.