home *** CD-ROM | disk | FTP | other *** search
/ PC World 2002 July & August / PCWorld_2002-07-08_cd.bin / Komunik / MySQL / mysql / data1.cab / Development / bench / Readme < prev    next >
Text File  |  2002-02-21  |  4KB  |  98 lines
  1. The MySQL Benchmarks
  2.  
  3. These tests needs a MySQL version of at least 3.20.28 or 3.21.10.
  4. NOTE: With MySQL 3.20.# you have to use '--skip-in',  because MySQL 3.20
  5. doesn't support the IN operator.
  6.  
  7. Currently the following servers are supported:
  8. MySQL 3.20 and 3.21, PostgreSQL 6.#, mSQL 2.# and Solid Server 2.2
  9.  
  10. In this directory are the queries and raw data files used to populate
  11. the MySQL benchmarks. In order to run the benchmarks you should normally
  12. execute a command like the following:
  13.  
  14. run-all-tests --server=mysql --cmp=mysql,pg,solid --user=test --password=test --log
  15.  
  16. The above means that one wants to run the benchmark with MySQL. The limits
  17. should be taken from all of mysql,PostgreSQL and Solid.  Login name and
  18. password is 'test'.  The result should be saved as a RUN file in the output
  19. directory.
  20.  
  21. When the above script has run you will have the individual results and the
  22. the total RUN- file in the output directory.
  23.  
  24. If you want to look at some old results, try:
  25.  
  26. compare-results --dir=Results --cmp=mysql,pg,solid
  27. compare-results --dir=Results --cmp=mysql,pg,solid --relative
  28.  
  29. compare-results --dir=Results --cmp=msql,mysql,pg,solid
  30. compare-results --dir=Results --cmp=msql,mysql,pg,solid --relative
  31.  
  32. compare-results --dir=results --server=mysql --same-server --cmp=mysql,pg,solid
  33.  
  34.  
  35. File            Description
  36.  
  37. Data/ATIS        Contains data for 29 related tables used in the ATIS tests.
  38. Data/Wisconsin        Contains data for the Wisconsin benchmark.
  39. Results            Contains old benchmark results.
  40. Makefile.am        Automake Makefile
  41. Overview-paper        A paper nicked from the net about database bench-
  42.             marking.
  43. README            This file.
  44. test-ATIS.sh        Cretation of 29 tables and a lot of selects on them.
  45. test-connect.sh        Test how fast a connection to the server is.
  46. test-create.sh        Test how fast a table is created.
  47. test-insert.sh        Test create and fill of a table.
  48. test-wisconsin.sh    This is a port of the PostgreSQL version of this
  49.             benchmark.
  50. run-all-test        Use this to run all tests. When all test are run,
  51.             use the --log --use-old option to get a RUN-file.
  52. compare-results        Makes a compare table from different RUN files.
  53. server-cfg        Contains the limit and functions for all supported
  54.             SQL servers.  If you want to add a new server, this
  55.             should be the only file that neads to be changed.
  56.  
  57.  
  58. Most of the test should use portable SQL to make it possible to
  59. compare different databases. Sometimes SQL extensions can make things
  60. a lot faster. In this case the test may use the extensions if the --fast
  61. option is used.
  62.  
  63. Useful options to all test-scripts (and run-all-tests):
  64.  
  65. --host=#    Hostname for MySQL server (default: localhost)
  66. --db=#        Database to use (default: test)
  67. --fast        Allow use of any non-standard SQL extension to
  68.         do the get things done faster.
  69. --skip-in    Don't do test with the IN operation (if the SQL server
  70.         hasn't implemented this, for example mSQL and MySQL 3.20).
  71. --lock-tables    Use table locking to get more speed.
  72.  
  73. From a text at http://www.mgt.ncu.edu.tw/CSIM/Paper/sixth/11.html
  74.  
  75. The Wisconsin Benchmark
  76.  
  77. The Wisconsin Benchmark described in [Bitton, DeWitt, and Turbyfill
  78. 1983] [Boral and DeWitt 1984] [Bitton and Turbyfill 1985] [Bitton and
  79. Turbyfill 1988], and [DeWitt 1993] is the first effort to
  80. systematically measure and compare the performance of relational
  81. database systems with database machines.  The benchmark is a
  82. single-user and single-factor experiment using a synthetic database
  83. and a controlled workload.  It measures the query optimization
  84. performance of database systems with 32 query types to exe cise the
  85. components of the proposed systems.  The query suites include
  86. selection, join, projection, aggregate, and simple update queries.
  87.  
  88. The test database consists of four generic relations.  The tenk
  89. relation is the key table and most used. Two data types of small
  90. integer number and character string are utilized.  Data values are
  91. uniformly distributed. The primary metric is the query elapsed
  92. time. The main criticisms of the benchmark include the nature of
  93. single-user workload, the simplistic database structure, and the
  94. unrealistic query tests.  A number of efforts have been made to extend
  95. the benchmark to incorporate the multi-user test.  However, they do
  96. not receive the same acceptance as the original Wisconsin benchmark
  97. except an extension work called the AS3AP benchmark.
  98.