home *** CD-ROM | disk | FTP | other *** search
/ Chip 2001 December / Chip_2001-12_cd1.bin / sharewar / mysql / data1.cab / Development / bench / Readme < prev    next >
Encoding:
Text File  |  2001-11-02  |  4.8 KB  |  109 lines
  1. The MySQL Benchmarks
  2.  
  3. The MySQL benchmarks are trying to time all the different commands one
  4. usually do with a database. The results should give you a good idea how
  5. your application will work speedwise if you decide to switch database.
  6. You can do this by examining the output of compare-results for things that
  7. are critical to your applications.
  8.  
  9. These tests needs a MySQL version of at least 3.22.5
  10. (because of the multi-insert-test)
  11.  
  12. Currently the following servers are supported:
  13.  
  14. Access, Adabas, Empress, Oracle, Informix, DB2, mSQL, MS-SQL, MySQL, Pg, Solid
  15. and Sybase.
  16.  
  17. In this directory are the queries and raw data files used to populate
  18. the MySQL benchmarks. In order to run the benchmarks you should normally
  19. execute a command like the following:
  20.  
  21. run-all-tests --server=msyql --cmp=mysql,pg,solid --user=test --password=test --log
  22.  
  23. The above means that one wants to run the benchmark with MySQL. The limits
  24. should be taken from the mysql,PostgreSQL and Solid databases.  Login name and
  25. password is 'test'.  The result should be saved as a RUN file in the output
  26. directory.
  27.  
  28. When the above script has run you will have the individual results and the
  29. the total RUN- file in the output directory.
  30.  
  31. If you want to look at some old results, try:
  32.  
  33. compare-results --dir=Results --cmp=mysql,pg,solid
  34. compare-results --dir=Results --cmp=mysql,pg,solid --relative
  35.  
  36. compare-results --dir=Results --cmp=msql,mysql,pg,solid
  37. compare-results --dir=Results --cmp=msql,mysql,pg,solid --relative
  38.  
  39. compare-results --dir=results --server=mysql --same-server --cmp=mysql,pg,solid
  40.  
  41.  
  42. File            Description
  43.  
  44. Data/ATIS        Contains data for 29 related tables used in the ATIS tests.
  45. Data/Wisconsin        Contains data for the Wisconsin benchmark.
  46. Results            Contains old benchmark results.
  47. Makefile.am        Automake Makefile
  48. Overview-paper        A paper nicked from the net about database bench-
  49.             marking.
  50. README            This file.
  51. test-ATIS.sh        Cretation of 29 tables and a lot of selects on them.
  52. test-connect.sh        Test how fast a connection to the server is.
  53. test-create.sh        Test how fast a table is created.
  54. test-alter.sh        Test different ALTER TABLE commands
  55. test-insert.sh        Test create, INSERT, DELETE and SELECTS on a
  56.             table with 300,000 rows.  With some databases this
  57.             test is run with 30,000 rows as else this test would
  58.             take practically forever.
  59. test-wisconsin.sh    This is a port of the PostgreSQL version of this
  60.             benchmark.
  61. run-all-test        Use this to run all tests. When all test are run,
  62.             use the --log --use-old option to get a RUN-file.
  63. compare-results        Makes a compare table from different RUN files.
  64. server-cfg        Contains the limit and functions for all supported
  65.             SQL servers.  If you want to add a new server, this
  66.             should be the only file that neads to be changed.
  67.  
  68.  
  69. Most of the test uses portable SQL to make it possible to compare
  70. different databases. Sometimes SQL extensions can make things a lot
  71. faster. In this case the test may use the extensions if the --fast
  72. option is used.
  73.  
  74. Useful options to all test-scripts (and run-all-tests):
  75.  
  76. --host=#    Hostname for MySQL server (default: localhost)
  77. --db=#        Database to use (default: test)
  78. --fast        Allow use of any non-standard SQL extension to
  79.         do the get things done faster.
  80. --skip-in    Don't do test with the IN operation (if the SQL server
  81.         hasn't implemented this, for example mSQL and MySQL 3.20).
  82. --lock-tables    Use table locking to get more speed.
  83.  
  84. From a text at http://www.mgt.ncu.edu.tw/CSIM/Paper/sixth/11.html
  85.  
  86. The Wisconsin Benchmark
  87.  
  88. The Wisconsin Benchmark described in [Bitton, DeWitt, and Turbyfill
  89. 1983] [Boral and DeWitt 1984] [Bitton and Turbyfill 1985] [Bitton and
  90. Turbyfill 1988], and [DeWitt 1993] is the first effort to
  91. systematically measure and compare the performance of relational
  92. database systems with database machines.  The benchmark is a
  93. single-user and single-factor experiment using a synthetic database
  94. and a controlled workload.  It measures the query optimization
  95. performance of database systems with 32 query types to exe cise the
  96. components of the proposed systems.  The query suites include
  97. selection, join, projection, aggregate, and simple update queries.
  98.  
  99. The test database consists of four generic relations.  The tenk
  100. relation is the key table and most used. Two data types of small
  101. integer number and character string are utilized.  Data values are
  102. uniformly distributed. The primary metric is the query elapsed
  103. time. The main criticisms of the benchmark include the nature of
  104. single-user workload, the simplistic database structure, and the
  105. unrealistic query tests.  A number of efforts have been made to extend
  106. the benchmark to incorporate the multi-user test.  However, they do
  107. not receive the same acceptance as the original Wisconsin benchmark
  108. except an extension work called the AS3AP benchmark.
  109.