home *** CD-ROM | disk | FTP | other *** search
/ PC World 2002 July & August / PCWorld_2002-07-08_cd.bin / Komunik / MySQL / mysql / data1.cab / Development / scripts / mysqlhotcopy.pl < prev    next >
Perl Script  |  2002-02-21  |  22KB  |  812 lines
  1. #!/my/gnu/bin/perl -w
  2.  
  3. use strict;
  4. use Getopt::Long;
  5. use Data::Dumper;
  6. use File::Basename;
  7. use File::Path;
  8. use DBI;
  9.  
  10. =head1 NAME
  11.  
  12. mysqlhotcopy - fast on-line hot-backup utility for local MySQL databases and tables
  13.  
  14. =head1 SYNOPSIS
  15.  
  16.   mysqlhotcopy db_name
  17.  
  18.   mysqlhotcopy --suffix=_copy db_name_1 ... db_name_n
  19.  
  20.   mysqlhotcopy db_name_1 ... db_name_n /path/to/new_directory
  21.  
  22.   mysqlhotcopy db_name./regex/
  23.  
  24.   mysqlhotcopy db_name./^\(foo\|bar\)/
  25.  
  26.   mysqlhotcopy db_name./~regex/
  27.  
  28.   mysqlhotcopy db_name_1./regex_1/ db_name_1./regex_2/ ... db_name_n./regex_n/ /path/to/new_directory
  29.  
  30.   mysqlhotcopy --method='scp -Bq -i /usr/home/foo/.ssh/identity' --user=root --password=secretpassword \
  31.          db_1./^nice_table/ user@some.system.dom:~/path/to/new_directory
  32.  
  33. WARNING: THIS PROGRAM IS STILL IN BETA. Comments/patches welcome.
  34.  
  35. =cut
  36.  
  37. # Documentation continued at end of file
  38.  
  39. my $VERSION = "1.12";
  40.  
  41. my $opt_tmpdir = $ENV{TMPDIR} || "/tmp";
  42.  
  43. my $OPTIONS = <<"_OPTIONS";
  44.  
  45. $0 Ver $VERSION
  46.  
  47. Usage: $0 db_name[./table_regex/] [new_db_name | directory]
  48.  
  49.   -?, --help           display this helpscreen and exit
  50.   -u, --user=#         user for database login if not current user
  51.   -p, --password=#     password to use when connecting to server
  52.   -P, --port=#         port to use when connecting to local server
  53.   -S, --socket=#       socket to use when connecting to local server
  54.  
  55.   --allowold           don\'t abort if target already exists (rename it _old)
  56.   --keepold            don\'t delete previous (now renamed) target when done
  57.   --noindices          don\'t include full index files in copy
  58.   --method=#           method for copy (only "cp" currently supported)
  59.  
  60.   -q, --quiet          be silent except for errors
  61.   --debug              enable debug
  62.   -n, --dryrun         report actions without doing them
  63.  
  64.   --regexp=#           copy all databases with names matching regexp
  65.   --suffix=#           suffix for names of copied databases
  66.   --checkpoint=#       insert checkpoint entry into specified db.table
  67.   --flushlog           flush logs once all tables are locked 
  68.   --resetmaster        reset the binlog once all tables are locked
  69.   --resetslave         reset the master.info once all tables are locked
  70.   --tmpdir=#           temporary directory (instead of $opt_tmpdir)
  71.  
  72.   Try \'perldoc $0 for more complete documentation\'
  73. _OPTIONS
  74.  
  75. sub usage {
  76.     die @_, $OPTIONS;
  77. }
  78.  
  79. my %opt = (
  80.     user    => scalar getpwuid($>),
  81.     noindices    => 0,
  82.     allowold    => 0,    # for safety
  83.     keepold    => 0,
  84.     method    => "cp",
  85.     flushlog    => 0,
  86. );
  87. Getopt::Long::Configure(qw(no_ignore_case)); # disambuguate -p and -P
  88. GetOptions( \%opt,
  89.     "help",
  90.     "user|u=s",
  91.     "password|p=s",
  92.     "port|P=s",
  93.     "socket|S=s",
  94.     "allowold!",
  95.     "keepold!",
  96.     "noindices!",
  97.     "method=s",
  98.     "debug",
  99.     "quiet|q",
  100.     "mv!",
  101.     "regexp=s",
  102.     "suffix=s",
  103.     "checkpoint=s",
  104.     "flushlog",
  105.     "resetmaster",
  106.     "resetslave",
  107.     "tmpdir|t=s",
  108.     "dryrun|n",
  109. ) or usage("Invalid option");
  110.  
  111. # @db_desc
  112. # ==========
  113. # a list of hash-refs containing:
  114. #
  115. #   'src'     - name of the db to copy
  116. #   't_regex' - regex describing tables in src
  117. #   'target'  - destination directory of the copy
  118. #   'tables'  - array-ref to list of tables in the db
  119. #   'files'   - array-ref to list of files to be copied
  120. #
  121.  
  122. my @db_desc = ();
  123. my $tgt_name = undef;
  124.  
  125. usage("") if ($opt{help});
  126.  
  127. if ( $opt{regexp} || $opt{suffix} || @ARGV > 2 ) {
  128.     $tgt_name   = pop @ARGV unless ( exists $opt{suffix} );
  129.     @db_desc = map { s{^([^\.]+)\./(.+)/$}{$1}; { 'src' => $_, 't_regex' => ( $2 ? $2 : '.*' ) } } @ARGV;
  130. }
  131. else {
  132.     usage("Database name to hotcopy not specified") unless ( @ARGV );
  133.  
  134.     $ARGV[0] =~ s{^([^\.]+)\./(.+)/$}{$1};
  135.     @db_desc = ( { 'src' => $ARGV[0], 't_regex' => ( $2 ? $2 : '.*' ) } );
  136.  
  137.     if ( @ARGV == 2 ) {
  138.     $tgt_name   = $ARGV[1];
  139.     }
  140.     else {
  141.     $opt{suffix} = "_copy";
  142.     }
  143. }
  144.  
  145. my %mysqld_vars;
  146. my $start_time = time;
  147. $opt_tmpdir= $opt{tmpdir} if $opt{tmpdir};
  148. $0 = $1 if $0 =~ m:/([^/]+)$:;
  149. $opt{quiet} = 0 if $opt{debug};
  150. $opt{allowold} = 1 if $opt{keepold};
  151.  
  152. # --- connect to the database ---
  153. my $dsn = ";host=localhost";
  154. $dsn .= ";port=$opt{port}" if $opt{port};
  155. $dsn .= ";mysql_socket=$opt{socket}" if $opt{socket};
  156.  
  157. my $dbh = DBI->connect("dbi:mysql:$dsn;mysql_read_default_group=mysqlhotcopy",
  158.                         $opt{user}, $opt{password},
  159. {
  160.     RaiseError => 1,
  161.     PrintError => 0,
  162.     AutoCommit => 1,
  163. });
  164.  
  165. # --- check that checkpoint table exists if specified ---
  166. if ( $opt{checkpoint} ) {
  167.     eval { $dbh->do( qq{ select time_stamp, src, dest, msg 
  168.              from $opt{checkpoint} where 1 != 1} );
  169.        };
  170.  
  171.     die "Error accessing Checkpoint table ($opt{checkpoint}): $@"
  172.       if ( $@ );
  173. }
  174.  
  175. # --- get variables from database ---
  176. my $sth_vars = $dbh->prepare("show variables like 'datadir'");
  177. $sth_vars->execute;
  178. while ( my ($var,$value) = $sth_vars->fetchrow_array ) {
  179.     $mysqld_vars{ $var } = $value;
  180. }
  181. my $datadir = $mysqld_vars{'datadir'}
  182.     || die "datadir not in mysqld variables";
  183. $datadir =~ s:/$::;
  184.  
  185.  
  186. # --- get target path ---
  187. my ($tgt_dirname, $to_other_database);
  188. $to_other_database=0;
  189. if (defined($tgt_name) && $tgt_name =~ m:^\w+$: && @db_desc <= 1)
  190. {
  191.     $tgt_dirname = "$datadir/$tgt_name";
  192.     $to_other_database=1;
  193. }
  194. elsif (defined($tgt_name) && ($tgt_name =~ m:/: || $tgt_name eq '.')) {
  195.     $tgt_dirname = $tgt_name;
  196. }
  197. elsif ( $opt{suffix} ) {
  198.     print "Using copy suffix '$opt{suffix}'\n" unless $opt{quiet};
  199. }
  200. else
  201. {
  202.   $tgt_name="" if (!defined($tgt_name));
  203.   die "Target '$tgt_name' doesn't look like a database name or directory path.\n";
  204. }
  205.  
  206. # --- resolve database names from regexp ---
  207. if ( defined $opt{regexp} ) {
  208.     my $sth_dbs = $dbh->prepare("show databases");
  209.     $sth_dbs->execute;
  210.     while ( my ($db_name) = $sth_dbs->fetchrow_array ) {
  211.     push @db_desc, { 'src' => $db_name } if ( $db_name =~ m/$opt{regexp}/o );
  212.     }
  213. }
  214.  
  215. # --- get list of tables to hotcopy ---
  216.  
  217. my $hc_locks = "";
  218. my $hc_tables = "";
  219. my $num_tables = 0;
  220. my $num_files = 0;
  221.  
  222. foreach my $rdb ( @db_desc ) {
  223.     my $db = $rdb->{src};
  224.     eval { $dbh->do( "use $db" ); };
  225.     die "Database '$db' not accessible: $@"  if ( $@ );
  226.     my @dbh_tables = $dbh->func( '_ListTables' );
  227.  
  228.     ## generate regex for tables/files
  229.     my $t_regex = $rdb->{t_regex};        ## assign temporary regex
  230.     my $negated = $t_regex =~ tr/~//d;    ## remove and count negation operator: we don't allow ~ in table names
  231.     $t_regex = qr/$t_regex/;              ## make regex string from user regex
  232.  
  233.     ## filter (out) tables specified in t_regex
  234.     print "Filtering tables with '$t_regex'\n" if $opt{debug};
  235.     @dbh_tables = ( $negated 
  236.             ? grep { $_ !~ $t_regex } @dbh_tables 
  237.             : grep { $_ =~ $t_regex } @dbh_tables );
  238.  
  239.     ## get list of files to copy
  240.     my $db_dir = "$datadir/$db";
  241.     opendir(DBDIR, $db_dir ) 
  242.       or die "Cannot open dir '$db_dir': $!";
  243.  
  244.     my %db_files;
  245.     map { ( /(.+)\.\w+$/ ? ( $db_files{$_} = $1 ) : () ) } readdir(DBDIR);
  246.     unless( keys %db_files ) {
  247.     warn "'$db' is an empty database\n";
  248.     }
  249.     closedir( DBDIR );
  250.  
  251.     ## filter (out) files specified in t_regex
  252.     my @db_files = ( $negated 
  253.               ? grep { $db_files{$_} !~ $t_regex } keys %db_files
  254.               : grep { $db_files{$_} =~ $t_regex } keys %db_files );
  255.     @db_files = sort @db_files;
  256.     my @index_files=();
  257.  
  258.     ## remove indices unless we're told to keep them
  259.     if ($opt{noindices}) {
  260.         @index_files= grep { /\.(ISM|MYI)$/ } @db_files;
  261.     @db_files = grep { not /\.(ISM|MYI)$/ } @db_files;
  262.     }
  263.  
  264.     $rdb->{files}  = [ @db_files ];
  265.     $rdb->{index}  = [ @index_files ];
  266.     my @hc_tables = map { "$db.$_" } @dbh_tables;
  267.     $rdb->{tables} = [ @hc_tables ];
  268.  
  269.     $hc_locks .= ", "  if ( length $hc_locks && @hc_tables );
  270.     $hc_locks .= join ", ", map { "$_ READ" } @hc_tables;
  271.     $hc_tables .= ", "  if ( length $hc_tables && @hc_tables );
  272.     $hc_tables .= join ", ", @hc_tables;
  273.  
  274.     $num_tables += scalar @hc_tables;
  275.     $num_files  += scalar @{$rdb->{files}};
  276. }
  277.  
  278. # --- resolve targets for copies ---
  279.  
  280. my @targets = ();
  281.  
  282. if (defined($tgt_name) && length $tgt_name ) {
  283.     # explicit destination directory specified
  284.  
  285.     # GNU `cp -r` error message
  286.     die "copying multiple databases, but last argument ($tgt_dirname) is not a directory\n"
  287.       if ( @db_desc > 1 && !(-e $tgt_dirname && -d $tgt_dirname ) );
  288.  
  289.     if ($to_other_database)
  290.     {
  291.       foreach my $rdb ( @db_desc ) {
  292.     $rdb->{target} = "$tgt_dirname";
  293.       }
  294.     }
  295.     elsif ($opt{method} =~ /^scp\b/) 
  296.     {   # we have to trust scp to hit the target
  297.     foreach my $rdb ( @db_desc ) {
  298.         $rdb->{target} = "$tgt_dirname/$rdb->{src}";
  299.     }
  300.     }
  301.     else
  302.     {
  303.       die "Last argument ($tgt_dirname) is not a directory\n"
  304.     if (!(-e $tgt_dirname && -d $tgt_dirname ) );
  305.       foreach my $rdb ( @db_desc ) {
  306.     $rdb->{target} = "$tgt_dirname/$rdb->{src}";
  307.       }
  308.     }
  309.   }
  310. else {
  311.   die "Error: expected \$opt{suffix} to exist" unless ( exists $opt{suffix} );
  312.  
  313.   foreach my $rdb ( @db_desc ) {
  314.     $rdb->{target} = "$datadir/$rdb->{src}$opt{suffix}";
  315.   }
  316. }
  317.  
  318. print Dumper( \@db_desc ) if ( $opt{debug} );
  319.  
  320. # --- bail out if all specified databases are empty ---
  321.  
  322. die "No tables to hot-copy" unless ( length $hc_locks );
  323.  
  324. # --- create target directories if we are using 'cp' ---
  325.  
  326. my @existing = ();
  327.  
  328. if ($opt{method} =~ /^cp\b/)
  329. {
  330.   foreach my $rdb ( @db_desc ) {
  331.     push @existing, $rdb->{target} if ( -d  $rdb->{target} );
  332.   }
  333.  
  334.   if ( @existing && !$opt{allowold} )
  335.   {
  336.     $dbh->disconnect();
  337.     die "Can't hotcopy to '", join( "','", @existing ), "' because directory\nalready exist and the --allowold option was not given.\n"
  338.   }
  339. }
  340.  
  341. retire_directory( @existing ) if ( @existing );
  342.  
  343. foreach my $rdb ( @db_desc ) {
  344.     my $tgt_dirpath = $rdb->{target};
  345.     if ( $opt{dryrun} ) {
  346.     print "mkdir $tgt_dirpath, 0750\n";
  347.     }
  348.     elsif ($opt{method} =~ /^scp\b/) {
  349.     ## assume it's there?
  350.     ## ...
  351.     }
  352.     else {
  353.     mkdir($tgt_dirpath, 0750)
  354.       or die "Can't create '$tgt_dirpath': $!\n";
  355.     }
  356. }
  357.  
  358. ##############################
  359. # --- PERFORM THE HOT-COPY ---
  360. #
  361. # Note that we try to keep the time between the LOCK and the UNLOCK
  362. # as short as possible, and only start when we know that we should
  363. # be able to complete without error.
  364.  
  365. # read lock all the tables we'll be copying
  366. # in order to get a consistent snapshot of the database
  367.  
  368. if ( $opt{checkpoint} ) {
  369.     # convert existing READ lock on checkpoint table into WRITE lock
  370.     unless ( $hc_locks =~ s/$opt{checkpoint}\s+READ/$opt{checkpoint} WRITE/ ) {
  371.     $hc_locks .= ", $opt{checkpoint} WRITE";
  372.     }
  373. }
  374.  
  375. my $hc_started = time;    # count from time lock is granted
  376.  
  377. if ( $opt{dryrun} ) {
  378.     print "LOCK TABLES $hc_locks\n";
  379.     print "FLUSH TABLES /*!32323 $hc_tables */\n";
  380.     print "FLUSH LOGS\n" if ( $opt{flushlog} );
  381.     print "RESET MASTER\n" if ( $opt{resetmaster} );
  382.     print "RESET SLAVE\n" if ( $opt{resetslave} );
  383. }
  384. else {
  385.     my $start = time;
  386.     $dbh->do("LOCK TABLES $hc_locks");
  387.     printf "Locked $num_tables tables in %d seconds.\n", time-$start unless $opt{quiet};
  388.     $hc_started = time;    # count from time lock is granted
  389.  
  390.     # flush tables to make on-disk copy uptodate
  391.     $start = time;
  392.     $dbh->do("FLUSH TABLES /*!32323 $hc_tables */");
  393.     printf "Flushed tables ($hc_tables) in %d seconds.\n", time-$start unless $opt{quiet};
  394.     $dbh->do( "FLUSH LOGS" ) if ( $opt{flushlog} );
  395.     $dbh->do( "RESET MASTER" ) if ( $opt{resetmaster} );
  396.     $dbh->do( "RESET SLAVE" ) if ( $opt{resetslave} );
  397. }
  398.  
  399. my @failed = ();
  400.  
  401. foreach my $rdb ( @db_desc )
  402. {
  403.   my @files = map { "$datadir/$rdb->{src}/$_" } @{$rdb->{files}};
  404.   next unless @files;
  405.   
  406.   eval { copy_files($opt{method}, \@files, $rdb->{target} ); };
  407.   push @failed, "$rdb->{src} -> $rdb->{target} failed: $@"
  408.     if ( $@ );
  409.   
  410.   @files = @{$rdb->{index}};
  411.   if ($rdb->{index})
  412.   {
  413.     copy_index($opt{method}, \@files,
  414.            "$datadir/$rdb->{src}", $rdb->{target} );
  415.   }
  416.   
  417.   if ( $opt{checkpoint} ) {
  418.     my $msg = ( $@ ) ? "Failed: $@" : "Succeeded";
  419.     
  420.     eval {
  421.       $dbh->do( qq{ insert into $opt{checkpoint} (src, dest, msg) 
  422.               VALUES ( '$rdb->{src}', '$rdb->{target}', '$msg' )
  423.             } ); 
  424.     };
  425.     
  426.     if ( $@ ) {
  427.       warn "Failed to update checkpoint table: $@\n";
  428.     }
  429.   }
  430. }
  431.  
  432. if ( $opt{dryrun} ) {
  433.     print "UNLOCK TABLES\n";
  434.     if ( @existing && !$opt{keepold} ) {
  435.     my @oldies = map { $_ . '_old' } @existing;
  436.     print "rm -rf @oldies\n" 
  437.     }
  438.     $dbh->disconnect();
  439.     exit(0);
  440. }
  441. else {
  442.     $dbh->do("UNLOCK TABLES");
  443. }
  444.  
  445. my $hc_dur = time - $hc_started;
  446. printf "Unlocked tables.\n" unless $opt{quiet};
  447.  
  448. #
  449. # --- HOT-COPY COMPLETE ---
  450. ###########################
  451.  
  452. $dbh->disconnect;
  453.  
  454. if ( @failed ) {
  455.     # hotcopy failed - cleanup
  456.     # delete any @targets 
  457.     # rename _old copy back to original
  458.  
  459.     print "Deleting @targets \n" if $opt{debug};
  460.     rmtree([@targets]);
  461.     if (@existing) {
  462.     print "Restoring @existing from back-up\n" if $opt{debug};
  463.         foreach my $dir ( @existing ) {
  464.         rename("${dir}_old", $dir )
  465.           or warn "Can't rename ${dir}_old to $dir: $!\n";
  466.     }
  467.     }
  468.  
  469.     die join( "\n", @failed );
  470. }
  471. else {
  472.     # hotcopy worked
  473.     # delete _old unless $opt{keepold}
  474.  
  475.     if ( @existing && !$opt{keepold} ) {
  476.     my @oldies = map { $_ . '_old' } @existing;
  477.     print "Deleting previous copy in @oldies\n" if $opt{debug};
  478.     rmtree([@oldies]);
  479.     }
  480.  
  481.     printf "$0 copied %d tables (%d files) in %d second%s (%d seconds overall).\n",
  482.         $num_tables, $num_files,
  483.         $hc_dur, ($hc_dur==1)?"":"s", time - $start_time
  484.     unless $opt{quiet};
  485. }
  486.  
  487. exit 0;
  488.  
  489.  
  490. # ---
  491.  
  492. sub copy_files {
  493.     my ($method, $files, $target) = @_;
  494.     my @cmd;
  495.     print "Copying ".@$files." files...\n" unless $opt{quiet};
  496.  
  497.     if ($method =~ /^s?cp\b/) { # cp or scp with optional flags
  498.     @cmd = ($method);
  499.     # add option to preserve mod time etc of copied files
  500.     # not critical, but nice to have
  501.     push @cmd, "-p" if $^O =~ m/^(solaris|linux|freebsd)$/;
  502.  
  503.     # add recursive option for scp
  504.     push @cmd, "-r" if $^O =~ /m^(solaris|linux|freebsd)$/ && $method =~ /^scp\b/;
  505.  
  506.     # add files to copy and the destination directory
  507.     push @cmd, @$files, $target;
  508.     }
  509.     else
  510.     {
  511.     die "Can't use unsupported method '$method'\n";
  512.     }
  513.     safe_system (@cmd);
  514. }
  515.  
  516. #
  517. # Copy only the header of the index file
  518. #
  519.  
  520. sub copy_index
  521. {
  522.   my ($method, $files, $source, $target) = @_;
  523.   my $tmpfile="$opt_tmpdir/mysqlhotcopy$$";
  524.   
  525.   print "Copying indices for ".@$files." files...\n" unless $opt{quiet};  
  526.   foreach my $file (@$files)
  527.   {
  528.     my $from="$source/$file";
  529.     my $to="$target/$file";
  530.     my $buff;
  531.     open(INPUT, "<$from") || die "Can't open file $from: $!\n";
  532.     my $length=read INPUT, $buff, 2048;
  533.     die "Can't read index header from $from\n" if ($length < 1024);
  534.     close INPUT;
  535.     
  536.     if ( $opt{dryrun} )
  537.     {
  538.       print "$opt{method}-header $from $to\n";
  539.     }
  540.     elsif ($opt{method} eq 'cp')
  541.     {
  542.       open(OUTPUT,">$to")   || die "Can\'t create file $to: $!\n";
  543.       if (syswrite(OUTPUT,$buff) != length($buff))
  544.       {
  545.     die "Error when writing data to $to: $!\n";
  546.       }
  547.       close OUTPUT       || die "Error on close of $to: $!\n";
  548.     }
  549.     elsif ($opt{method} eq 'scp')
  550.     {
  551.       my $tmp=$tmpfile;
  552.       open(OUTPUT,">$tmp") || die "Can\'t create file $tmp: $!\n";
  553.       if (syswrite(OUTPUT,$buff) != length($buff))
  554.       {
  555.     die "Error when writing data to $tmp: $!\n";
  556.       }
  557.       close OUTPUT         || die "Error on close of $tmp: $!\n";
  558.       safe_system("scp $tmp $to");
  559.     }
  560.     else
  561.     {
  562.       die "Can't use unsupported method '$opt{method}'\n";
  563.     }
  564.   }
  565.   unlink "$tmpfile" if  ($opt{method} eq 'scp');
  566. }
  567.  
  568.  
  569. sub safe_system
  570. {
  571.   my @cmd= @_;
  572.  
  573.   if ( $opt{dryrun} )
  574.   {
  575.     print "@cmd\n";
  576.     return;
  577.   }
  578.  
  579.   ## for some reason system fails but backticks works ok for scp...
  580.   print "Executing '@cmd'\n" if $opt{debug};
  581.   my $cp_status = system "@cmd > /dev/null";
  582.   if ($cp_status != 0) {
  583.     warn "Burp ('scuse me). Trying backtick execution...\n" if $opt{debug}; #'
  584.     ## try something else
  585.     `@cmd` && die "Error: @cmd failed ($cp_status) while copying files.\n";
  586.   }
  587. }
  588.  
  589.  
  590. sub retire_directory {
  591.     my ( @dir ) = @_;
  592.  
  593.     foreach my $dir ( @dir ) {
  594.     my $tgt_oldpath = $dir . '_old';
  595.     if ( $opt{dryrun} ) {
  596.         print "rmtree $tgt_oldpath\n" if ( -d $tgt_oldpath );
  597.         print "rename $dir, $tgt_oldpath\n";
  598.         next;
  599.     }
  600.  
  601.     if ( -d $tgt_oldpath ) {
  602.         print "Deleting previous 'old' hotcopy directory ('$tgt_oldpath')\n" unless $opt{quiet};
  603.         rmtree([$tgt_oldpath])
  604.     }
  605.     rename($dir, $tgt_oldpath)
  606.       or die "Can't rename $dir=>$tgt_oldpath: $!\n";
  607.     print "Existing hotcopy directory renamed to '$tgt_oldpath'\n" unless $opt{quiet};
  608.     }
  609. }
  610.  
  611. __END__
  612.  
  613. =head1 DESCRIPTION
  614.  
  615. mysqlhotcopy is designed to make stable copies of live MySQL databases.
  616.  
  617. Here "live" means that the database server is running and the database
  618. may be in active use. And "stable" means that the copy will not have
  619. any corruptions that could occur if the table files were simply copied
  620. without first being locked and flushed from within the server.
  621.  
  622. =head1 OPTIONS
  623.  
  624. =over 4
  625.  
  626. =item --checkpoint checkpoint-table
  627.  
  628. As each database is copied, an entry is written to the specified
  629. checkpoint-table.  This has the happy side-effect of updating the
  630. MySQL update-log (if it is switched on) giving a good indication of
  631. where roll-forward should begin for backup+rollforward schemes.
  632.  
  633. The name of the checkpoint table should be supplied in database.table format.
  634. The checkpoint-table must contain at least the following fields:
  635.  
  636. =over 4
  637.  
  638.   time_stamp timestamp not null
  639.   src varchar(32)
  640.   dest varchar(60)
  641.   msg varchar(255)
  642.  
  643. =back
  644.  
  645. =item --suffix suffix
  646.  
  647. Each database is copied back into the originating datadir under
  648. a new name. The new name is the original name with the suffix
  649. appended. 
  650.  
  651. If only a single db_name is supplied and the --suffix flag is not
  652. supplied, then "--suffix=_copy" is assumed.
  653.  
  654. =item --allowold
  655.  
  656. Move any existing version of the destination to a backup directory for
  657. the duration of the copy. If the copy successfully completes, the backup 
  658. directory is deleted - unless the --keepold flag is set.  If the copy fails,
  659. the backup directory is restored.
  660.  
  661. The backup directory name is the original name with "_old" appended.
  662. Any existing versions of the backup directory are deleted.
  663.  
  664. =item --keepold
  665.  
  666. Behaves as for the --allowold, with the additional feature 
  667. of keeping the backup directory after the copy successfully completes.
  668.  
  669. =item --flushlog
  670.  
  671. Rotate the log files by executing "FLUSH LOGS" after all tables are
  672. locked, and before they are copied.
  673.  
  674. =item --resetmaster
  675.  
  676. Reset the bin-log by executing "RESET MASTER" after all tables are
  677. locked, and before they are copied. Usefull if you are recovering a
  678. slave in a replication setup.
  679.  
  680. =item --resetslave
  681.  
  682. Reset the master.info by executing "RESET SLAVE" after all tables are
  683. locked, and before they are copied. Usefull if you are recovering a
  684. server in a mutual replication setup.
  685.  
  686. =item --regexp pattern
  687.  
  688. Copy all databases with names matching the pattern
  689.  
  690. =item db_name./pattern/
  691.  
  692. Copy only tables matching pattern. Shell metacharacters ( (, ), |, !,
  693. etc.) have to be escaped (e.g. \). For example, to select all tables
  694. in database db1 whose names begin with 'foo' or 'bar':
  695.  
  696.     mysqlhotcopy --indices --method=cp db1./^\(foo\|bar\)/
  697.  
  698. =item db_name./~pattern/
  699.  
  700. Copy only tables not matching pattern. For example, to copy tables
  701. that do not begin with foo nor bar:
  702.  
  703.     mysqlhotcopy --indices --method=cp db1./~^\(foo\|bar\)/
  704.  
  705. =item -?, --help
  706.  
  707. Display helpscreen and exit
  708.  
  709. =item -u, --user=#         
  710.  
  711. user for database login if not current user
  712.  
  713. =item -p, --password=#     
  714.  
  715. password to use when connecting to server
  716.  
  717. =item -P, --port=#         
  718.  
  719. port to use when connecting to local server
  720.  
  721. =item -S, --socket=#         
  722.  
  723. UNIX domain socket to use when connecting to local server
  724.  
  725. =item  --noindices          
  726.  
  727. Don\'t include index files in copy. Only up to the first 2048 bytes
  728. are copied;  You can restore the indexes with isamchk -r or myisamchk -r
  729. on the backup.
  730.  
  731. =item  --method=#           
  732.  
  733. method for copy (only "cp" currently supported). Alpha support for
  734. "scp" was added in November 2000. Your experience with the scp method
  735. will vary with your ability to understand how scp works. 'man scp'
  736. and 'man ssh' are your friends.
  737.  
  738. The destination directory _must exist_ on the target machine using the
  739. scp method. --keepold and --allowold are meeningless with scp.
  740. Liberal use of the --debug option will help you figure out what\'s
  741. really going on when you do an scp.
  742.  
  743. Note that using scp will lock your tables for a _long_ time unless
  744. your network connection is _fast_. If this is unacceptable to you,
  745. use the 'cp' method to copy the tables to some temporary area and then
  746. scp or rsync the files at your leisure.
  747.  
  748. =item -q, --quiet              
  749.  
  750. be silent except for errors
  751.  
  752. =item  --debug
  753.  
  754. Debug messages are displayed 
  755.  
  756. =item -n, --dryrun
  757.  
  758. Display commands without actually doing them
  759.  
  760. =back
  761.  
  762. =head1 WARRANTY
  763.  
  764. This software is free and comes without warranty of any kind. You
  765. should never trust backup software without studying the code yourself.
  766. Study the code inside this script and only rely on it if I<you> believe
  767. that it does the right thing for you.
  768.  
  769. Patches adding bug fixes, documentation and new features are welcome.
  770. Please send these to internals@mysql.com.
  771.  
  772. =head1 TO DO
  773.  
  774. Extend the individual table copy to allow multiple subsets of tables
  775. to be specified on the command line:
  776.  
  777.   mysqlhotcopy db newdb  t1 t2 /^foo_/ : t3 /^bar_/ : +
  778.  
  779. where ":" delimits the subsets, the /^foo_/ indicates all tables
  780. with names begining with "foo_" and the "+" indicates all tables
  781. not copied by the previous subsets.
  782.  
  783. newdb is either another not existing database or a full path to a directory
  784. where we can create a directory 'db'
  785.  
  786. Add option to lock each table in turn for people who don\'t need
  787. cross-table integrity.
  788.  
  789. Add option to FLUSH STATUS just before UNLOCK TABLES.
  790.  
  791. Add support for other copy methods (eg tar to single file?).
  792.  
  793. Add support for forthcoming MySQL ``RAID'' table subdirectory layouts.
  794.  
  795. =head1 AUTHOR
  796.  
  797. Tim Bunce
  798.  
  799. Martin Waite - added checkpoint, flushlog, regexp and dryrun options
  800.  
  801. Ralph Corderoy - added synonyms for commands
  802.  
  803. Scott Wiersdorf - added table regex and scp support
  804.  
  805. Monty - working --noindex (copy only first 2048 bytes of index file)
  806.         Fixes for --method=scp
  807.  
  808. Ask Bjoern Hansen - Cleanup code to fix a few bugs and enable -w again.
  809.  
  810. Emil S. Hansen - Added resetslave and resetmaster.
  811.  
  812.