home *** CD-ROM | disk | FTP | other *** search
/ PC World 2005 June / PCWorld_2005-06_cd.bin / software / vyzkuste / firewally / firewally.exe / framework-2.3.exe / perlopentut.pod < prev    next >
Text File  |  2003-11-07  |  37KB  |  953 lines
  1. =head1 NAME
  2.  
  3. perlopentut - tutorial on opening things in Perl
  4.  
  5. =head1 DESCRIPTION
  6.  
  7. Perl has two simple, built-in ways to open files: the shell way for
  8. convenience, and the C way for precision.  The shell way also has 2- and
  9. 3-argument forms, which have different semantics for handling the filename.
  10. The choice is yours.
  11.  
  12. =head1 Open E<agrave> la shell
  13.  
  14. Perl's C<open> function was designed to mimic the way command-line
  15. redirection in the shell works.  Here are some basic examples
  16. from the shell:
  17.  
  18.     $ myprogram file1 file2 file3
  19.     $ myprogram    <  inputfile
  20.     $ myprogram    >  outputfile
  21.     $ myprogram    >> outputfile
  22.     $ myprogram    |  otherprogram 
  23.     $ otherprogram |  myprogram
  24.  
  25. And here are some more advanced examples:
  26.  
  27.     $ otherprogram      | myprogram f1 - f2
  28.     $ otherprogram 2>&1 | myprogram -
  29.     $ myprogram     <&3
  30.     $ myprogram     >&4
  31.  
  32. Programmers accustomed to constructs like those above can take comfort
  33. in learning that Perl directly supports these familiar constructs using
  34. virtually the same syntax as the shell.
  35.  
  36. =head2 Simple Opens
  37.  
  38. The C<open> function takes two arguments: the first is a filehandle,
  39. and the second is a single string comprising both what to open and how
  40. to open it.  C<open> returns true when it works, and when it fails,
  41. returns a false value and sets the special variable C<$!> to reflect
  42. the system error.  If the filehandle was previously opened, it will
  43. be implicitly closed first.
  44.  
  45. For example:
  46.  
  47.     open(INFO,      "datafile") || die("can't open datafile: $!");
  48.     open(INFO,   "<  datafile") || die("can't open datafile: $!");
  49.     open(RESULTS,">  runstats") || die("can't open runstats: $!");
  50.     open(LOG,    ">> logfile ") || die("can't open logfile:  $!");
  51.  
  52. If you prefer the low-punctuation version, you could write that this way:
  53.  
  54.     open INFO,   "<  datafile"  or die "can't open datafile: $!";
  55.     open RESULTS,">  runstats"  or die "can't open runstats: $!";
  56.     open LOG,    ">> logfile "  or die "can't open logfile:  $!";
  57.  
  58. A few things to notice.  First, the leading less-than is optional.
  59. If omitted, Perl assumes that you want to open the file for reading.
  60.  
  61. Note also that the first example uses the C<||> logical operator, and the
  62. second uses C<or>, which has lower precedence.  Using C<||> in the latter
  63. examples would effectively mean
  64.  
  65.     open INFO, ( "<  datafile"  || die "can't open datafile: $!" );
  66.  
  67. which is definitely not what you want.
  68.  
  69. The other important thing to notice is that, just as in the shell,
  70. any white space before or after the filename is ignored.  This is good,
  71. because you wouldn't want these to do different things:
  72.  
  73.     open INFO,   "<datafile"   
  74.     open INFO,   "< datafile" 
  75.     open INFO,   "<  datafile"
  76.  
  77. Ignoring surrounding whitespace also helps for when you read a filename
  78. in from a different file, and forget to trim it before opening:
  79.  
  80.     $filename = <INFO>;         # oops, \n still there
  81.     open(EXTRA, "< $filename") || die "can't open $filename: $!";
  82.  
  83. This is not a bug, but a feature.  Because C<open> mimics the shell in
  84. its style of using redirection arrows to specify how to open the file, it
  85. also does so with respect to extra white space around the filename itself
  86. as well.  For accessing files with naughty names, see 
  87. L<"Dispelling the Dweomer">.
  88.  
  89. There is also a 3-argument version of C<open>, which lets you put the
  90. special redirection characters into their own argument:
  91.  
  92.     open( INFO, ">", $datafile ) || die "Can't create $datafile: $!";
  93.  
  94. In this case, the filename to open is the actual string in C<$datafile>,
  95. so you don't have to worry about C<$datafile> containing characters
  96. that might influence the open mode, or whitespace at the beginning of
  97. the filename that would be absorbed in the 2-argument version.  Also,
  98. any reduction of unnecessary string interpolation is a good thing.
  99.  
  100. =head2 Indirect Filehandles
  101.  
  102. C<open>'s first argument can be a reference to a filehandle.  As of
  103. perl 5.6.0, if the argument is uninitialized, Perl will automatically
  104. create a filehandle and put a reference to it in the first argument,
  105. like so:
  106.  
  107.     open( my $in, $infile )   or die "Couldn't read $infile: $!";
  108.     while ( <$in> ) {
  109.     # do something with $_
  110.     }
  111.     close $in;
  112.  
  113. Indirect filehandles make namespace management easier.  Since filehandles
  114. are global to the current package, two subroutines trying to open
  115. C<INFILE> will clash.  With two functions opening indirect filehandles
  116. like C<my $infile>, there's no clash and no need to worry about future
  117. conflicts.
  118.  
  119. Another convenient behavior is that an indirect filehandle automatically
  120. closes when it goes out of scope or when you undefine it:
  121.  
  122.     sub firstline {
  123.     open( my $in, shift ) && return scalar <$in>;
  124.     # no close() required
  125.     }
  126.  
  127. =head2 Pipe Opens
  128.  
  129. In C, when you want to open a file using the standard I/O library,
  130. you use the C<fopen> function, but when opening a pipe, you use the
  131. C<popen> function.  But in the shell, you just use a different redirection
  132. character.  That's also the case for Perl.  The C<open> call 
  133. remains the same--just its argument differs.  
  134.  
  135. If the leading character is a pipe symbol, C<open> starts up a new
  136. command and opens a write-only filehandle leading into that command.
  137. This lets you write into that handle and have what you write show up on
  138. that command's standard input.  For example:
  139.  
  140.     open(PRINTER, "| lpr -Plp1")    || die "can't run lpr: $!";
  141.     print PRINTER "stuff\n";
  142.     close(PRINTER)                  || die "can't close lpr: $!";
  143.  
  144. If the trailing character is a pipe, you start up a new command and open a
  145. read-only filehandle leading out of that command.  This lets whatever that
  146. command writes to its standard output show up on your handle for reading.
  147. For example:
  148.  
  149.     open(NET, "netstat -i -n |")    || die "can't fork netstat: $!";
  150.     while (<NET>) { }               # do something with input
  151.     close(NET)                      || die "can't close netstat: $!";
  152.  
  153. What happens if you try to open a pipe to or from a non-existent
  154. command?  If possible, Perl will detect the failure and set C<$!> as
  155. usual.  But if the command contains special shell characters, such as
  156. C<E<gt>> or C<*>, called 'metacharacters', Perl does not execute the
  157. command directly.  Instead, Perl runs the shell, which then tries to
  158. run the command.  This means that it's the shell that gets the error
  159. indication.  In such a case, the C<open> call will only indicate
  160. failure if Perl can't even run the shell.  See L<perlfaq8/"How can I
  161. capture STDERR from an external command?"> to see how to cope with
  162. this.  There's also an explanation in L<perlipc>.
  163.  
  164. If you would like to open a bidirectional pipe, the IPC::Open2
  165. library will handle this for you.  Check out 
  166. L<perlipc/"Bidirectional Communication with Another Process">
  167.  
  168. =head2 The Minus File
  169.  
  170. Again following the lead of the standard shell utilities, Perl's
  171. C<open> function treats a file whose name is a single minus, "-", in a
  172. special way.  If you open minus for reading, it really means to access
  173. the standard input.  If you open minus for writing, it really means to
  174. access the standard output.
  175.  
  176. If minus can be used as the default input or default output, what happens
  177. if you open a pipe into or out of minus?  What's the default command it
  178. would run?  The same script as you're currently running!  This is actually
  179. a stealth C<fork> hidden inside an C<open> call.  See 
  180. L<perlipc/"Safe Pipe Opens"> for details.
  181.  
  182. =head2 Mixing Reads and Writes
  183.  
  184. It is possible to specify both read and write access.  All you do is
  185. add a "+" symbol in front of the redirection.  But as in the shell,
  186. using a less-than on a file never creates a new file; it only opens an
  187. existing one.  On the other hand, using a greater-than always clobbers
  188. (truncates to zero length) an existing file, or creates a brand-new one
  189. if there isn't an old one.  Adding a "+" for read-write doesn't affect
  190. whether it only works on existing files or always clobbers existing ones.
  191.  
  192.     open(WTMP, "+< /usr/adm/wtmp") 
  193.         || die "can't open /usr/adm/wtmp: $!";
  194.  
  195.     open(SCREEN, "+> /tmp/lkscreen")
  196.         || die "can't open /tmp/lkscreen: $!";
  197.  
  198.     open(LOGFILE, "+>> /tmp/applog"
  199.         || die "can't open /tmp/applog: $!";
  200.  
  201. The first one won't create a new file, and the second one will always
  202. clobber an old one.  The third one will create a new file if necessary
  203. and not clobber an old one, and it will allow you to read at any point
  204. in the file, but all writes will always go to the end.  In short,
  205. the first case is substantially more common than the second and third
  206. cases, which are almost always wrong.  (If you know C, the plus in
  207. Perl's C<open> is historically derived from the one in C's fopen(3S),
  208. which it ultimately calls.)
  209.  
  210. In fact, when it comes to updating a file, unless you're working on
  211. a binary file as in the WTMP case above, you probably don't want to
  212. use this approach for updating.  Instead, Perl's B<-i> flag comes to
  213. the rescue.  The following command takes all the C, C++, or yacc source
  214. or header files and changes all their foo's to bar's, leaving
  215. the old version in the original filename with a ".orig" tacked
  216. on the end:
  217.  
  218.     $ perl -i.orig -pe 's/\bfoo\b/bar/g' *.[Cchy]
  219.  
  220. This is a short cut for some renaming games that are really
  221. the best way to update textfiles.  See the second question in 
  222. L<perlfaq5> for more details.
  223.  
  224. =head2 Filters 
  225.  
  226. One of the most common uses for C<open> is one you never
  227. even notice.  When you process the ARGV filehandle using
  228. C<< <ARGV> >>, Perl actually does an implicit open 
  229. on each file in @ARGV.  Thus a program called like this:
  230.  
  231.     $ myprogram file1 file2 file3
  232.  
  233. Can have all its files opened and processed one at a time
  234. using a construct no more complex than:
  235.  
  236.     while (<>) {
  237.         # do something with $_
  238.     } 
  239.  
  240. If @ARGV is empty when the loop first begins, Perl pretends you've opened
  241. up minus, that is, the standard input.  In fact, $ARGV, the currently
  242. open file during C<< <ARGV> >> processing, is even set to "-"
  243. in these circumstances.
  244.  
  245. You are welcome to pre-process your @ARGV before starting the loop to
  246. make sure it's to your liking.  One reason to do this might be to remove
  247. command options beginning with a minus.  While you can always roll the
  248. simple ones by hand, the Getopts modules are good for this:
  249.  
  250.     use Getopt::Std;
  251.  
  252.     # -v, -D, -o ARG, sets $opt_v, $opt_D, $opt_o
  253.     getopts("vDo:");            
  254.  
  255.     # -v, -D, -o ARG, sets $args{v}, $args{D}, $args{o}
  256.     getopts("vDo:", \%args);    
  257.  
  258. Or the standard Getopt::Long module to permit named arguments:
  259.  
  260.     use Getopt::Long;
  261.     GetOptions( "verbose"  => \$verbose,        # --verbose
  262.                 "Debug"    => \$debug,          # --Debug
  263.                 "output=s" => \$output );       
  264.         # --output=somestring or --output somestring
  265.  
  266. Another reason for preprocessing arguments is to make an empty
  267. argument list default to all files:
  268.  
  269.     @ARGV = glob("*") unless @ARGV;
  270.  
  271. You could even filter out all but plain, text files.  This is a bit
  272. silent, of course, and you might prefer to mention them on the way.
  273.  
  274.     @ARGV = grep { -f && -T } @ARGV;
  275.  
  276. If you're using the B<-n> or B<-p> command-line options, you
  277. should put changes to @ARGV in a C<BEGIN{}> block.
  278.  
  279. Remember that a normal C<open> has special properties, in that it might
  280. call fopen(3S) or it might called popen(3S), depending on what its
  281. argument looks like; that's why it's sometimes called "magic open".
  282. Here's an example:
  283.  
  284.     $pwdinfo = `domainname` =~ /^(\(none\))?$/
  285.                     ? '< /etc/passwd'
  286.                     : 'ypcat passwd |';
  287.  
  288.     open(PWD, $pwdinfo)                 
  289.                 or die "can't open $pwdinfo: $!";
  290.  
  291. This sort of thing also comes into play in filter processing.  Because
  292. C<< <ARGV> >> processing employs the normal, shell-style Perl C<open>,
  293. it respects all the special things we've already seen:
  294.  
  295.     $ myprogram f1 "cmd1|" - f2 "cmd2|" f3 < tmpfile
  296.  
  297. That program will read from the file F<f1>, the process F<cmd1>, standard
  298. input (F<tmpfile> in this case), the F<f2> file, the F<cmd2> command,
  299. and finally the F<f3> file.
  300.  
  301. Yes, this also means that if you have files named "-" (and so on) in
  302. your directory, they won't be processed as literal files by C<open>.
  303. You'll need to pass them as "./-", much as you would for the I<rm> program,
  304. or you could use C<sysopen> as described below.
  305.  
  306. One of the more interesting applications is to change files of a certain
  307. name into pipes.  For example, to autoprocess gzipped or compressed
  308. files by decompressing them with I<gzip>:
  309.  
  310.     @ARGV = map { /^\.(gz|Z)$/ ? "gzip -dc $_ |" : $_  } @ARGV;
  311.  
  312. Or, if you have the I<GET> program installed from LWP,
  313. you can fetch URLs before processing them:
  314.  
  315.     @ARGV = map { m#^\w+://# ? "GET $_ |" : $_ } @ARGV;
  316.  
  317. It's not for nothing that this is called magic C<< <ARGV> >>.
  318. Pretty nifty, eh?
  319.  
  320. =head1 Open E<agrave> la C
  321.  
  322. If you want the convenience of the shell, then Perl's C<open> is
  323. definitely the way to go.  On the other hand, if you want finer precision
  324. than C's simplistic fopen(3S) provides you should look to Perl's
  325. C<sysopen>, which is a direct hook into the open(2) system call.
  326. That does mean it's a bit more involved, but that's the price of 
  327. precision.
  328.  
  329. C<sysopen> takes 3 (or 4) arguments.
  330.  
  331.     sysopen HANDLE, PATH, FLAGS, [MASK]
  332.  
  333. The HANDLE argument is a filehandle just as with C<open>.  The PATH is
  334. a literal path, one that doesn't pay attention to any greater-thans or
  335. less-thans or pipes or minuses, nor ignore white space.  If it's there,
  336. it's part of the path.  The FLAGS argument contains one or more values
  337. derived from the Fcntl module that have been or'd together using the
  338. bitwise "|" operator.  The final argument, the MASK, is optional; if
  339. present, it is combined with the user's current umask for the creation
  340. mode of the file.  You should usually omit this.
  341.  
  342. Although the traditional values of read-only, write-only, and read-write
  343. are 0, 1, and 2 respectively, this is known not to hold true on some
  344. systems.  Instead, it's best to load in the appropriate constants first
  345. from the Fcntl module, which supplies the following standard flags:
  346.  
  347.     O_RDONLY            Read only
  348.     O_WRONLY            Write only
  349.     O_RDWR              Read and write
  350.     O_CREAT             Create the file if it doesn't exist
  351.     O_EXCL              Fail if the file already exists
  352.     O_APPEND            Append to the file
  353.     O_TRUNC             Truncate the file
  354.     O_NONBLOCK          Non-blocking access
  355.  
  356. Less common flags that are sometimes available on some operating
  357. systems include C<O_BINARY>, C<O_TEXT>, C<O_SHLOCK>, C<O_EXLOCK>,
  358. C<O_DEFER>, C<O_SYNC>, C<O_ASYNC>, C<O_DSYNC>, C<O_RSYNC>,
  359. C<O_NOCTTY>, C<O_NDELAY> and C<O_LARGEFILE>.  Consult your open(2)
  360. manpage or its local equivalent for details.  (Note: starting from
  361. Perl release 5.6 the C<O_LARGEFILE> flag, if available, is automatically
  362. added to the sysopen() flags because large files are the default.)
  363.  
  364. Here's how to use C<sysopen> to emulate the simple C<open> calls we had
  365. before.  We'll omit the C<|| die $!> checks for clarity, but make sure
  366. you always check the return values in real code.  These aren't quite
  367. the same, since C<open> will trim leading and trailing white space,
  368. but you'll get the idea.
  369.  
  370. To open a file for reading:
  371.  
  372.     open(FH, "< $path");
  373.     sysopen(FH, $path, O_RDONLY);
  374.  
  375. To open a file for writing, creating a new file if needed or else truncating
  376. an old file:
  377.  
  378.     open(FH, "> $path");
  379.     sysopen(FH, $path, O_WRONLY | O_TRUNC | O_CREAT);
  380.  
  381. To open a file for appending, creating one if necessary:
  382.  
  383.     open(FH, ">> $path");
  384.     sysopen(FH, $path, O_WRONLY | O_APPEND | O_CREAT);
  385.  
  386. To open a file for update, where the file must already exist:
  387.  
  388.     open(FH, "+< $path");
  389.     sysopen(FH, $path, O_RDWR);
  390.  
  391. And here are things you can do with C<sysopen> that you cannot do with
  392. a regular C<open>.  As you'll see, it's just a matter of controlling the
  393. flags in the third argument.
  394.  
  395. To open a file for writing, creating a new file which must not previously
  396. exist:
  397.  
  398.     sysopen(FH, $path, O_WRONLY | O_EXCL | O_CREAT);
  399.  
  400. To open a file for appending, where that file must already exist:
  401.  
  402.     sysopen(FH, $path, O_WRONLY | O_APPEND);
  403.  
  404. To open a file for update, creating a new file if necessary:
  405.  
  406.     sysopen(FH, $path, O_RDWR | O_CREAT);
  407.  
  408. To open a file for update, where that file must not already exist:
  409.  
  410.     sysopen(FH, $path, O_RDWR | O_EXCL | O_CREAT);
  411.  
  412. To open a file without blocking, creating one if necessary:
  413.  
  414.     sysopen(FH, $path, O_WRONLY | O_NONBLOCK | O_CREAT);
  415.  
  416. =head2 Permissions E<agrave> la mode
  417.  
  418. If you omit the MASK argument to C<sysopen>, Perl uses the octal value
  419. 0666.  The normal MASK to use for executables and directories should
  420. be 0777, and for anything else, 0666.
  421.  
  422. Why so permissive?  Well, it isn't really.  The MASK will be modified
  423. by your process's current C<umask>.  A umask is a number representing
  424. I<disabled> permissions bits; that is, bits that will not be turned on
  425. in the created files' permissions field.
  426.  
  427. For example, if your C<umask> were 027, then the 020 part would
  428. disable the group from writing, and the 007 part would disable others
  429. from reading, writing, or executing.  Under these conditions, passing
  430. C<sysopen> 0666 would create a file with mode 0640, since C<0666 & ~027>
  431. is 0640.
  432.  
  433. You should seldom use the MASK argument to C<sysopen()>.  That takes
  434. away the user's freedom to choose what permission new files will have.
  435. Denying choice is almost always a bad thing.  One exception would be for
  436. cases where sensitive or private data is being stored, such as with mail
  437. folders, cookie files, and internal temporary files.
  438.  
  439. =head1 Obscure Open Tricks
  440.  
  441. =head2 Re-Opening Files (dups)
  442.  
  443. Sometimes you already have a filehandle open, and want to make another
  444. handle that's a duplicate of the first one.  In the shell, we place an
  445. ampersand in front of a file descriptor number when doing redirections.
  446. For example, C<< 2>&1 >> makes descriptor 2 (that's STDERR in Perl)
  447. be redirected into descriptor 1 (which is usually Perl's STDOUT).
  448. The same is essentially true in Perl: a filename that begins with an
  449. ampersand is treated instead as a file descriptor if a number, or as a
  450. filehandle if a string.
  451.  
  452.     open(SAVEOUT, ">&SAVEERR") || die "couldn't dup SAVEERR: $!";
  453.     open(MHCONTEXT, "<&4")     || die "couldn't dup fd4: $!";
  454.  
  455. That means that if a function is expecting a filename, but you don't
  456. want to give it a filename because you already have the file open, you
  457. can just pass the filehandle with a leading ampersand.  It's best to
  458. use a fully qualified handle though, just in case the function happens
  459. to be in a different package:
  460.  
  461.     somefunction("&main::LOGFILE");
  462.  
  463. This way if somefunction() is planning on opening its argument, it can
  464. just use the already opened handle.  This differs from passing a handle,
  465. because with a handle, you don't open the file.  Here you have something
  466. you can pass to open.
  467.  
  468. If you have one of those tricky, newfangled I/O objects that the C++
  469. folks are raving about, then this doesn't work because those aren't a
  470. proper filehandle in the native Perl sense.  You'll have to use fileno()
  471. to pull out the proper descriptor number, assuming you can:
  472.  
  473.     use IO::Socket;
  474.     $handle = IO::Socket::INET->new("www.perl.com:80");
  475.     $fd = $handle->fileno;
  476.     somefunction("&$fd");  # not an indirect function call
  477.  
  478. It can be easier (and certainly will be faster) just to use real
  479. filehandles though:
  480.  
  481.     use IO::Socket;
  482.     local *REMOTE = IO::Socket::INET->new("www.perl.com:80");
  483.     die "can't connect" unless defined(fileno(REMOTE));
  484.     somefunction("&main::REMOTE");
  485.  
  486. If the filehandle or descriptor number is preceded not just with a simple
  487. "&" but rather with a "&=" combination, then Perl will not create a
  488. completely new descriptor opened to the same place using the dup(2)
  489. system call.  Instead, it will just make something of an alias to the
  490. existing one using the fdopen(3S) library call  This is slightly more
  491. parsimonious of systems resources, although this is less a concern
  492. these days.  Here's an example of that:
  493.  
  494.     $fd = $ENV{"MHCONTEXTFD"};
  495.     open(MHCONTEXT, "<&=$fd")   or die "couldn't fdopen $fd: $!";
  496.  
  497. If you're using magic C<< <ARGV> >>, you could even pass in as a
  498. command line argument in @ARGV something like C<"<&=$MHCONTEXTFD">,
  499. but we've never seen anyone actually do this.
  500.  
  501. =head2 Dispelling the Dweomer
  502.  
  503. Perl is more of a DWIMmer language than something like Java--where DWIM
  504. is an acronym for "do what I mean".  But this principle sometimes leads
  505. to more hidden magic than one knows what to do with.  In this way, Perl
  506. is also filled with I<dweomer>, an obscure word meaning an enchantment.
  507. Sometimes, Perl's DWIMmer is just too much like dweomer for comfort.
  508.  
  509. If magic C<open> is a bit too magical for you, you don't have to turn
  510. to C<sysopen>.  To open a file with arbitrary weird characters in
  511. it, it's necessary to protect any leading and trailing whitespace.
  512. Leading whitespace is protected by inserting a C<"./"> in front of a
  513. filename that starts with whitespace.  Trailing whitespace is protected
  514. by appending an ASCII NUL byte (C<"\0">) at the end of the string.
  515.  
  516.     $file =~ s#^(\s)#./$1#;
  517.     open(FH, "< $file\0")   || die "can't open $file: $!";
  518.  
  519. This assumes, of course, that your system considers dot the current
  520. working directory, slash the directory separator, and disallows ASCII
  521. NULs within a valid filename.  Most systems follow these conventions,
  522. including all POSIX systems as well as proprietary Microsoft systems.
  523. The only vaguely popular system that doesn't work this way is the
  524. proprietary Macintosh system, which uses a colon where the rest of us
  525. use a slash.  Maybe C<sysopen> isn't such a bad idea after all.
  526.  
  527. If you want to use C<< <ARGV> >> processing in a totally boring
  528. and non-magical way, you could do this first:
  529.  
  530.     #   "Sam sat on the ground and put his head in his hands.  
  531.     #   'I wish I had never come here, and I don't want to see 
  532.     #   no more magic,' he said, and fell silent."
  533.     for (@ARGV) { 
  534.         s#^([^./])#./$1#;
  535.         $_ .= "\0";
  536.     } 
  537.     while (<>) {  
  538.         # now process $_
  539.     } 
  540.  
  541. But be warned that users will not appreciate being unable to use "-"
  542. to mean standard input, per the standard convention.
  543.  
  544. =head2 Paths as Opens
  545.  
  546. You've probably noticed how Perl's C<warn> and C<die> functions can
  547. produce messages like:
  548.  
  549.     Some warning at scriptname line 29, <FH> line 7.
  550.  
  551. That's because you opened a filehandle FH, and had read in seven records
  552. from it.  But what was the name of the file, rather than the handle?
  553.  
  554. If you aren't running with C<strict refs>, or if you've turned them off
  555. temporarily, then all you have to do is this:
  556.  
  557.     open($path, "< $path") || die "can't open $path: $!";
  558.     while (<$path>) {
  559.         # whatever
  560.     } 
  561.  
  562. Since you're using the pathname of the file as its handle,
  563. you'll get warnings more like
  564.  
  565.     Some warning at scriptname line 29, </etc/motd> line 7.
  566.  
  567. =head2 Single Argument Open
  568.  
  569. Remember how we said that Perl's open took two arguments?  That was a
  570. passive prevarication.  You see, it can also take just one argument.
  571. If and only if the variable is a global variable, not a lexical, you
  572. can pass C<open> just one argument, the filehandle, and it will 
  573. get the path from the global scalar variable of the same name.
  574.  
  575.     $FILE = "/etc/motd";
  576.     open FILE or die "can't open $FILE: $!";
  577.     while (<FILE>) {
  578.         # whatever
  579.     } 
  580.  
  581. Why is this here?  Someone has to cater to the hysterical porpoises.
  582. It's something that's been in Perl since the very beginning, if not
  583. before.
  584.  
  585. =head2 Playing with STDIN and STDOUT
  586.  
  587. One clever move with STDOUT is to explicitly close it when you're done
  588. with the program.
  589.  
  590.     END { close(STDOUT) || die "can't close stdout: $!" }
  591.  
  592. If you don't do this, and your program fills up the disk partition due
  593. to a command line redirection, it won't report the error exit with a
  594. failure status.
  595.  
  596. You don't have to accept the STDIN and STDOUT you were given.  You are
  597. welcome to reopen them if you'd like.
  598.  
  599.     open(STDIN, "< datafile")
  600.     || die "can't open datafile: $!";
  601.  
  602.     open(STDOUT, "> output")
  603.     || die "can't open output: $!";
  604.  
  605. And then these can be accessed directly or passed on to subprocesses.
  606. This makes it look as though the program were initially invoked
  607. with those redirections from the command line.
  608.  
  609. It's probably more interesting to connect these to pipes.  For example:
  610.  
  611.     $pager = $ENV{PAGER} || "(less || more)";
  612.     open(STDOUT, "| $pager")
  613.     || die "can't fork a pager: $!";
  614.  
  615. This makes it appear as though your program were called with its stdout
  616. already piped into your pager.  You can also use this kind of thing
  617. in conjunction with an implicit fork to yourself.  You might do this
  618. if you would rather handle the post processing in your own program,
  619. just in a different process:
  620.  
  621.     head(100);
  622.     while (<>) {
  623.         print;
  624.     } 
  625.  
  626.     sub head {
  627.         my $lines = shift || 20;
  628.         return if $pid = open(STDOUT, "|-");       # return if parent
  629.         die "cannot fork: $!" unless defined $pid;
  630.         while (<STDIN>) {
  631.             last if --$lines < 0;
  632.             print;
  633.         } 
  634.         exit;
  635.     } 
  636.  
  637. This technique can be applied to repeatedly push as many filters on your
  638. output stream as you wish.
  639.  
  640. =head1 Other I/O Issues
  641.  
  642. These topics aren't really arguments related to C<open> or C<sysopen>,
  643. but they do affect what you do with your open files.
  644.  
  645. =head2 Opening Non-File Files
  646.  
  647. When is a file not a file?  Well, you could say when it exists but
  648. isn't a plain file.   We'll check whether it's a symbolic link first,
  649. just in case.
  650.  
  651.     if (-l $file || ! -f _) {
  652.         print "$file is not a plain file\n";
  653.     } 
  654.  
  655. What other kinds of files are there than, well, files?  Directories,
  656. symbolic links, named pipes, Unix-domain sockets, and block and character
  657. devices.  Those are all files, too--just not I<plain> files.  This isn't
  658. the same issue as being a text file. Not all text files are plain files.
  659. Not all plain files are text files.  That's why there are separate C<-f>
  660. and C<-T> file tests.
  661.  
  662. To open a directory, you should use the C<opendir> function, then
  663. process it with C<readdir>, carefully restoring the directory 
  664. name if necessary:
  665.  
  666.     opendir(DIR, $dirname) or die "can't opendir $dirname: $!";
  667.     while (defined($file = readdir(DIR))) {
  668.         # do something with "$dirname/$file"
  669.     }
  670.     closedir(DIR);
  671.  
  672. If you want to process directories recursively, it's better to use the
  673. File::Find module.  For example, this prints out all files recursively
  674. and adds a slash to their names if the file is a directory.
  675.  
  676.     @ARGV = qw(.) unless @ARGV;
  677.     use File::Find;
  678.     find sub { print $File::Find::name, -d && '/', "\n" }, @ARGV;
  679.  
  680. This finds all bogus symbolic links beneath a particular directory:
  681.  
  682.     find sub { print "$File::Find::name\n" if -l && !-e }, $dir;
  683.  
  684. As you see, with symbolic links, you can just pretend that it is
  685. what it points to.  Or, if you want to know I<what> it points to, then
  686. C<readlink> is called for:
  687.  
  688.     if (-l $file) {
  689.         if (defined($whither = readlink($file))) {
  690.             print "$file points to $whither\n";
  691.         } else {
  692.             print "$file points nowhere: $!\n";
  693.         } 
  694.     } 
  695.  
  696. =head2 Opening Named Pipes
  697.  
  698. Named pipes are a different matter.  You pretend they're regular files,
  699. but their opens will normally block until there is both a reader and
  700. a writer.  You can read more about them in L<perlipc/"Named Pipes">.
  701. Unix-domain sockets are rather different beasts as well; they're
  702. described in L<perlipc/"Unix-Domain TCP Clients and Servers">.
  703.  
  704. When it comes to opening devices, it can be easy and it can be tricky.
  705. We'll assume that if you're opening up a block device, you know what
  706. you're doing.  The character devices are more interesting.  These are
  707. typically used for modems, mice, and some kinds of printers.  This is
  708. described in L<perlfaq8/"How do I read and write the serial port?">
  709. It's often enough to open them carefully:
  710.  
  711.     sysopen(TTYIN, "/dev/ttyS1", O_RDWR | O_NDELAY | O_NOCTTY)
  712.         # (O_NOCTTY no longer needed on POSIX systems)
  713.         or die "can't open /dev/ttyS1: $!";
  714.     open(TTYOUT, "+>&TTYIN")
  715.         or die "can't dup TTYIN: $!";
  716.  
  717.     $ofh = select(TTYOUT); $| = 1; select($ofh);
  718.  
  719.     print TTYOUT "+++at\015";
  720.     $answer = <TTYIN>;
  721.  
  722. With descriptors that you haven't opened using C<sysopen>, such as
  723. sockets, you can set them to be non-blocking using C<fcntl>:
  724.  
  725.     use Fcntl;
  726.     fcntl(Connection, F_SETFL, O_NONBLOCK) 
  727.         or die "can't set non blocking: $!";
  728.  
  729. Rather than losing yourself in a morass of twisting, turning C<ioctl>s,
  730. all dissimilar, if you're going to manipulate ttys, it's best to
  731. make calls out to the stty(1) program if you have it, or else use the
  732. portable POSIX interface.  To figure this all out, you'll need to read the
  733. termios(3) manpage, which describes the POSIX interface to tty devices,
  734. and then L<POSIX>, which describes Perl's interface to POSIX.  There are
  735. also some high-level modules on CPAN that can help you with these games.
  736. Check out Term::ReadKey and Term::ReadLine.
  737.  
  738. =head2 Opening Sockets
  739.  
  740. What else can you open?  To open a connection using sockets, you won't use
  741. one of Perl's two open functions.  See 
  742. L<perlipc/"Sockets: Client/Server Communication"> for that.  Here's an 
  743. example.  Once you have it, you can use FH as a bidirectional filehandle.
  744.  
  745.     use IO::Socket;
  746.     local *FH = IO::Socket::INET->new("www.perl.com:80");
  747.  
  748. For opening up a URL, the LWP modules from CPAN are just what
  749. the doctor ordered.  There's no filehandle interface, but
  750. it's still easy to get the contents of a document:
  751.  
  752.     use LWP::Simple;
  753.     $doc = get('http://www.linpro.no/lwp/');
  754.  
  755. =head2 Binary Files
  756.  
  757. On certain legacy systems with what could charitably be called terminally
  758. convoluted (some would say broken) I/O models, a file isn't a file--at
  759. least, not with respect to the C standard I/O library.  On these old
  760. systems whose libraries (but not kernels) distinguish between text and
  761. binary streams, to get files to behave properly you'll have to bend over
  762. backwards to avoid nasty problems.  On such infelicitous systems, sockets
  763. and pipes are already opened in binary mode, and there is currently no
  764. way to turn that off.  With files, you have more options.
  765.  
  766. Another option is to use the C<binmode> function on the appropriate
  767. handles before doing regular I/O on them:
  768.  
  769.     binmode(STDIN);
  770.     binmode(STDOUT);
  771.     while (<STDIN>) { print } 
  772.  
  773. Passing C<sysopen> a non-standard flag option will also open the file in
  774. binary mode on those systems that support it.  This is the equivalent of
  775. opening the file normally, then calling C<binmode> on the handle.
  776.  
  777.     sysopen(BINDAT, "records.data", O_RDWR | O_BINARY)
  778.         || die "can't open records.data: $!";
  779.  
  780. Now you can use C<read> and C<print> on that handle without worrying
  781. about the non-standard system I/O library breaking your data.  It's not
  782. a pretty picture, but then, legacy systems seldom are.  CP/M will be
  783. with us until the end of days, and after.
  784.  
  785. On systems with exotic I/O systems, it turns out that, astonishingly
  786. enough, even unbuffered I/O using C<sysread> and C<syswrite> might do
  787. sneaky data mutilation behind your back.
  788.  
  789.     while (sysread(WHENCE, $buf, 1024)) {
  790.         syswrite(WHITHER, $buf, length($buf));
  791.     } 
  792.  
  793. Depending on the vicissitudes of your runtime system, even these calls
  794. may need C<binmode> or C<O_BINARY> first.  Systems known to be free of
  795. such difficulties include Unix, the Mac OS, Plan 9, and Inferno.
  796.  
  797. =head2 File Locking
  798.  
  799. In a multitasking environment, you may need to be careful not to collide
  800. with other processes who want to do I/O on the same files as you
  801. are working on.  You'll often need shared or exclusive locks
  802. on files for reading and writing respectively.  You might just
  803. pretend that only exclusive locks exist.
  804.  
  805. Never use the existence of a file C<-e $file> as a locking indication,
  806. because there is a race condition between the test for the existence of
  807. the file and its creation.  It's possible for another process to create
  808. a file in the slice of time between your existence check and your attempt
  809. to create the file.  Atomicity is critical.
  810.  
  811. Perl's most portable locking interface is via the C<flock> function,
  812. whose simplicity is emulated on systems that don't directly support it
  813. such as SysV or Windows.  The underlying semantics may affect how
  814. it all works, so you should learn how C<flock> is implemented on your
  815. system's port of Perl.
  816.  
  817. File locking I<does not> lock out another process that would like to
  818. do I/O.  A file lock only locks out others trying to get a lock, not
  819. processes trying to do I/O.  Because locks are advisory, if one process
  820. uses locking and another doesn't, all bets are off.
  821.  
  822. By default, the C<flock> call will block until a lock is granted.
  823. A request for a shared lock will be granted as soon as there is no
  824. exclusive locker.  A request for an exclusive lock will be granted as
  825. soon as there is no locker of any kind.  Locks are on file descriptors,
  826. not file names.  You can't lock a file until you open it, and you can't
  827. hold on to a lock once the file has been closed.
  828.  
  829. Here's how to get a blocking shared lock on a file, typically used
  830. for reading:
  831.  
  832.     use 5.004;
  833.     use Fcntl qw(:DEFAULT :flock);
  834.     open(FH, "< filename")  or die "can't open filename: $!";
  835.     flock(FH, LOCK_SH)         or die "can't lock filename: $!";
  836.     # now read from FH
  837.  
  838. You can get a non-blocking lock by using C<LOCK_NB>.
  839.  
  840.     flock(FH, LOCK_SH | LOCK_NB)
  841.         or die "can't lock filename: $!";
  842.  
  843. This can be useful for producing more user-friendly behaviour by warning
  844. if you're going to be blocking:
  845.  
  846.     use 5.004;
  847.     use Fcntl qw(:DEFAULT :flock);
  848.     open(FH, "< filename")  or die "can't open filename: $!";
  849.     unless (flock(FH, LOCK_SH | LOCK_NB)) {
  850.     $| = 1;
  851.     print "Waiting for lock...";
  852.     flock(FH, LOCK_SH)  or die "can't lock filename: $!";
  853.     print "got it.\n"
  854.     } 
  855.     # now read from FH
  856.  
  857. To get an exclusive lock, typically used for writing, you have to be
  858. careful.  We C<sysopen> the file so it can be locked before it gets
  859. emptied.  You can get a nonblocking version using C<LOCK_EX | LOCK_NB>.
  860.  
  861.     use 5.004;
  862.     use Fcntl qw(:DEFAULT :flock);
  863.     sysopen(FH, "filename", O_WRONLY | O_CREAT)
  864.         or die "can't open filename: $!";
  865.     flock(FH, LOCK_EX)
  866.         or die "can't lock filename: $!";
  867.     truncate(FH, 0)
  868.         or die "can't truncate filename: $!";
  869.     # now write to FH
  870.  
  871. Finally, due to the uncounted millions who cannot be dissuaded from
  872. wasting cycles on useless vanity devices called hit counters, here's
  873. how to increment a number in a file safely:
  874.  
  875.     use Fcntl qw(:DEFAULT :flock);
  876.  
  877.     sysopen(FH, "numfile", O_RDWR | O_CREAT)
  878.         or die "can't open numfile: $!";
  879.     # autoflush FH
  880.     $ofh = select(FH); $| = 1; select ($ofh);
  881.     flock(FH, LOCK_EX)
  882.         or die "can't write-lock numfile: $!";
  883.  
  884.     $num = <FH> || 0;
  885.     seek(FH, 0, 0)
  886.         or die "can't rewind numfile : $!";
  887.     print FH $num+1, "\n"
  888.         or die "can't write numfile: $!";
  889.  
  890.     truncate(FH, tell(FH))
  891.         or die "can't truncate numfile: $!";
  892.     close(FH)
  893.         or die "can't close numfile: $!";
  894.  
  895. =head2 IO Layers
  896.  
  897. In Perl 5.8.0 a new I/O framework called "PerlIO" was introduced.
  898. This is a new "plumbing" for all the I/O happening in Perl; for the
  899. most part everything will work just as it did, but PerlIO also brought
  900. in some new features such as the ability to think of I/O as "layers".
  901. One I/O layer may in addition to just moving the data also do
  902. transformations on the data.  Such transformations may include
  903. compression and decompression, encryption and decryption, and transforming
  904. between various character encodings.
  905.  
  906. Full discussion about the features of PerlIO is out of scope for this
  907. tutorial, but here is how to recognize the layers being used:
  908.  
  909. =over 4
  910.  
  911. =item *
  912.  
  913. The three-(or more)-argument form of C<open> is being used and the
  914. second argument contains something else in addition to the usual
  915. C<< '<' >>, C<< '>' >>, C<< '>>' >>, C<< '|' >> and their variants,
  916. for example:
  917.  
  918.     open(my $fh, "<:utf8", $fn);
  919.  
  920. =item *
  921.  
  922. The two-argument form of C<binmode> is being used, for example
  923.  
  924.     binmode($fh, ":encoding(utf16)");
  925.  
  926. =back
  927.  
  928. For more detailed discussion about PerlIO see L<PerlIO>;
  929. for more detailed discussion about Unicode and I/O see L<perluniintro>.
  930.  
  931. =head1 SEE ALSO 
  932.  
  933. The C<open> and C<sysopen> functions in perlfunc(1);
  934. the system open(2), dup(2), fopen(3), and fdopen(3) manpages;
  935. the POSIX documentation.
  936.  
  937. =head1 AUTHOR and COPYRIGHT
  938.  
  939. Copyright 1998 Tom Christiansen.  
  940.  
  941. This documentation is free; you can redistribute it and/or modify it
  942. under the same terms as Perl itself.
  943.  
  944. Irrespective of its distribution, all code examples in these files are
  945. hereby placed into the public domain.  You are permitted and
  946. encouraged to use this code in your own programs for fun or for profit
  947. as you see fit.  A simple comment in the code giving credit would be
  948. courteous but is not required.
  949.  
  950. =head1 HISTORY
  951.  
  952. First release: Sat Jan  9 08:09:11 MST 1999
  953.