home *** CD-ROM | disk | FTP | other *** search
/ Chip 2000 May / Chip_2000-05_cd1.bin / zkuste / Perl / ActivePerl-5.6.0.613.msi / 䆊䌷䈹䈙䏵-䞅䞆䞀㡆䞃䄦䠥 / _7005de16aa3cb2e5445e44d4580ec072 < prev    next >
Text File  |  2000-03-15  |  12KB  |  442 lines
  1. package HTML::Parser;
  2.  
  3. # Author address: <gisle@aas.no>
  4.  
  5. use strict;
  6. use HTML::Entities ();
  7.  
  8. use vars qw($VERSION);
  9. $VERSION = "2.23";  # $Date: 1999/06/09 10:27:16 $
  10.  
  11.  
  12. sub new
  13. {
  14.     my $class = shift;
  15.     my $self = bless { '_buf'            => '',
  16.                '_strict_comment' => 0,
  17.              }, $class;
  18.     $self;
  19. }
  20.  
  21.  
  22. # A little note about the observed Netscape behaviour:
  23. #
  24. # It parse <xmp> in the depreceated 'literal' mode, i.e. no tags are
  25. # recognized until a </xmp> is found.
  26. # 
  27. # <listing> is parsed like <pre>, i.e. tags are recognized.  <listing>
  28. # are presentend in smaller font than <pre>
  29. #
  30. # Netscape does not parse this comment correctly (it terminates the comment
  31. # too early):
  32. #
  33. #    <! -- comment -- --> more comment -->
  34. #
  35. # Netscape ignores '<!--' and '-->' within the <SCRIPT> and <STYLE> tag.
  36. # This is used as a trick to make non-script-aware browsers ignore
  37. # the scripts.
  38.  
  39.  
  40. sub parse
  41. {
  42.     my $self = shift;
  43.     my $buf = \ $self->{'_buf'};
  44.     unless (defined $_[0]) {
  45.     # signals EOF (assume rest is plain text)
  46.     $self->text($$buf) if length $$buf;
  47.     $$buf = '';
  48.     return $self;
  49.     }
  50.     $$buf .= $_[0];
  51.     my $netscape_comment = !$self->{'_strict_comment'};
  52.  
  53.     # Parse html text in $$buf.  The strategy is to remove complete
  54.     # tokens from the beginning of $$buf until we can't deside whether
  55.     # it is a token or not, or the $$buf is empty.
  56.  
  57.   TOKEN:
  58.     while (1) {
  59.  
  60.     # First we try to pull off any plain text (anything before a "<" char)
  61.     if ($$buf =~ s|^([^<]+)||) {
  62.         if (length $$buf) {
  63.         $self->text($1);
  64.         } else {
  65.         my $text = $1;
  66.         # At the end of the buffer, we should not parse white space
  67.         # but leave it for parsing on the next round.
  68.         if ($text =~ s|(\s+)$||) {
  69.             $$buf = $1;
  70.                 # Same treatment for chopped up entites and words.
  71.         # We must wait until we have it all.
  72.         } elsif ($text =~ s|(\s*\S+)$||) {
  73.             $$buf = $1;
  74.         };
  75.         $self->text($text) if length $text;
  76.         last TOKEN;
  77.         }
  78.  
  79.     # Netscapes buggy comments are easy to handle
  80.     } elsif ($netscape_comment && $$buf =~ m|^<!\s*--|) {
  81.         if ($$buf =~ s|^<!\s*--(.*?)--\s*>||s) {
  82.         $self->comment($1);
  83.         } else {
  84.         last TOKEN;  # must wait until we see the end of it
  85.         }
  86.  
  87.     # Then, markup declarations (usually either <!DOCTYPE...> or a comment)
  88.     } elsif ($$buf =~ s|^(<!)||) {
  89.         my $eaten = $1;
  90.         my $text = '';
  91.         my @com = ();  # keeps comments until we have seen the end
  92.         # Eat text and beginning of comment
  93.         while ($$buf =~ s|^(([^>]*?)--)||) {
  94.         $eaten .= $1;
  95.         $text .= $2;
  96.         # Look for end of comment
  97.         if ($$buf =~ s|^((.*?)--)||s) {
  98.             $eaten .= $1;
  99.             push(@com, $2);
  100.         } else {
  101.             # Need more data to get all comment text.
  102.             $$buf = $eaten . $$buf;
  103.             last TOKEN;
  104.         }
  105.         }
  106.         # Can we finish the tag
  107.         if ($$buf =~ s|^([^>]*)>||) {
  108.         $text .= $1;
  109.         $self->declaration($text) if $text =~ /\S/;
  110.         # then tell about all the comments we found
  111.         for (@com) { $self->comment($_); }
  112.         } else {
  113.         $$buf = $eaten . $$buf;  # must start with it all next time
  114.         last TOKEN;
  115.         }
  116.  
  117.         # Should we look for 'processing instructions' <? ...> ??
  118.     #} elsif ($$buf =~ s|<\?||) {
  119.         # ...
  120.  
  121.     # Then, look for a end tag
  122.     } elsif ($$buf =~ s|^</||) {
  123.         # end tag
  124.         if ($$buf =~ s|^([a-zA-Z][a-zA-Z0-9\.\-]*)(\s*>)||) {
  125.         $self->end(lc($1), "</$1$2");
  126.         } elsif ($$buf =~ m|^[a-zA-Z]*[a-zA-Z0-9\.\-]*\s*$|) {
  127.         $$buf = "</" . $$buf;  # need more data to be sure
  128.         last TOKEN;
  129.         } else {
  130.         # it is plain text after all
  131.         $self->text("</");
  132.         }
  133.  
  134.     # Then, finally we look for a start tag
  135.     } elsif ($$buf =~ s|^(<([a-zA-Z]+)>)||) {
  136.         # special case plain start tags for slight speed-up (2.5%)
  137.         $self->start(lc($2), {}, [], $1);
  138.  
  139.     } elsif ($$buf =~ s|^<||) {
  140.         # start tag
  141.         my $eaten = '<';
  142.  
  143.         # This first thing we must find is a tag name.  RFC1866 says:
  144.         #   A name consists of a letter followed by letters,
  145.         #   digits, periods, or hyphens. The length of a name is
  146.         #   limited to 72 characters by the `NAMELEN' parameter in
  147.         #   the SGML declaration for HTML, 9.5, "SGML Declaration
  148.         #   for HTML".  In a start-tag, the element name must
  149.         #   immediately follow the tag open delimiter `<'.
  150.         if ($$buf =~ s|^(([a-zA-Z][a-zA-Z0-9\.\-]*)\s*)||) {
  151.         $eaten .= $1;
  152.         my $tag = lc $2;
  153.         my %attr;
  154.         my @attrseq;
  155.  
  156.         # Then we would like to find some attributes
  157.                 #
  158.                 # Arrgh!! Since stupid Netscape violates RCF1866 by
  159.                 # using "_" in attribute names (like "ADD_DATE") of
  160.                 # their bookmarks.html, we allow this too.
  161.         while ($$buf =~ s|^(([a-zA-Z][a-zA-Z0-9\.\-_]*)\s*)||) {
  162.             $eaten .= $1;
  163.             my $attr = lc $2;
  164.             my $val;
  165.             # The attribute might take an optional value (first we
  166.             # check for an unquoted value)
  167.             if ($$buf =~ s|(^=\s*([^\"\'>\s][^>\s]*)\s*)||) {
  168.             $eaten .= $1;
  169.             $val = $2;
  170.             HTML::Entities::decode($val);
  171.             # or quoted by " or '
  172.             } elsif ($$buf =~ s|(^=\s*([\"\'])(.*?)\2\s*)||s) {
  173.             $eaten .= $1;
  174.             $val = $3;
  175.             HTML::Entities::decode($val);
  176.                     # truncated just after the '=' or inside the attribute
  177.             } elsif ($$buf =~ m|^(=\s*)$| or
  178.                  $$buf =~ m|^(=\s*[\"\'].*)|s) {
  179.             $$buf = "$eaten$1";
  180.             last TOKEN;
  181.             } else {
  182.             # assume attribute with implicit value
  183.             $val = $attr;
  184.             }
  185.             $attr{$attr} = $val;
  186.             push(@attrseq, $attr);
  187.         }
  188.  
  189.         # At the end there should be a closing ">"
  190.         if ($$buf =~ s|^>||) {
  191.             $self->start($tag, \%attr, \@attrseq, "$eaten>");
  192.         } elsif (length $$buf) {
  193.             # Not a conforming start tag, regard it as normal text
  194.             $self->text($eaten);
  195.         } else {
  196.             $$buf = $eaten;  # need more data to know
  197.             last TOKEN;
  198.         }
  199.  
  200.         } elsif (length $$buf) {
  201.         $self->text($eaten);
  202.         } else {
  203.         $$buf = $eaten . $$buf;  # need more data to parse
  204.         last TOKEN;
  205.         }
  206.  
  207.     } else {
  208.         #die if length($$buf);  # This should never happen
  209.         last TOKEN;         # The buffer should be empty now
  210.     }
  211.     }
  212.  
  213.     $self;
  214. }
  215.  
  216.  
  217. sub eof
  218. {
  219.     shift->parse(undef);
  220. }
  221.  
  222.  
  223. sub parse_file
  224. {
  225.     my($self, $file) = @_;
  226.     no strict 'refs';  # so that a symbol ref as $file works
  227.     local(*F);
  228.     unless (ref($file) || $file =~ /^\*[\w:]+$/) {
  229.     # Assume $file is a filename
  230.     open(F, $file) || die "Can't open $file: $!";
  231.     $file = \*F;
  232.     }
  233.     my $chunk = '';
  234.     while(read($file, $chunk, 512)) {
  235.     $self->parse($chunk);
  236.     }
  237.     close($file);
  238.     $self->eof;
  239. }
  240.  
  241.  
  242. sub strict_comment
  243. {
  244.     my $self = shift;
  245.     my $old = $self->{'_strict_comment'};
  246.     $self->{'_strict_comment'} = shift if @_;
  247.     return $old;
  248. }
  249.  
  250.  
  251. sub netscape_buggy_comment  # legacy
  252. {
  253.     my $self = shift;
  254.     my $old = !$self->strict_comment;
  255.     $self->strict_comment(!shift) if @_;
  256.     return $old;
  257. }
  258.  
  259.  
  260. sub text
  261. {
  262.     # my($self, $text) = @_;
  263. }
  264.  
  265. sub declaration
  266. {
  267.     # my($self, $decl) = @_;
  268. }
  269.  
  270. sub comment
  271. {
  272.     # my($self, $comment) = @_;
  273. }
  274.  
  275. sub start
  276. {
  277.     # my($self, $tag, $attr, $attrseq, $origtext) = @_;
  278.     # $attr is reference to a HASH, $attrseq is reference to an ARRAY
  279. }
  280.  
  281. sub end
  282. {
  283.     # my($self, $tag, $origtext) = @_;
  284. }
  285.  
  286. 1;
  287.  
  288.  
  289. __END__
  290.  
  291.  
  292. =head1 NAME
  293.  
  294. HTML::Parser - SGML parser class
  295.  
  296. =head1 SYNOPSIS
  297.  
  298.  require HTML::Parser;
  299.  $p = HTML::Parser->new;  # should really a be subclass
  300.  $p->parse($chunk1);
  301.  $p->parse($chunk2);
  302.  #...
  303.  $p->eof;                 # signal end of document
  304.  
  305.  # Parse directly from file
  306.  $p->parse_file("foo.html");
  307.  # or
  308.  open(F, "foo.html") || die;
  309.  $p->parse_file(\*F);
  310.  
  311. =head1 DESCRIPTION
  312.  
  313. The C<HTML::Parser> will tokenize an HTML document when the parse()
  314. method is called by invoking various callback methods.  The document to
  315. be parsed can be supplied in arbitrary chunks.
  316.  
  317. The external interface the an I<HTML::Parser> is:
  318.  
  319. =over 4
  320.  
  321. =item $p = HTML::Parser->new
  322.  
  323. The object constructor takes no arguments.
  324.  
  325. =item $p->parse( $string );
  326.  
  327. Parse the $string as an HTML document.  Can be called multiple times.
  328. The return value is a reference to the parser object.
  329.  
  330. =item $p->eof
  331.  
  332. Signals end of document.  Call eof() to flush any remaining buffered
  333. text.  The return value is a reference to the parser object.
  334.  
  335. =item $p->parse_file( $file );
  336.  
  337. This method can be called to parse text from a file.  The argument can
  338. be a filename or an already opened file handle. The return value from
  339. parse_file() is a reference to the parser object.
  340.  
  341. =item $p->strict_comment( [$bool] )
  342.  
  343. By default we parse comments similar to how the popular browsers (like
  344. Netscape and MSIE) do it.  This means that comments will always be
  345. terminated by the first occurrence of "-->".  This is not correct
  346. according to the "official" HTML standards.  The official behaviour
  347. can be enabled by calling the strict_comment() method with a TRUE
  348. argument.
  349.  
  350. The return value from strict_comment() is the old attribute value.
  351.  
  352. =back
  353.  
  354.  
  355.  
  356. In order to make the parser do anything interesting, you must make a
  357. subclass where you override one or more of the following methods as
  358. appropriate:
  359.  
  360. =over 4
  361.  
  362. =item $self->declaration($decl)
  363.  
  364. This method is called when a I<markup declaration> has been
  365. recognized.  For typical HTML documents, the only declaration you are
  366. likely to find is <!DOCTYPE ...>.  The initial "<!" and ending ">" is
  367. not part of the string passed as argument.  Comments are removed and
  368. entities will B<not> be expanded.
  369.  
  370. =item $self->start($tag, $attr, $attrseq, $origtext)
  371.  
  372. This method is called when a complete start tag has been recognized.
  373. The first argument is the tag name (in lower case) and the second
  374. argument is a reference to a hash that contain all attributes found
  375. within the start tag.  The attribute keys are converted to lower case.
  376. Entities found in the attribute values are already expanded.  The
  377. third argument is a reference to an array with the lower case
  378. attribute keys in the original order.  The fourth argument is the
  379. original HTML text.
  380.  
  381.  
  382. =item $self->end($tag, $origtext)
  383.  
  384. This method is called when an end tag has been recognized.  The
  385. first argument is the lower case tag name, the second the original
  386. HTML text of the tag.
  387.  
  388. =item $self->text($text)
  389.  
  390. This method is called when plain text in the document is recognized.
  391. The text is passed on unmodified and might contain multiple lines.
  392. Note that for efficiency reasons entities in the text are B<not>
  393. expanded.  You should call HTML::Entities::decode($text) before you
  394. process the text any further.
  395.  
  396. A sequence of text in the HTML document can be broken between several
  397. invocations of $self->text.  The parser will make sure that it does
  398. not break a word or a sequence of spaces between two invocations of
  399. $self->text().
  400.  
  401. =item $self->comment($comment)
  402.  
  403. This method is called as comments are recognized.  The leading and
  404. trailing "--" sequences have been stripped off the comment text.
  405.  
  406. =back
  407.  
  408. The default implementation of these methods do nothing, i.e., the
  409. tokens are just ignored.
  410.  
  411. There is really nothing in the basic parser that is HTML specific, so
  412. it is likely that the parser can parse other kinds of SGML documents.
  413. SGML has many obscure features (not implemented by this module) that
  414. prevent us from renaming this module as C<SGML::Parser>.
  415.  
  416. =head1 EFFICIENCY
  417.  
  418. The parser is fairly inefficient if the chunks passed to $p->parse()
  419. are too big.  The reason is probably that perl ends up with a lot of
  420. character copying when tokens are removed from the beginning of the
  421. strings.  A chunk size of about 256-512 bytes was optimal in a test I
  422. made with some real world HTML documents.  (The parser was about 3
  423. times slower with a chunk size of 20K).
  424.  
  425. =head1 SEE ALSO
  426.  
  427. L<HTML::Entities>, L<HTML::TokeParser>, L<HTML::Filter>,
  428. L<HTML::HeadParser>, L<HTML::LinkExtor>
  429.  
  430. L<HTML::TreeBuilder> (part of the I<HTML-Tree> distribution)
  431.  
  432. =head1 COPYRIGHT
  433.  
  434. Copyright 1996-1999 Gisle Aas. All rights reserved.
  435.  
  436. This library is free software; you can redistribute it and/or
  437. modify it under the same terms as Perl itself.
  438.  
  439. =cut
  440.  
  441.  
  442.