home *** CD-ROM | disk | FTP | other *** search
/ Collection of Internet / Collection of Internet.iso / faq / news / clarinet / headers < prev    next >
Encoding:
Internet Message Format  |  1993-11-21  |  10.7 KB
  1. Path: senator-bedfellow.mit.edu!bloom-beacon.mit.edu!xlink.net!howland.reston.ans.net!cs.utexas.edu!uunet!looking!brad
  2. Message-ID: <S615.ad9@clarinet.com>
  3. Date: Sun, 21 Nov 93 5:10:15 EST
  4. Expires: Wed, 22 Dec 93 5:10:15 EST
  5. Newsgroups: clari.net.newusers,news.answers
  6. From: brad@clarinet.com (Brad Templeton)
  7. Reply-To: clarinet@clarinet.com
  8. Followup-to: poster
  9. Approved: brad@clarinet.com
  10. Subject: Decoding ClariNet special article headers (Oct/92)
  11. Lines: 262
  12. Xref: senator-bedfellow.mit.edu clari.net.newusers:123 news.answers:14929
  13.  
  14. Archive-name: clarinet/headers
  15.  
  16. ClariNet articles come in the USENET message interchange format.  This is
  17. a variant of the ARPA/Internet electronic mail format.  Exact details on
  18. that format can be found in documents known as RFC822 (Mail format) and
  19. RFC1036 (USENET format) which are stored for anonymous pickup on UUNET and
  20. a variety of other machines.
  21.  
  22. ClariNet articles use the standard USENET headers, plus a variety of
  23. special custom ones.  Here we explain how we use the standard headers and
  24. the meanings of our extensions.
  25.  
  26. Standard headers:
  27.  
  28.     From:
  29.  
  30. The mail address found here will almost always be clarinews@clarinet.com.
  31. The comment, or user's full name, will the the reporter's name.  In some
  32. cases, a title like "Science Reporter" or an affiliation will be added.
  33. In some cases, the From: address is an e-mail address that reaches the
  34. news agency.  In the case of UPI stories, this is not true, and replies
  35. go simply to us.
  36.  
  37.     Subject:
  38.  
  39. In most cases, this is a professional reporter/editor's headline for the story.
  40. In some cases, such as standing (regular) stories -- stock reports, weather,
  41. sports statistics, etc. -- a headline is filled in by ClariNet, possibly 
  42. including the date of the story.
  43.  
  44. UPI headlines are in mixed case.  Some syndicated feature headlines are in
  45. upper case.  Newsbytes headlines come in upper case, but are converted by
  46. ClariNet software to mixed case.
  47.  
  48.     Keywords:
  49.  
  50. On this line, we translate the reporter's story coding along with our own
  51. keywords.  A list of possible regular keywords is available.  All keywords
  52. are human-generated by reporters and editors.  Unfortunately, the coding
  53. system UPI uses is prone to errors.  It's very terse, and a single keystroke
  54. error can create a ridiculous keyword.  With thousands of stories moving
  55. every day, this is frequent enough to be annoying, but infrequent enough to
  56. be easily tolerated.
  57.  
  58.     Newsgroups:
  59.  
  60. Articles are cross posted to a variety of newsgroups based on their coding
  61. and keywords.  In addition, certain regular stories are put in special
  62. newsgroups based on their slugword (see below.)  In general, a story is
  63. crossposted to up to 5 groups, so that those following a topic get every
  64. story related to that topic.  All modern news reading software makes sure
  65. that you never see a crossposted article more than once, no matter how many
  66. groups it appears in.
  67.  
  68.     Date:
  69.  
  70. The time that we got the story directly from the wire, which we receive
  71. via satellite.  It will usually not reach you for another two hours on
  72. average, due to batching, propagation delays and deliberate delays required
  73. by contract.
  74.  
  75.     Message-id:
  76.  
  77. We form message-ids from the slugword and an encoding of the date and time.
  78. Sometimes a checksum is used when the story arrives without a date and time.
  79.  
  80.     References:
  81.  
  82. ClariNet messages contain References lines that can be used by thread
  83. following newsreading tools such as trn.  References are generated
  84. when a story is an update to an earlier story, and when a story is a
  85. sidebar to an earlier story.   We do not list all the messages in a
  86. reference chain -- normally, we will list only the immediate predecessor
  87. of a story, and the root of the story tree.  This is done for each level
  88. of sidebar -- though normally sidebars only go one level deep.
  89.  
  90. If you use a threaded newsreader you will thus see chains of updates
  91. grouped together.  Not all updates replace their predecessor, so you can
  92. see several real stories in a chain.   For example, if you come in to
  93. clari.sports.baseball after a few days, you might see an entire series
  94. of ball game stories grouped together as one thread.  You will also see
  95. related stories on a major topic grouped together.
  96.  
  97.     Supersedes:
  98.  
  99. On some stories, when a story replaces an earlier version, the Supersedes
  100. header is used to specify the message-id of the replaced story.  This
  101. doesn't always work, so a cancel message is also issued.  In some cases
  102. only the cancel is issued, and we note what was replaced with an
  103. x-supersedes header, which is really just a comment.
  104.  
  105.         ClariNet Special Headers
  106.  
  107.     Slugword:
  108.  
  109. This is a special story-specific keyword.  Every story is assigned a
  110. slugword.  If the story is updated, it goes out again with the same slugword.
  111. We use this to cancel the old story before issuing the update, so that only
  112. one version of the story exists on your machine at a given time.
  113.  
  114. Most slugwords are just simple words.  The main story on George Bush, for
  115. example, is usually slugged "bush."  There is no formal pattern to this that
  116. you can use, however.   It is a safe bet that any story slugged "bush"
  117. would be about him, but if some other bush became news, it might be used
  118. in that context as well.
  119.  
  120. Sidebars to stories will often use a component slug that links them to the
  121. main story.  For example, the Panama invasion was slugged "panama," and a
  122. variety of stories around it were slugged "panama-response," "panama-nuncio"
  123. and so on.  Sometimes more levels will appear.
  124.  
  125. Slugwords can also be used to indicate standing stories -- those that
  126. repeat with some frequency.  The daily PEOPLE column is always slugged
  127. "people."  You can track a standing story by looking for its slug.  A list
  128. of standing stories is available.
  129.  
  130.     Location:
  131.  
  132. This field provides the location for the story.  Sometimes a comma delimited
  133. list of locations is provided.  Unfortunately, quite often the reporter does
  134. not code the location of a story, particularly on U.S. domestic news.  Most
  135. international news is coded for location.
  136.  
  137. Possible location codes include country names such as "canada" or
  138. "france" and state names such as "california."  Regions and continents
  139. are also coded, and even a few places like New York City.
  140.  
  141. In general, expect a location only on an International story or a U.S. regional
  142. story.
  143.  
  144.     ACategory:
  145.  
  146. This provides the ANPA story category.  There are just over a dozen of these.
  147. They provide a general story category.  Our keywords give far more specific
  148. coding.  This is useful if you're looking for general coding.  The categories
  149. are:
  150.  
  151.     usa            General U.S. related news
  152.     special            Special section  (rarely used)
  153.     feature            Feature article
  154.     food            Recipes etc.  (rarely used)
  155.     entertainment        
  156.     financial
  157.     international        Non U.S. stories
  158.     commentary        Editorials etc.
  159.     lifestyle
  160.     weather
  161.     regional        Regions of the USA
  162.     national        Artificial category, local version of
  163.                 national story.
  164.     political
  165.     scoreboard        Sports score reports
  166.     racing            (Not covered by ClariNet)
  167.     sports
  168.     travel
  169.     advisory        (For editors only -- not released)
  170.     washington
  171.     reserved        (Unknown Category)
  172.     
  173.     natbriefs        Radio National Briefs
  174.     briefs            Radio briefs
  175.     headlines        Radio headlines
  176.     reg-headlines        Radio regional headlines
  177.     markets            Radio stock market reports
  178.     billboard
  179.     television        Radio reports about Television
  180.  
  181. Most stories are usa, international, financial, sports or entertainment.
  182. Most stories in clari.local groups are regional.
  183.  
  184.     Priority:
  185.  
  186. This is a general indication of the importance of the story.
  187. Priorities are:
  188.  
  189.  "FLASH",        Once a decade type stories
  190.  "BULLETIN",        Top stories of the week
  191.  "urgent",        Top breaking stories of the day
  192.  "major",        Big non-breaking stories (artificial category)
  193.  "regular",        Most stories
  194.  "daily",        Lower priority stories
  195.  "deferred",        /* never used */
  196.  "release-at-will",    Advance material for release any time
  197.  "advance",        Material for future release
  198.  "weekend",        Material for weekend newspapers
  199.  
  200. Stories of the "flash," "bulletin" or "urgent" priority are what is known
  201. as "breaking news."  Each priority has its own newsgroup so that you can
  202. track the biggest stories directly.  We have never seen a posting to
  203. clari.news.flash yet.  The last known flash was "space shuttle explodes."
  204. (Flashes are always 3 words, followed up by a bulletin.)
  205.  
  206. You usually see 2-4 bulletins a week, although there will always be
  207. multiple versions of any bulletin story.  You see 2-4 urgent stories per
  208. day as well.
  209.  
  210. "major" is a priority we created.  This is for stories that are, in wire
  211. parlance, "skedded."  They have a regular priority but are rated as important
  212. stories by the desk editors.  They go into the "top" news groups.
  213.  
  214.     Format:
  215.  
  216. The format field is somewhat redundant.  It describes what sort of
  217. story this article is.  It is most useful on sports stories which come
  218. in a variety of formats.  Formats depend on the ACategory.  Some formats,
  219. like a "game story," are only possible on a sports story.
  220.  
  221. advisory            For editors only -- not sent out
  222. annual                Annual summary (Sports/financial/some news)
  223. audio advisory            For radio stations
  224. breaking            Urgent/bulletin/flash
  225. briefs                Short summaries of major stories
  226. close                Report at close of market trading
  227. correspondent's advisory    For reporters only -- not sent out
  228. daily                Lower priority news
  229. daybook                For reporters only -- not sent out
  230. feature                Feature stories
  231. game story            Report on a game
  232. glances                Sports at a glance report
  233. headlines            Two sentence summaries of major stories
  234. interim                Report while market is open
  235. linescores            Broken down score reports
  236. market wrapup            Final market report
  237. open                Market opening report
  238. ratings                Team rankings and reports
  239. regular                Most news
  240. scorecard            List of scores
  241. snap scores            Quick scores for radio
  242. summary                Summaries (sports/stock market/etc.)
  243. table                Sports statistics
  244. week-end            Market reports at end of week
  245.  
  246. Some stories may have multiple formats, comma delimited.  Unfortunately this
  247. is more often than not a coding error.
  248.  
  249.     ANPA:, Codes:, X-takes:
  250.  
  251. These lines mostly serve as comments, used by us to track how our
  252. software decodes the stories from the non-formalized wire format.
  253. While it is not a supported header, here are the meanings of the fields on
  254. the ANPA line.
  255.  
  256. ANPA: Wc: 446; Id: a0723; Sel: na--i; Adate: 3-17-1235pes; Ver 2/0; V: sked ld
  257.  
  258.     Wc:    Word count
  259.     Id:    Internal wire story ID -- unique number for the day
  260.     Sel:    Wire selector code
  261.     Adate:    Date story was written
  262.     Ver:    Major and minor version numbers for this story.
  263.     V:    Version field, sometimes indicates reason for update
  264.         Many keywords are possible here, which we won't document.
  265.  
  266.     Codes:
  267.  
  268. This comment line contains the original reporter's cryptic coding of the
  269. story.  We have translated all this into human readable information above.
  270. It is their for our debugging purposes, only.  Not a supported header.
  271.  
  272.     X-Takes:
  273.  
  274. If the story was sent to us in multiple parts (don't ask why), the number of
  275. parts received is listed here.  Not a supported header.
  276.