home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / talk / origins / 14519 < prev    next >
Encoding:
Internet Message Format  |  1992-11-20  |  1.5 KB
  1. Path: sparky!uunet!gatech!nscf!lakes!kalki33!system
  2. From: kalki33!system@lakes.trenton.sc.us
  3. Newsgroups: talk.origins
  4. Subject: Definition/Information
  5. Message-ID: <iHsFuB1w165w@kalki33>
  6. Date: Wed, 18 Nov 92 08:25:41 EST
  7. Reply-To: kalki33!system@lakes.trenton.sc.us
  8. Organization: Kalki's Infoline BBS, Aiken, SC, USA
  9. Lines: 48
  10.  
  11.  
  12. Some definitions of information theoretic terms...for future reference.
  13.  
  14. NOTATION
  15.  
  16. Numbers and letters within square brackets represent
  17. subscripts. For example, p[k] means p with the subscript k.
  18.  
  19. "SUM" means the usual sigma notation for a summation.
  20.  
  21. DEFINITIONS
  22.  
  23. Let S be a system of events E[1],...,E[n] such that
  24.  
  25. 1)  P(E[k]) = p[k]  (the probability associated with event E[k])
  26.  
  27. 2)  0<=p[k]<=1
  28.  
  29.      n
  30. 3)  SUM p[k] = 1
  31.     k=1
  32.  
  33. The self-information of the event E[k] is defined as
  34.  
  35.  I(E[k]) = -log p[k]                            (1.1)
  36.  
  37.  
  38. The entropy of S is defined as
  39.  
  40.           n
  41. H(S) = - SUM (p[k] log p[k])                    (1.2)
  42.          k=1
  43.  
  44.  
  45. Sincerely,
  46. Kalki Dasa
  47.  
  48.  
  49.  
  50.        -------------------------------------------------------
  51.       |  Don't forget to chant:   Hare Krishna Hare Krishna   |
  52.       |                           Krishna Krishna Hare Hare   |
  53.       |                           Hare Rama Hare Rama         |
  54.       |                           Rama Rama Hare Hare         |
  55.       |                                                       |
  56.       |   Kalki's Infoline BBS Aiken, South Carolina, USA     |
  57.       |        (kalki33!kalki@lakes.trenton.sc.us)            |
  58.        -------------------------------------------------------
  59.