home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / talk / origins / 14636 < prev    next >
Encoding:
Text File  |  1992-11-22  |  4.6 KB  |  115 lines
  1. Newsgroups: talk.origins
  2. Path: sparky!uunet!zaphod.mps.ohio-state.edu!sdd.hp.com!ux1.cso.uiuc.edu!news.iastate.edu!IASTATE.EDU!kv07
  3. From: kv07@IASTATE.EDU (Warren Vonroeschlaub)
  4. Subject: Re: Definition/Information
  5. Message-ID: <1992Nov22.135134@IASTATE.EDU>
  6. Sender: news@news.iastate.edu (USENET News System)
  7. Reply-To: kv07@IASTATE.EDU (Warren Vonroeschlaub)
  8. Organization: Ministry of Silly Walks
  9. References:  <iHsFuB1w165w@kalki33>
  10. Date: Sun, 22 Nov 1992 19:51:34 GMT
  11. Lines: 102
  12.  
  13.   Sorry for the delay on this, but somebody took out all 30+ books on
  14. introductory information theory from the school library (they really should have
  15. a withdrawl limit).  I had to use one of the advanced books, which is a little
  16. harder to read.
  17.  
  18. In article <iHsFuB1w165w@kalki33>, kalki33!system@lakes.trenton.sc.us writes:
  19. > DEFINITIONS
  20. > 
  21. > Let S be a system of events E[1],...,E[n] such that
  22. > 
  23. > 1)  P(E[k]) = p[k]  (the probability associated with event E[k])
  24. > 
  25. > 2)  0<=p[k]<=1
  26. > 
  27. >      n
  28. > 3)  SUM p[k] = 1
  29. >     k=1
  30. > 
  31. > The self-information of the event E[k] is defined as
  32. > 
  33. >  I(E[k]) = -log p[k]                            (1.1)
  34. > 
  35. > 
  36. > The entropy of S is defined as
  37. > 
  38. >           n
  39. > H(S) = - SUM (p[k] log p[k])                    (1.2)
  40. >          k=1
  41.  
  42.   Okay, there are a couple of things I want to make clear.
  43.  
  44. First (in prediction to where this is going.  I hope I am wrong or this will be
  45. short).
  46.  
  47.   In "Relative Information: Theories and Applications" by G. Jumarie, Q360.J84
  48. 1990 p6, section 1.3.4 "Information and Thermodynamics"
  49.  
  50.   "To the best of our [researchers] knowledge, there is no counterpart of this
  51. theory [the second law of thermodynamics] in information theory."
  52.  
  53.   In other words, this definition of entropy does not entail that entropy must
  54. always increase.
  55.  
  56. Second.
  57.  
  58.   This is not the only information theory of entropy.  This is known as the
  59. Shannon entropy.  The Renyi entropy is also good, especially since it can be
  60. used to determine the relative information content.  this is very important in
  61. modeling events in a specific language (like the physical laws).  The Renyi
  62. entropy is
  63.                          n
  64.   Hc(alpha)=(1-c)^-1 ln SUM p[k]^c
  65.                         k=1
  66. where c is the efficiency of detection of the observer.  An interesting point is
  67. that if c>1 then this is a measure of information, and if c<1 this is a measure
  68. of uncertainty.  (I assume to determine the probability of evolution you are
  69. going to try to calculate the Shannon uncertainty).
  70.  
  71.  There is also the cross-entropy, Hartley, Kulmogorov (for fractals), and
  72. trajectory entropies.  And that is just from one book.
  73.  
  74. Third.
  75.  
  76.   It might be useful to point out how this is used in information theory.  A few
  77. examples are in order:
  78.  
  79.   Streams.  If we have a length of symbols, and we wish to find the entropy of
  80. the stream, we can use the Shannon entropy as such:  A completely random stream
  81. would be split evenly among the symbols.  The Shannon entropy of binary strings
  82. would then be 1.  A stream consisting solely of 1s or 0s would have an entropy
  83. of 0 (try it).  But, if our stream was 0111100011101, the shannon entropy would
  84. be .9612 (-5/13 *log(5/13) -8/13 *log(8/13), all logarithms base 2).  If we do
  85. this for alternations between two states however, we get 2.4142.  So the choice
  86. of symbols is important. The choice of logarithms isn't.  CS people prefer log
  87. base 2, but ln is poular too.
  88.  
  89.   Descision processes.  Let us say we wanted to find the most significant factor
  90. for car color.  Well, then, for each car color we could do the following: 
  91. Separate all the cars according to a factor (say manufacturer), then look at
  92. what percentage of the cars in each catagory are of the particular color, and
  93. make that our p[k] for the Shannon entropy (ie p[mazda] for red would be the
  94. proportion of mazdas that are red).  This gives us a Shannon entropy for each
  95. color car as divided by manufacturer.  Take each Shannon entropy for the color,
  96. and multiply it by the fraction of cars overall that are that color.  Add this
  97. all up to get the entropy of car color by manufacturer.
  98.   If we repeat this for every possible catagory, we will have entropies
  99. calculated for manufacturer, cost, area, use, etc.  The factor that has the
  100. lowest entropy is the most important factor in car color.  Neat huh?
  101.   This has an incredible power as a completely objective way to determine what
  102. is important in any situation.
  103.  
  104.   Hopefully these examples will be enough to make it clear when Shannon entropy
  105. is being misused.
  106.  
  107.  |  __L__
  108. -|-  ___  Warren Kurt vonRoeschlaub
  109.  |  | o | kv07@iastate.edu
  110.  |/ `---' Iowa State University
  111. /|   ___  Math Department
  112.  |  |___| 400 Carver Hall
  113.  |  |___| Ames, IA  50011
  114.  J  _____
  115.