home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / sci / systems / 151 < prev    next >
Encoding:
Internet Message Format  |  1992-11-23  |  2.2 KB
  1. Xref: sparky sci.systems:151 alt.info-theory:70
  2. Newsgroups: sci.systems,alt.info-theory
  3. Path: sparky!uunet!caen!hellgate.utah.edu!asylum.cs.utah.edu!tolman
  4. From: tolman%asylum.cs.utah.edu@cs.utah.edu (Kenneth Tolman)
  5. Subject: Re: Can a part be greater than the whole?
  6. Date: 23 Nov 92 16:58:41 MST
  7. Message-ID: <1992Nov23.165842.6266@hellgate.utah.edu>
  8. Organization: University of Utah, CompSci Dept
  9. References: <ELIAS.92Nov23094545@fitz.TC.Cornell.EDU> <1992Nov23.210710.1395@odin.diku.dk>
  10. Distribution: alt
  11. Lines: 39
  12.  
  13. >>>  Can a part be greater than the whole?
  14. >>>  
  15. >>>  Specifically, can a part have more information than the whole?
  16. >>>  
  17. >>>  but consider this, the whole is a sequence like this: 
  18. >>>  1111111111111111111111111111111111111111111111111111
  19. >>>  and the part is:
  20. >>>  10110110010110101010010111100111110101101011110001000
  21. >
  22. >Bad example. I don't see why the second list of 0's and 1's is a part of the
  23. >first.
  24.  
  25. Consider instead a volume with a cross section, this could is equivalent.
  26.  
  27. >>>  Here, the part seems to have a higher informaition content than the whole.
  28.  
  29. >Why does the second list contain more information than the first. Because
  30. >the 0 to 1 ratio is close to 0.5? But what about the list: 00000...11111. This
  31. >list ``obviously'' have a low informations content. By induction it follow
  32. >that the list that contain most informations is 0101010101010101 :-).
  33.  
  34. It is not clear what you mean by information at all.  One standard measure
  35. is Kolmogrov complexity, where the information content of a sequence
  36. is equivalent to the minimal description of that sequence on a universal
  37. Turing machine.  From this measure your comments are meaningless.  It is
  38. not obvious in what interpretation you intend, if any.
  39.  
  40. >Anyway
  41. >this is a old discussion on the net---What is the information content of pi.
  42. >Infinite? Is it bigger than sqrt(2) or 1/3.
  43.  
  44. Old conversations are obviously the most interesting and most likely to 
  45. yield important ramifications when understood.  The information content
  46. of PI from Kolmogrov complexity is very small.  It is not infinite in
  47. any way whatsoever.
  48.  
  49. Shannon's measure of information depends on the probability of choosing some
  50. symbol from an ensemble.  It does not appear directly applicable unless on
  51. can assign probabilities to various sequences.
  52.