home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / compress / 3898 < prev    next >
Encoding:
Text File  |  1992-11-19  |  1.9 KB  |  44 lines
  1. Newsgroups: comp.compression
  2. Path: sparky!uunet!van-bc!rsoft!mindlink!a269
  3. From: Mischa_Sandberg@mindlink.bc.ca (Mischa Sandberg)
  4. Subject: Re: Need a compressor for sparse bit datastream
  5. Organization: MIND LINK! - British Columbia, Canada
  6. Date: Fri, 20 Nov 1992 04:22:17 GMT
  7. Message-ID: <17606@mindlink.bc.ca>
  8. Sender: news@deep.rsoft.bc.ca (Usenet)
  9. Lines: 33
  10.  
  11. Tom Lane writes:
  12. > richard@garfield.noname (richard_landells.sbd-e@rx.xerox.com) writes:
  13. > > I have an application that generates binary output.  The output is
  14. > > relatively random, but there are approximately twice as many off bits as
  15. > on
  16. > > bits.  My objective is to compress this as much as possible.
  17. >
  18. > The fact that standard compressors can do as well as 4% suggests to me that
  19. > there is more order in the input bitstream than you've let on.
  20. >                                 regards, tom lane
  21.  
  22. ... yes; I'm trying to figure out how the subject line ("sparse"?) relates
  23. to data that is 67% 0's instead of 50% 0's.
  24.  
  25. Every compressor has its model, even supposedly "all-purpose" compressors
  26. like LZ or arithmetic coding. Clearly, if standard stream compressors
  27. flunk out on your data, then there's no strong serial dependency between
  28. one byte and the next, nor does it chunk in 8-bit symbols.
  29.  
  30. But then, perhaps there's some information you have about the source of
  31. this data. Perhaps it chunks on a different unit size (which might be VERY
  32. large)? Perhaps the sequence of zero-bit-counts between unit-bits has some
  33. significant distribution, or even a significant markovian?
  34.  
  35. It would probably give people a better crack at your problem if you
  36. could relate the kind of data you're storing. Good luck, in any case.
  37. --
  38. Mischa Sandberg ... Mischa_Sandberg@mindlink.bc.ca
  39.                  or uunet!van-bc!rsoft!mindlink!Mischa_Sandberg
  40. *-*-*-*-*-*-*-*-*-*-*
  41. Engineers think equations are an approximation of reality.
  42. Physicists think reality is an approximation of the equations.
  43. Mathematicians never make the connection.
  44.