home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / unix / question / 13448 < prev    next >
Encoding:
Internet Message Format  |  1992-11-15  |  1.6 KB
  1. Xref: sparky comp.unix.questions:13448 comp.unix.programmer:5289 comp.unix.shell:4720 comp.unix.misc:4175
  2. Path: sparky!uunet!ogicse!uwm.edu!linac!att!cbnewsi!ft
  3. From: ft@cbnewsi.cb.att.com (frederick.d.true)
  4. Newsgroups: comp.unix.questions,comp.unix.programmer,comp.unix.shell,comp.unix.misc
  5. Subject: Decompress while merging?
  6. Keywords: merge compress
  7. Message-ID: <1992Nov15.231322.28100@cbnewsi.cb.att.com>
  8. Date: 15 Nov 92 23:13:22 GMT
  9. Article-I.D.: cbnewsi.1992Nov15.231322.28100
  10. Followup-To: ftrue@attmail.att.com
  11. Organization: AT&T
  12. Lines: 27
  13.  
  14. Is anyone aware of an existing method to merge/sort compressed files
  15. given a sort key? In other words, say I have 10 large compressed
  16. files, sorted by a particular key (ie: position 5-10), and I need to
  17. merge them in sorted order into another compressed file.  The files
  18. are too large to have all uncompressed on the system, so using regular
  19. sort is out of the question.
  20.  
  21. What I need is some sort of utility ala 'sort -m' which will
  22. decompress and buffer input files while merging. Is there such a
  23. beast? Is there another obvious way of doing this that I'm neglecting?
  24. Perhaps a way to decompress several files to different file
  25. descriptors, and a way to merge files based on file descriptors?  I
  26. realize that I could polyphase merge them two at a time, but I'd
  27. rather not. The files are very large and each merge stage would take
  28. hours.
  29.  
  30. I'm just about to write my own merge routine, building in the compress/
  31. decompress routines as an option for each input file, but I thought I'd 
  32. see what's out there before I started.
  33.  
  34. Any suggestions would be appreciated,
  35.  
  36. Please e-mail to: ftrue@attmail.att.com
  37.  
  38. --
  39. Fred True
  40. AT&T
  41.