home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1993 #3 / NN_1993_3.iso / spool / alt / wais / 775 < prev    next >
Encoding:
Internet Message Format  |  1993-01-25  |  3.4 KB
  1. Xref: sparky alt.wais:775 comp.infosystems.wais:845
  2. Newsgroups: alt.wais,comp.infosystems.wais
  3. Path: sparky!uunet!zaphod.mps.ohio-state.edu!darwin.sura.net!welchgate.welch.jhu.edu!francois
  4. From: francois@welchgate.welch.jhu.edu (Francois Schiettecatte)
  5. Subject: Generic multi-type wais server
  6. Message-ID: <1993Jan25.150933.16947@welchgate.welch.jhu.edu>
  7. Organization: Welch Medical Library
  8. Date: Mon, 25 Jan 1993 15:09:33 GMT
  9. Lines: 74
  10.  
  11.  
  12.  
  13. Generic multi-type wais server
  14. ------------------------------
  15.  
  16. I have made a number of modifications to waisindex and waisserver to
  17. allow support for multi-type documents. By multi-type documents, I
  18. means that the document can be represented in multiple formats such as
  19. text, gif, jpeg, etc, there is really no limit.
  20.  
  21. The way it works is that you need to specify a command line arguement
  22. to the waisindex program which tells it that this is a multi-type
  23. database and that the documents are available in the following types,
  24. for example:
  25.  
  26. /big/wais/wais/bin/waisindex -nopos -nopairs -d /big/wais-db/jfif \
  27. -M "TEXT,JFIF,JFIF-TBNL" -t filename /big/wais-db/jfif/*.TEXT
  28.  
  29. The -M "TEXT,JFIF,JFIF-TBNL" argument tells waisindex that the
  30. documents are available in TEXT, JFIF and JFIF-TBNL (thumbnail) format,
  31. note that the standard -f argument is used to tell the indexer what
  32. format the text file is in.
  33.  
  34. Waisindex is smart enough to check that the various file types are
  35. indeed available to be retrieved, so that the user cannot be presented
  36. with a choice of formats that do not exist for a document.
  37.  
  38. Also the changes to the server maintain compatibility with the current
  39. database format, so you wont have to reindex your current databases.
  40.  
  41. You can also compress the text file too using unix compress.
  42.  
  43. But here is the catch, all the documents and the various representation
  44. of each documents must be stored as separate files, with an extension
  45. that matches the document type, for example:
  46.  
  47. -rw-r--r--  1 francois    59689 Oct  9 08:42 scarab.JFIF
  48. -rw-r--r--  1 francois     6233 Jan 23 14:17 scarab.JFIF-TBNL
  49. -rw-rw-r--  1 francois      425 Jan 21 17:08 scarab.TEXT
  50.  
  51. The file scarab.TEXT contains the TEXT document, scarab.JFIF contains
  52. the JFIF document and scarab.JFIF-TBNL contains the JFIF thumbnail
  53. document.
  54.  
  55. This is a pain, but a small price to pay, I guess, for this feature.
  56.  
  57. You may also be interested to know that the current releases of xwais
  58. and HyperWais support multi-type documents. There may well be others,
  59. but I have not really looked into this.
  60.  
  61. Anyway here is my question, I am happy to release this into the public
  62. domain, the changes are built on top of the BIO 5.1 server, along with
  63. a bunch of other changes (like bug fixes, support for .Z files, support
  64. for external file in indexing, stemming, etc).  I could try to produce
  65. a patch file (but I dont really want to).  What I can do is to create
  66. two tar files, one with all the files that I have changes (only 5 of
  67. them) and another one will the entire distribution. Would this be ok?
  68. Also I have add a comment '/* francois */' every place I have made
  69. changes, and '/* multitype extensions */' where there are changes which
  70. support multi-type files. If I dont hear from people one way or the 
  71. other, I will put up the two tar files. 
  72.  
  73.  
  74. francois
  75.  
  76. Francois Schiettecatte
  77. Software Engineer
  78. Advanced Technology Group
  79. Welch Medical Library
  80. Johns Hopkins University
  81. Internet: francois@library.welch.jhu.edu
  82. Phone    : (410) 955-7581
  83.  
  84.  
  85.