home *** CD-ROM | disk | FTP | other *** search
/ NetNews Usenet Archive 1992 #27 / NN_1992_27.iso / spool / comp / unix / admin / 6291 < prev    next >
Encoding:
Text File  |  1992-11-20  |  2.8 KB  |  76 lines
  1. Newsgroups: comp.unix.admin
  2. Path: sparky!uunet!nih-csl.dcrt.nih.gov!helix.nih.gov!rvenable
  3. From: rvenable@helix.nih.gov (Richard M. Venable)
  4. Subject: Re: Need info on job queuing system
  5. Message-ID: <1992Nov20.103234@helix.nih.gov>
  6. Sender: postman@alw.nih.gov (AMDS Postmaster)
  7. Reply-To: rvenable@helix.nih.gov (Richard M. Venable)
  8. Organization: National Institutes of Health
  9. References:  <GERMAIN.92Nov19165405@tohi.DMI.USherb.CA>
  10. Distribution: comp.unix.admin,comp.unix.questions,comp.unix.aix
  11. Date: Fri, 20 Nov 1992 15:32:34 GMT
  12. Lines: 62
  13.  
  14. In article <GERMAIN.92Nov19165405@tohi.DMI.USherb.CA>,
  15. germain@tohi.DMI.USherb.CA (Luc Germain - Chimie) writes:
  16. |> We are looking for a job queuing system that would manage many UNIX
  17. |> boxes (actually we have 5 RS/6000 running AIX) used for intensive
  18. |> scientific calculations (mainly fortran programs). We would like
  19. that
  20. |> the users submit their programs to a unique job queue, specifying
  21. some
  22. |> requirements about their jobs (memory needs, estimated time, special
  23. |> libraries...)  and the queuing system would automatically dispatch
  24. the
  25. |> jobs to the most available station on the network that meets the
  26. |> requirement.
  27. |> 
  28. |> I heard about "NQS": can this program be configured to meet our
  29. |> requirements? Is there other queuing systems available? (Public
  30. domain
  31. |> or commercial).  Anybody want to comment on their experiment with
  32. such
  33. |> installations?
  34.  
  35. ---
  36.  
  37. NQS does do some of these things, but consider the following scenario:
  38.  
  39. User A submits 6 jobs, each of which will run for 10 hours and must run
  40. to completion before the next job starts (sequential).
  41.  
  42. User B submits 4 jobs, each requiring 12 hours, about a half later,
  43. with
  44. the same sequential requirement.
  45.  
  46. Under NQS, all of user A's jobs will before any of user B's 
  47. (FIFO: first in, first out), allowing user A to monopolize the queue.
  48.  
  49. Worse yet, user A's second job would start before the first was
  50. fininshed.
  51.  
  52. ---
  53.  
  54. This is why I wrote a simple batch system that (1) interleaves, to stop
  55. queue hogs, and (2) preserves the sequential nature of submitted jobs.
  56. We have several HP 9000/7xx machines, with one queue per machine; no
  57. dynamic load balancing, it's up to the users.  If there's interest, I
  58. may
  59. put together a slightly more secure version and assemble a distribution
  60. package; it's mostly /bin/csh scripts and one very short FORTRAN
  61. program.
  62.  
  63. Also, IBM is beta testing their own AIX multiple host queuing system,
  64. code
  65. named CONDOR and scheduled to be released under the name UNIJES which
  66. does
  67. restrict users from monopolizing a queue.  To my knowledge, it does not
  68. handle the sequential job problem.
  69.  
  70. -----------------------------------------------------------------
  71.  Rick Venable                  |    "Eschew
  72.  FDA/CBER Biophysics Lab       |   Obfuscation"  
  73.  rvenable@helix.nih.gov        |         -- the Phantom Nerd   
  74. -----------------------------------------------------------------
  75.  
  76.