home *** CD-ROM | disk | FTP | other *** search
/ PC World 1999 August / PCWorld_1999-08_cd.bin / doc / HOWTO / mini / DPT-Hardware-RAID < prev    next >
Text File  |  1999-05-23  |  19KB  |  595 lines
  1.   Linux DPT Hardware RAID HOWTO
  2.   Ram Samudrala (me@ram.org)
  3.   v1.4, 9 April 1999
  4.  
  5.   How to set up hardware RAID under Linux.
  6.   ______________________________________________________________________
  7.  
  8.   Table of Contents
  9.  
  10.  
  11.   1. Introduction
  12.  
  13.   2. Supported controllers
  14.  
  15.      2.1 DPT controllers
  16.      2.2 ICP vortex controllers
  17.  
  18.   3. What hardware should be used?
  19.  
  20.      3.1 Controller type
  21.      3.2 Enclosure type
  22.  
  23.   4. Installation
  24.  
  25.      4.1 Installing and configuring the hardware
  26.      4.2 Configuring the kernel
  27.      4.3 Bootup messages
  28.  
  29.   5. Usage
  30.  
  31.      5.1 fdisk, mke2fs, mount, etc.
  32.      5.2 Hotswapping
  33.      5.3 Performance
  34.  
  35.   6. Features in the EATA DMA driver
  36.  
  37.   7. Troubleshooting
  38.  
  39.      7.1 Upon bootup, no SCSI hosts are detected
  40.      7.2 RAID configuration shows up as N different disks
  41.      7.3 Machine/controller is shut down in the middle of a format
  42.      7.4 If all fails...
  43.  
  44.   8. References
  45.  
  46.   9. Acknowledgements
  47.  
  48.  
  49.  
  50.   ______________________________________________________________________
  51.  
  52.   1.  Introduction
  53.  
  54.   This document describes how to set up SCSI hardware RAID, focusing
  55.   mainly on host-based adapters from DPT, though the principles applied
  56.   here are fairly general.
  57.  
  58.   Use the information below at your own risk.  I disclaim all
  59.   responsibility for anything you may do after reading this HOWTO. The
  60.   latest version of this HOWTO will always be available at
  61.   http://www.ram.org/computing/linux/dpt_raid.html.
  62.  
  63.   For the purposes of this HOWTO, I am assuming you have only a Linux
  64.   system running. Also, note that I've only tried this out with the DPT
  65.   Smartcache IV PM2144UW and PM3334UW controllers, with DPT (SmartRAID
  66.   tower) and Wetex enclosures, and I have no experience with other
  67.   setups. So things may be different for your setup.
  68.  
  69.   2.  Supported controllers
  70.  
  71.   Currently the only well-supported host-based hardware RAID controller
  72.   (i.e, a controller for which there exists a driver under Linux) is one
  73.   that is made by DPT <http://www.dpt.com>. However, there exist other
  74.   host-based and scsi-to-scsi controllers which may work under Linux.
  75.   These include the ones made by Syred <http://www.syred.com>, ICP-
  76.   Vortex <http://www.icp-vortex.com>, and BusLogic
  77.   <http://www.mylex.com>.  In addition, there exist plenty of SCSI-to-
  78.   SCSI controllers. See the RAID solutions for Linux page
  79.   <http://linas.org/linux/raid.html> for more info.
  80.  
  81.   If, in the future, there is support for other controllers, I will do
  82.   my best to incorporate that information into this HOWTO. Please send
  83.   me any such information you think is appropriate for this HOWTO.
  84.  
  85.   2.1.  DPT controllers
  86.  
  87.   This document is currently DPT-oriented.  Essentially all the
  88.   SmartRAID IV controllers are supported.
  89.  
  90.   2.2.  ICP vortex controllers
  91.  
  92.   ICP vortex has a complete line of disk array controllers which support
  93.   Linux.  The ICP driver is in the Linux kernel since version 2.0.31 All
  94.   major Linux Distributors S.u.S.e., LST Power Linux, Caldera and Red
  95.   Hat support the ICP controllers as boot/installation controllers. The
  96.   RAID system can easily be configured with our ROMSETUP (you do not
  97.   have to boot MS-DOS for configuration!).
  98.  
  99.   With the monitoring utility GDTMON it is possible to manage the
  100.   complete ICP RAID system during operation (check transferrates, set
  101.   parameters for the controller and hard disks, exchange defective hard
  102.   disks, etc.).  Currently available are: 1 and 2 channel wide and ultra
  103.   SCSI controller for RAID 0 and RAID 1 1, 2, 3 and 5 chn. wide and
  104.   ultra SCSI controller for RAID 0, 1, 4, 5 and 10 1 and 2 channel wide
  105.   and ultra2 LVDS SCSI controller for RAID 0 and RAID 1 1, 2, 3 and 5
  106.   chn. wide and ultra2 LVDS SCSI controller for RAID 0, 1, 4, 5 and 10 1
  107.   and 2 port Fibre Channel contollers for RAID 0, 1, 4, 5 and 10 Pretty
  108.   soon there will be also 64-bit controllers available.
  109.  
  110.   3.  What hardware should be used?
  111.  
  112.   3.1.  Controller type
  113.  
  114.   Given all these options, if you're looking for a RAID solution, you
  115.   need to think carefully about what you want.  Depending on what you
  116.   want to do, and which RAID level you wish to use, some cards may be
  117.   better than others.  SCSI-to-SCSI adapters may not be as good as host-
  118.   based adapters, for example (see the DPT comparison between host-based
  119.   and SCSI-to-SCSI adapters <http://www.dpt.com/hstvscsi.htm> for why
  120.   this is the case).  Michael Neuffer (neuffer@kralle.zdv.uni-mainz.de),
  121.   the author of the EATA-DMA driver, has a nice discussion about this on
  122.   his Linux High Performance SCSI and RAID page <http://www.uni-
  123.   mainz.de/~neuffer/scsi/>.
  124.  
  125.   3.2.  Enclosure type
  126.  
  127.   The enclosure type affects the hot swapability of the drive, the
  128.   warning systems (i.e., whether there will be indication of failure,
  129.   and whether you will know which drive has failed), and what kind of
  130.   treatment your drive receives (for example, redundant cooling and
  131.   power supplies).  We used the DPT supplied enclosures for an initial
  132.   RAID-5 system of 18 GB, but they are expensive.  We are now using a
  133.   Wetex enclosure (http://www.wetex.com/), which have the same features
  134.   as the DPT ones, but are about 1/4 of the cost.  The Wetex enclosure
  135.   system (14 bays) we use is composed of two RAID-5 arrays, with sizes
  136.   of 45 GB and 63 GB.
  137.  
  138.   4.  Installation
  139.  
  140.   4.1.  Installing and configuring the hardware
  141.  
  142.   Refer to the instruction manual to install the card and the drives.
  143.   For DPT, since a storage manager for Linux doesn't exist yet, you need
  144.   to create a MS-DOS-formatted disk with the system on it (usually
  145.   created using the command "format /s" at the MS-DOS prompt).  You will
  146.   also be using the DPT storage manager for MS-DOS, which you should
  147.   probably make a copy of for safety.
  148.  
  149.   Once the hardware is in place, boot using the DOS system disk. Replace
  150.   the DOS disk with the storage manager. And invoke the storage manager
  151.   using the command:
  152.  
  153.  
  154.  
  155.        a:\ dptmgr
  156.  
  157.  
  158.  
  159.  
  160.   Wait a minute or so, and you'll get a nice menu of options.  Configure
  161.   the set of disks as a hardware RAID (single logical array). Choose
  162.   "other" as the operating system.
  163.  
  164.   The MS-DOS storage manager is a lot easier to use with a mouse, and so
  165.   you might want to have a mouse driver on the initial system disk you
  166.   create.
  167.  
  168.   Technically, it should be possible to run the SCO storage manager
  169.   under Linux, but it may be more trouble than its worth.  It's probably
  170.   more easier to run the MS-DOS storage manager under Linux.
  171.  
  172.   4.2.  Configuring the kernel
  173.  
  174.   You will need to configure the kernel with SCSI support and the
  175.   appropriate low level driver.  See the Kernel HOWTO
  176.   <http://sunsite.unc.edu/mdw/HOWTO/Kernel-HOWTO.html> for information
  177.   on how to compile the kernel. Once you choose "yes" for SCSI support,
  178.   in the low level drivers section, select the driver of your choice
  179.   (EATA DMA or EATA ISA/EISA/PCI for most EATA DMA compliant (DPT)
  180.   cards, EATA PIO for the very old PM2001 and PM2012A from DPT).  Most
  181.   drivers, including the EATA DMA and EATA ISA/EISA/PCI drivers, should
  182.   be available in recent kernel versions.
  183.  
  184.   Once you have the kernel compiled, reboot, and if you've set up
  185.   everything correctly, you should see the driver recognising the RAID
  186.   as a single SCSI disk. If you use RAID-5, you will see the size of
  187.   this disk to be 2/3 of the actual disk space available.
  188.  
  189.   4.3.  Bootup messages
  190.  
  191.   The messages you see upon bootup if you're using the EATA DMA driver
  192.   should look something like this:
  193.  
  194.  
  195.  
  196.  
  197.  
  198.  
  199.   EATA (Extended Attachment) driver version: 2.59b
  200.   developed in co-operation with DPT
  201.   (c) 1993-96 Michael Neuffer, mike@i-Connect.Net
  202.   Registered HBAs:
  203.   HBA no. Boardtype    Revis  EATA Bus  BaseIO IRQ DMA Ch ID Pr QS  S/G IS
  204.   scsi0 : PM2144UW     v07L.Y 2.0c PCI  0xef90  11 BMST 1  7  N  64 252 Y
  205.   scsi0 : EATA (Extended Attachment) HBA driver
  206.   scsi : 1 host.
  207.     Vendor: DPT       Model: RAID-5            Rev: 07LY
  208.     Type:   Direct-Access                      ANSI SCSI revision: 02
  209.   Detected scsi disk sda at scsi0, channel 0, id 8, lun 0
  210.   scsi0: queue depth for target 8 on channel 0 set to 64
  211.   scsi : detected 1 SCSI disk total.
  212.   SCSI device sda: hdwr sector= 512 bytes. Sectors= 35591040 [17378 MB] [17.4 GB]
  213.  
  214.  
  215.  
  216.  
  217.   (The above display is for a setup with a single DPT SCSI controller,
  218.   configured as RAID-5, with three disks of 9 GB each.)
  219.  
  220.   The messages you see upon bootup if you're using the EATA ISA/EISA/PCI
  221.   driver should look something like this:
  222.  
  223.  
  224.  
  225.        aic7xxx: <Adaptec AHA-294X SCSI host adapter> at PCI 15
  226.        aic7xxx: BIOS enabled, IO Port 0x7000, IO Mem 0x3100000, IRQ 15, Revision B
  227.        aic7xxx: Single Channel, SCSI ID 7, 16/16 SCBs, QFull 16, QMask 0x1f
  228.        EATA0: address 0x7010 in use, skipping probe.
  229.        EATA0: 2.0C, PCI 0x7410, IRQ 11, BMST, SG 252, MB 64, tc:y, lc:y, mq:62.
  230.        EATA0: wide SCSI support enabled, max_id 16, max_lun 8.
  231.        EATA0: SCSI channel 0 enabled, host target ID 6.
  232.        EATA/DMA 2.0x: Copyright (C) 1994-1997 Dario Ballabio.
  233.        scsi0 : Adaptec AHA274x/284x/294x (EISA/VLB/PCI-Fast SCSI) 4.1.1/3.2.1
  234.        scsi1 : EATA/DMA 2.0x rev. 3.11.00
  235.        scsi : 2 hosts.
  236.        scsi0: Scanning channel A for devices.
  237.          Vendor: IBM OEM   Model: DFHSS2F           Rev: 1818
  238.          Type:   Direct-Access                      ANSI SCSI revision: 02
  239.        Detected scsi disk sda at scsi0, channel 0, id 0, lun 0
  240.          Vendor: SEAGATE   Model: ST41650       TX  Rev: DG01
  241.          Type:   Direct-Access                      ANSI SCSI revision: 02
  242.        Detected scsi disk sdb at scsi1, channel 0, id 0, lun 0
  243.          Vendor: TEAC      Model: FC-1     GF   00  Rev: RV L
  244.          Type:   Direct-Access                      ANSI SCSI revision: 01 CCS
  245.        Detected scsi removable disk sdc at scsi1, channel 0, id 3, lun 0
  246.          Vendor: SONY      Model: CD-ROM CDU-541    Rev: 2.6a
  247.          Type:   CD-ROM                             ANSI SCSI revision: 02
  248.        Detected scsi CD-ROM sr0 at scsi1, channel 0, id 5, lun 0
  249.        EATA0: scsi1, channel 0, id 0, lun 0, cmds/lun 21, sorted, tagged.
  250.        EATA0: scsi1, channel 0, id 3, lun 0, cmds/lun 21, sorted.
  251.        EATA0: scsi1, channel 0, id 5, lun 0, cmds/lun 21, sorted.
  252.        scsi : detected 1 SCSI cdrom 3 SCSI disks total.
  253.        SCSI device sda: hdwr sector= 512 bytes. Sectors= 4404489 [2150 MB] [2.2 GB]
  254.        SCSI device sdb: hdwr sector= 512 bytes. Sectors= 2779518 [1357 MB] [1.4 GB]
  255.        SCSI device sdc: hdwr sector= 256 bytes. Sectors= 4160 [1 MB] [0.0 GB]
  256.  
  257.  
  258.  
  259.  
  260.   (The above display is for a setup wih two SCSI controllers, DPT
  261.   PM3224W and and Adaptec AHA2940.)
  262.  
  263.  
  264.  
  265.   5.  Usage
  266.  
  267.   5.1.  fdisk, mke2fs, mount, etc.
  268.  
  269.   You can now start treating the RAID as a regular disk. The first thing
  270.   you'll need to do is partition the disk (using fdisk).  You'll then
  271.   need to set up an ext2 filesystem.  This can be done by running the
  272.   command:
  273.  
  274.  
  275.  
  276.        % mkfs -t ext2 /dev/sdxN
  277.  
  278.  
  279.  
  280.  
  281.   where /dev/sdxN is the name of the SCSI partition.  Once you do this,
  282.   you'll be able to mount the partitions and use them as you would any
  283.   other disk (including adding entries in /etc/fstab).
  284.  
  285.   5.2.  Hotswapping
  286.  
  287.   We first tried to test hotswapping by removing a drive and putting it
  288.   back in the DPT-supplied enclosure/tower (which you buy for an
  289.   additional cost).  Before we could carry this out to completion, one
  290.   of the disks failed (as I write this, the beeping is driving me
  291.   crazy). Even though one of the disks failed, all the data on the RAID
  292.   drive is accessible.
  293.  
  294.   Instead of replacing the drive, we just went through the motions and
  295.   put the same drive back in.  The drive rebuilt itself and everything
  296.   seems to be okay.  During the time the disk had filed, and during the
  297.   rebuilding process, all the data was accessible. Though it should be
  298.   noted that if another disk had failed, we'd have been in serious
  299.   trouble.
  300.  
  301.   5.3.  Performance
  302.  
  303.   Here's the output of the Bonnie program, on a 2144 UW with 9x3=17 GB
  304.   RAID 5 setup, using the EATA DMA driver. The RAID is on a dual
  305.   processor Pentium Pro machine running Linux 2.0.33. For comparison,
  306.   the Bonnie results for the IDE drive on that machine are also given.
  307.  
  308.  
  309.  
  310.                   -------Sequential Output-------- ---Sequential Input--  --Random--
  311.                   -Per Char- --Block--- -Rewrite-- -Per Char- --Block---  --Seeks---
  312.                MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU   /sec  %CPU
  313.        RAID   100  9210 96.8  1613  5.9   717  5.8  3797 36.1 90931 96.8 4648.2 159.2
  314.        IDE    100  3277 32.0  6325 23.5  2627 18.3  4818 44.8 59697 88.0  575.9  16.3
  315.  
  316.  
  317.  
  318.  
  319.   Some people have disputed the above timings (and rightly so---I've
  320.   been unable to try it out on our machines since they're completely
  321.   loaded) because the size of the file used may have led to it being
  322.   cached (resulting in an unusually good performance report).  Here are
  323.   some timings with a 3344 UW controller:
  324.  
  325.  
  326.  
  327.  
  328.  
  329.  
  330.  
  331.           -------Sequential Output-------- ---Sequential Input-- --Random--
  332.           -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
  333.        MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
  334.      1000  1714 17.2  1689  6.0  1200  5.7  5263 40.2  7023 12.1  51.3 2.2
  335.  
  336.  
  337.  
  338.  
  339.   And here are some timings on a host-based RAID system:
  340.  
  341.  
  342.  
  343.             -------Sequential Output-------- ---Sequential Input-- --Random--
  344.             -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
  345.        MB   K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU
  346.        64   7465 100.0 70287 98.7 37012 97.7 8074 99.2 *****100.3 ***** 196.6
  347.        128  7289 99.3  67595 98.5 35294 98.6 7792 97.6 *****100.3 ***** 195.8
  348.        256  7222 98.8  44844 69.6 16096 51.8 5787 72.7 ***** 99.8 ***** 85.2
  349.        512  7138 98.4  13871 23.2 7888  29.3 7183 89.3 16488 27.2 1585. 11.5
  350.        1024 6908 95.8  12270 21.5 7161  25.4 7373 90.4 16527 28.2 123.8 1.8
  351.        2047 6081 84.1  12664 22.6 7191  25.6 7289 89.5 16573 28.5 75.0  1.2
  352.  
  353.        ***** results exceed column width (> 100 MB/sec, > 10000 seeks/sec)
  354.  
  355.        host:   Dual PII 400 MHz, 2 x U2W, 512 MB RAM, no internal disks
  356.        RAID:   IFT 3102 UA 128 MB Cache, RAID-5, 6 x 9 GB
  357.        OS:     SuSE Linux 6.0 with Kernel 2.2.3
  358.  
  359.  
  360.  
  361.  
  362.   6.  Features in the EATA DMA driver
  363.  
  364.   This section describes some of the commands available under Linux to
  365.   check on the RAID configuration.  Again, while references to the
  366.   eata_dma driver is made, this can be used to check up on any driver.
  367.  
  368.   To see the configuration for your driver, type:
  369.  
  370.  
  371.  
  372.        % cat /proc/scsi/eata_dma/N
  373.  
  374.  
  375.  
  376.  
  377.   where N is the host id for the controller.  You should see something
  378.   like this:
  379.  
  380.  
  381.  
  382.  
  383.  
  384.  
  385.  
  386.  
  387.  
  388.  
  389.  
  390.  
  391.  
  392.  
  393.  
  394.  
  395.  
  396.  
  397.   EATA (Extended Attachment) driver version: 2.59b
  398.   queued commands:         353969
  399.   processed interrupts:    353969
  400.  
  401.   scsi0 : HBA PM2144UW
  402.   Firmware revision: v07L.Y
  403.   Hardware Configuration:
  404.   IRQ: 11, level triggered
  405.   DMA: BUSMASTER
  406.   CPU: MC68020 20MHz
  407.   Base IO : 0xef90
  408.   Host Bus: PCI
  409.   SCSI Bus: WIDE Speed: 10MB/sec.
  410.   SCSI channel expansion Module: not present
  411.   SmartRAID hardware: present.
  412.       Type: integrated
  413.       Max array groups:              7
  414.       Max drives per RAID 0 array:   7
  415.       Max drives per RAID 3/5 array: 7
  416.   Cache Module: present.
  417.  
  418.  
  419.  
  420.  
  421.  
  422.  
  423.            Type: 0
  424.            Bank0: 16MB without ECC
  425.            Bank1: 0MB without ECC
  426.            Bank2: 0MB without ECC
  427.            Bank3: 0MB without ECC
  428.        Timer Mod.: present
  429.        NVRAM     : present
  430.        SmartROM  : enabled
  431.        Alarm     : on
  432.        Host<->Disk command statistics:
  433.                 Reads:      Writes:
  434.            1k:           0            0
  435.            2k:           0            0
  436.            4k:           0            0
  437.            8k:           0            0
  438.           16k:           0            0
  439.           32k:           0            0
  440.           64k:           0            0
  441.          128k:           0            0
  442.          256k:           0            0
  443.          512k:           0            0
  444.         1024k:           0            0
  445.        >1024k:           0            0
  446.        Sum   :           0            0
  447.  
  448.  
  449.  
  450.  
  451.   To get advanced command statistics, type:
  452.  
  453.  
  454.  
  455.        % echo "eata_dma latency" > /proc/scsi/eata_dma/N
  456.  
  457.  
  458.  
  459.  
  460.   Then you can do a:
  461.  
  462.  
  463.        % cat /proc/scsi/eata_dma/N
  464.  
  465.  
  466.  
  467.  
  468.   to get more detailed statistics.
  469.  
  470.   To turn off advanced command statistics, type:
  471.  
  472.  
  473.  
  474.        % echo "eata_dma nolatency" > /proc/scsi/eata_dma/N
  475.  
  476.  
  477.  
  478.  
  479.   7.  Troubleshooting
  480.  
  481.   7.1.  Upon bootup, no SCSI hosts are detected
  482.  
  483.   This could be due to several reasons, but it's probably because the
  484.   appropriate driver is not configured in the kernel. Check and make
  485.   sure the appropriate driver (EATA-DMA or EATA ISA/EISA/PCI for most
  486.   DPT cards) is configured.
  487.  
  488.   7.2.  RAID configuration shows up as N different disks
  489.  
  490.   The RAID has not been configured properly.  If you're using a DPT
  491.   storage manager, you need to configure the RAID disks as a single
  492.   logical array.  Michael Neuffer (neuffer@kralle.zdv.uni-mainz.de)
  493.   writes: "When you configure the controller with the SM start it with
  494.   the parameter /FW0 and/or select Solaris as OS. This will cause the
  495.   array to be setup to be managed internally by the controller."
  496.  
  497.   7.3.  Machine/controller is shut down in the middle of a format
  498.  
  499.   As stated in the DPT manual, this is clearly a no-no and might require
  500.   the disks to be returned to the manufactured, since the DPT Storage
  501.   Manager might not be able format it. However, you might be able to
  502.   perform a low level format on it, using a program supplied by DPT,
  503.   called clfmt in their utilities page
  504.   (http://www.dpt.com/techsup/sr4utils.htm). Read the instructions after
  505.   unzipping the clfmt.zip file on how to use it (and use it wisely).
  506.   Once you do the low level format, you might be able to treat the disks
  507.   like new. Use this program carefully!
  508.  
  509.   7.4.  If all fails...
  510.  
  511.   Read the SCSI-HOWTO again.  Check the cabling and the termination.
  512.   Try a different machine if you have access to one.  The most common
  513.   cause of problems with SCSI devices and drivers is because of faulty
  514.   or misconfigured hardware.  Finally, you can post to the various
  515.   newsgroups or e-mail me, and I'll do my best to get back to you.
  516.  
  517.   8.  References
  518.  
  519.   The following documents may prove useful to you as you set up RAID:
  520.  
  521.  
  522.   ╖  DPT Technology Library <http://www.dpt.com/library.htm>
  523.  
  524.   ╖  EATA-DMA homepage <http://www.uni-
  525.      mainz.de/~neuffer/scsi/dpt/index.html>
  526.  
  527.   ╖  Linux Disk HOWTO <http://sunsite.unc.edu/mdw/HOWTO/Disk-HOWTO.html>
  528.  
  529.   ╖  Linux Kernel HOWTO <http://sunsite.unc.edu/mdw/HOWTO/Kernel-
  530.      HOWTO.html>
  531.  
  532.   ╖  Linux SCSI HOWTO <http://sunsite.unc.edu/mdw/HOWTO/SCSI-HOWTO.html>
  533.  
  534.   ╖  Multi Disk System Tuning HOWTO
  535.      <http://www.nyx.net/~sgjoen/disk.html>
  536.  
  537.   ╖  RAID Solutions for Linux <http://linas.org/linux/raid.html>
  538.  
  539.   9.  Acknowledgements
  540.  
  541.   The following people have been helpful in getting this HOWTO done:
  542.  
  543.  
  544.   ╖  Andreas Koepf (A_Koepf@icp-vortex.com)
  545.  
  546.   ╖  Boris Fain (fain@zen.stanford.edu)
  547.  
  548.   ╖  Dario Ballabio (Dario_Ballabio@milano.europe.dg.com)
  549.  
  550.   ╖  Heiko Rommel (Heiko.Rommel@Uni-Bielefeld.DE)
  551.  
  552.   ╖  Jos Vos (jos@xos.nl)
  553.  
  554.   ╖  Michael Neuffer (neuffer@kralle.zdv.uni-mainz.de)
  555.  
  556.   ╖  Ralph Wallace (rwallace@rwallace.interaccess.com)
  557.  
  558.   ╖  Russell Brown (russell@lutton.lls.com)
  559.  
  560.   ╖  Syunsuke Ogata (Syunsuke_Ogata@appear.ne.jp)
  561.  
  562.   ╖  Tom Brown (tbrown@baremetal.com)
  563.  
  564.  
  565.  
  566.  
  567.  
  568.  
  569.  
  570.  
  571.  
  572.  
  573.  
  574.  
  575.  
  576.  
  577.  
  578.  
  579.  
  580.  
  581.  
  582.  
  583.  
  584.  
  585.  
  586.  
  587.  
  588.  
  589.  
  590.  
  591.  
  592.  
  593.  
  594.  
  595.