home *** CD-ROM | disk | FTP | other *** search
/ PC World 2005 June / PCWorld_2005-06_cd.bin / software / vyzkuste / firewally / firewally.exe / framework-2.3.exe / threading.py < prev    next >
Text File  |  2003-12-30  |  22KB  |  719 lines
  1. """Thread module emulating a subset of Java's threading model."""
  2.  
  3. import sys as _sys
  4.  
  5. try:
  6.     import thread
  7. except ImportError:
  8.     del _sys.modules[__name__]
  9.     raise
  10.  
  11. from StringIO import StringIO as _StringIO
  12. from time import time as _time, sleep as _sleep
  13. from traceback import print_exc as _print_exc
  14.  
  15. # Rename some stuff so "from threading import *" is safe
  16. __all__ = ['activeCount', 'Condition', 'currentThread', 'enumerate', 'Event',
  17.            'Lock', 'RLock', 'Semaphore', 'BoundedSemaphore', 'Thread',
  18.            'Timer', 'setprofile', 'settrace']
  19.  
  20. _start_new_thread = thread.start_new_thread
  21. _allocate_lock = thread.allocate_lock
  22. _get_ident = thread.get_ident
  23. ThreadError = thread.error
  24. del thread
  25.  
  26.  
  27. # Debug support (adapted from ihooks.py).
  28. # All the major classes here derive from _Verbose.  We force that to
  29. # be a new-style class so that all the major classes here are new-style.
  30. # This helps debugging (type(instance) is more revealing for instances
  31. # of new-style classes).
  32.  
  33. _VERBOSE = False
  34.  
  35. if __debug__:
  36.  
  37.     class _Verbose(object):
  38.  
  39.         def __init__(self, verbose=None):
  40.             if verbose is None:
  41.                 verbose = _VERBOSE
  42.             self.__verbose = verbose
  43.  
  44.         def _note(self, format, *args):
  45.             if self.__verbose:
  46.                 format = format % args
  47.                 format = "%s: %s\n" % (
  48.                     currentThread().getName(), format)
  49.                 _sys.stderr.write(format)
  50.  
  51. else:
  52.     # Disable this when using "python -O"
  53.     class _Verbose(object):
  54.         def __init__(self, verbose=None):
  55.             pass
  56.         def _note(self, *args):
  57.             pass
  58.  
  59. # Support for profile and trace hooks
  60.  
  61. _profile_hook = None
  62. _trace_hook = None
  63.  
  64. def setprofile(func):
  65.     global _profile_hook
  66.     _profile_hook = func
  67.  
  68. def settrace(func):
  69.     global _trace_hook
  70.     _trace_hook = func
  71.  
  72. # Synchronization classes
  73.  
  74. Lock = _allocate_lock
  75.  
  76. def RLock(*args, **kwargs):
  77.     return _RLock(*args, **kwargs)
  78.  
  79. class _RLock(_Verbose):
  80.  
  81.     def __init__(self, verbose=None):
  82.         _Verbose.__init__(self, verbose)
  83.         self.__block = _allocate_lock()
  84.         self.__owner = None
  85.         self.__count = 0
  86.  
  87.     def __repr__(self):
  88.         return "<%s(%s, %d)>" % (
  89.                 self.__class__.__name__,
  90.                 self.__owner and self.__owner.getName(),
  91.                 self.__count)
  92.  
  93.     def acquire(self, blocking=1):
  94.         me = currentThread()
  95.         if self.__owner is me:
  96.             self.__count = self.__count + 1
  97.             if __debug__:
  98.                 self._note("%s.acquire(%s): recursive success", self, blocking)
  99.             return 1
  100.         rc = self.__block.acquire(blocking)
  101.         if rc:
  102.             self.__owner = me
  103.             self.__count = 1
  104.             if __debug__:
  105.                 self._note("%s.acquire(%s): initial succes", self, blocking)
  106.         else:
  107.             if __debug__:
  108.                 self._note("%s.acquire(%s): failure", self, blocking)
  109.         return rc
  110.  
  111.     def release(self):
  112.         me = currentThread()
  113.         assert self.__owner is me, "release() of un-acquire()d lock"
  114.         self.__count = count = self.__count - 1
  115.         if not count:
  116.             self.__owner = None
  117.             self.__block.release()
  118.             if __debug__:
  119.                 self._note("%s.release(): final release", self)
  120.         else:
  121.             if __debug__:
  122.                 self._note("%s.release(): non-final release", self)
  123.  
  124.     # Internal methods used by condition variables
  125.  
  126.     def _acquire_restore(self, (count, owner)):
  127.         self.__block.acquire()
  128.         self.__count = count
  129.         self.__owner = owner
  130.         if __debug__:
  131.             self._note("%s._acquire_restore()", self)
  132.  
  133.     def _release_save(self):
  134.         if __debug__:
  135.             self._note("%s._release_save()", self)
  136.         count = self.__count
  137.         self.__count = 0
  138.         owner = self.__owner
  139.         self.__owner = None
  140.         self.__block.release()
  141.         return (count, owner)
  142.  
  143.     def _is_owned(self):
  144.         return self.__owner is currentThread()
  145.  
  146.  
  147. def Condition(*args, **kwargs):
  148.     return _Condition(*args, **kwargs)
  149.  
  150. class _Condition(_Verbose):
  151.  
  152.     def __init__(self, lock=None, verbose=None):
  153.         _Verbose.__init__(self, verbose)
  154.         if lock is None:
  155.             lock = RLock()
  156.         self.__lock = lock
  157.         # Export the lock's acquire() and release() methods
  158.         self.acquire = lock.acquire
  159.         self.release = lock.release
  160.         # If the lock defines _release_save() and/or _acquire_restore(),
  161.         # these override the default implementations (which just call
  162.         # release() and acquire() on the lock).  Ditto for _is_owned().
  163.         try:
  164.             self._release_save = lock._release_save
  165.         except AttributeError:
  166.             pass
  167.         try:
  168.             self._acquire_restore = lock._acquire_restore
  169.         except AttributeError:
  170.             pass
  171.         try:
  172.             self._is_owned = lock._is_owned
  173.         except AttributeError:
  174.             pass
  175.         self.__waiters = []
  176.  
  177.     def __repr__(self):
  178.         return "<Condition(%s, %d)>" % (self.__lock, len(self.__waiters))
  179.  
  180.     def _release_save(self):
  181.         self.__lock.release()           # No state to save
  182.  
  183.     def _acquire_restore(self, x):
  184.         self.__lock.acquire()           # Ignore saved state
  185.  
  186.     def _is_owned(self):
  187.         # Return True if lock is owned by currentThread.
  188.         # This method is called only if __lock doesn't have _is_owned().
  189.         if self.__lock.acquire(0):
  190.             self.__lock.release()
  191.             return False
  192.         else:
  193.             return True
  194.  
  195.     def wait(self, timeout=None):
  196.         currentThread() # for side-effect
  197.         assert self._is_owned(), "wait() of un-acquire()d lock"
  198.         waiter = _allocate_lock()
  199.         waiter.acquire()
  200.         self.__waiters.append(waiter)
  201.         saved_state = self._release_save()
  202.         try:    # restore state no matter what (e.g., KeyboardInterrupt)
  203.             if timeout is None:
  204.                 waiter.acquire()
  205.                 if __debug__:
  206.                     self._note("%s.wait(): got it", self)
  207.             else:
  208.                 # Balancing act:  We can't afford a pure busy loop, so we
  209.                 # have to sleep; but if we sleep the whole timeout time,
  210.                 # we'll be unresponsive.  The scheme here sleeps very
  211.                 # little at first, longer as time goes on, but never longer
  212.                 # than 20 times per second (or the timeout time remaining).
  213.                 endtime = _time() + timeout
  214.                 delay = 0.0005 # 500 us -> initial delay of 1 ms
  215.                 while True:
  216.                     gotit = waiter.acquire(0)
  217.                     if gotit:
  218.                         break
  219.                     remaining = endtime - _time()
  220.                     if remaining <= 0:
  221.                         break
  222.                     delay = min(delay * 2, remaining, .05)
  223.                     _sleep(delay)
  224.                 if not gotit:
  225.                     if __debug__:
  226.                         self._note("%s.wait(%s): timed out", self, timeout)
  227.                     try:
  228.                         self.__waiters.remove(waiter)
  229.                     except ValueError:
  230.                         pass
  231.                 else:
  232.                     if __debug__:
  233.                         self._note("%s.wait(%s): got it", self, timeout)
  234.         finally:
  235.             self._acquire_restore(saved_state)
  236.  
  237.     def notify(self, n=1):
  238.         currentThread() # for side-effect
  239.         assert self._is_owned(), "notify() of un-acquire()d lock"
  240.         __waiters = self.__waiters
  241.         waiters = __waiters[:n]
  242.         if not waiters:
  243.             if __debug__:
  244.                 self._note("%s.notify(): no waiters", self)
  245.             return
  246.         self._note("%s.notify(): notifying %d waiter%s", self, n,
  247.                    n!=1 and "s" or "")
  248.         for waiter in waiters:
  249.             waiter.release()
  250.             try:
  251.                 __waiters.remove(waiter)
  252.             except ValueError:
  253.                 pass
  254.  
  255.     def notifyAll(self):
  256.         self.notify(len(self.__waiters))
  257.  
  258.  
  259. def Semaphore(*args, **kwargs):
  260.     return _Semaphore(*args, **kwargs)
  261.  
  262. class _Semaphore(_Verbose):
  263.  
  264.     # After Tim Peters' semaphore class, but not quite the same (no maximum)
  265.  
  266.     def __init__(self, value=1, verbose=None):
  267.         assert value >= 0, "Semaphore initial value must be >= 0"
  268.         _Verbose.__init__(self, verbose)
  269.         self.__cond = Condition(Lock())
  270.         self.__value = value
  271.  
  272.     def acquire(self, blocking=1):
  273.         rc = False
  274.         self.__cond.acquire()
  275.         while self.__value == 0:
  276.             if not blocking:
  277.                 break
  278.             if __debug__:
  279.                 self._note("%s.acquire(%s): blocked waiting, value=%s",
  280.                            self, blocking, self.__value)
  281.             self.__cond.wait()
  282.         else:
  283.             self.__value = self.__value - 1
  284.             if __debug__:
  285.                 self._note("%s.acquire: success, value=%s",
  286.                            self, self.__value)
  287.             rc = True
  288.         self.__cond.release()
  289.         return rc
  290.  
  291.     def release(self):
  292.         self.__cond.acquire()
  293.         self.__value = self.__value + 1
  294.         if __debug__:
  295.             self._note("%s.release: success, value=%s",
  296.                        self, self.__value)
  297.         self.__cond.notify()
  298.         self.__cond.release()
  299.  
  300.  
  301. def BoundedSemaphore(*args, **kwargs):
  302.     return _BoundedSemaphore(*args, **kwargs)
  303.  
  304. class _BoundedSemaphore(_Semaphore):
  305.     """Semaphore that checks that # releases is <= # acquires"""
  306.     def __init__(self, value=1, verbose=None):
  307.         _Semaphore.__init__(self, value, verbose)
  308.         self._initial_value = value
  309.  
  310.     def release(self):
  311.         if self._Semaphore__value >= self._initial_value:
  312.             raise ValueError, "Semaphore released too many times"
  313.         return _Semaphore.release(self)
  314.  
  315.  
  316. def Event(*args, **kwargs):
  317.     return _Event(*args, **kwargs)
  318.  
  319. class _Event(_Verbose):
  320.  
  321.     # After Tim Peters' event class (without is_posted())
  322.  
  323.     def __init__(self, verbose=None):
  324.         _Verbose.__init__(self, verbose)
  325.         self.__cond = Condition(Lock())
  326.         self.__flag = False
  327.  
  328.     def isSet(self):
  329.         return self.__flag
  330.  
  331.     def set(self):
  332.         self.__cond.acquire()
  333.         try:
  334.             self.__flag = True
  335.             self.__cond.notifyAll()
  336.         finally:
  337.             self.__cond.release()
  338.  
  339.     def clear(self):
  340.         self.__cond.acquire()
  341.         try:
  342.             self.__flag = False
  343.         finally:
  344.             self.__cond.release()
  345.  
  346.     def wait(self, timeout=None):
  347.         self.__cond.acquire()
  348.         try:
  349.             if not self.__flag:
  350.                 self.__cond.wait(timeout)
  351.         finally:
  352.             self.__cond.release()
  353.  
  354. # Helper to generate new thread names
  355. _counter = 0
  356. def _newname(template="Thread-%d"):
  357.     global _counter
  358.     _counter = _counter + 1
  359.     return template % _counter
  360.  
  361. # Active thread administration
  362. _active_limbo_lock = _allocate_lock()
  363. _active = {}
  364. _limbo = {}
  365.  
  366.  
  367. # Main class for threads
  368.  
  369. class Thread(_Verbose):
  370.  
  371.     __initialized = False
  372.  
  373.     def __init__(self, group=None, target=None, name=None,
  374.                  args=(), kwargs={}, verbose=None):
  375.         assert group is None, "group argument must be None for now"
  376.         _Verbose.__init__(self, verbose)
  377.         self.__target = target
  378.         self.__name = str(name or _newname())
  379.         self.__args = args
  380.         self.__kwargs = kwargs
  381.         self.__daemonic = self._set_daemon()
  382.         self.__started = False
  383.         self.__stopped = False
  384.         self.__block = Condition(Lock())
  385.         self.__initialized = True
  386.  
  387.     def _set_daemon(self):
  388.         # Overridden in _MainThread and _DummyThread
  389.         return currentThread().isDaemon()
  390.  
  391.     def __repr__(self):
  392.         assert self.__initialized, "Thread.__init__() was not called"
  393.         status = "initial"
  394.         if self.__started:
  395.             status = "started"
  396.         if self.__stopped:
  397.             status = "stopped"
  398.         if self.__daemonic:
  399.             status = status + " daemon"
  400.         return "<%s(%s, %s)>" % (self.__class__.__name__, self.__name, status)
  401.  
  402.     def start(self):
  403.         assert self.__initialized, "Thread.__init__() not called"
  404.         assert not self.__started, "thread already started"
  405.         if __debug__:
  406.             self._note("%s.start(): starting thread", self)
  407.         _active_limbo_lock.acquire()
  408.         _limbo[self] = self
  409.         _active_limbo_lock.release()
  410.         _start_new_thread(self.__bootstrap, ())
  411.         self.__started = True
  412.         _sleep(0.000001)    # 1 usec, to let the thread run (Solaris hack)
  413.  
  414.     def run(self):
  415.         if self.__target:
  416.             self.__target(*self.__args, **self.__kwargs)
  417.  
  418.     def __bootstrap(self):
  419.         try:
  420.             self.__started = True
  421.             _active_limbo_lock.acquire()
  422.             _active[_get_ident()] = self
  423.             del _limbo[self]
  424.             _active_limbo_lock.release()
  425.             if __debug__:
  426.                 self._note("%s.__bootstrap(): thread started", self)
  427.  
  428.             if _trace_hook:
  429.                 self._note("%s.__bootstrap(): registering trace hook", self)
  430.                 _sys.settrace(_trace_hook)
  431.             if _profile_hook:
  432.                 self._note("%s.__bootstrap(): registering profile hook", self)
  433.                 _sys.setprofile(_profile_hook)
  434.  
  435.             try:
  436.                 self.run()
  437.             except SystemExit:
  438.                 if __debug__:
  439.                     self._note("%s.__bootstrap(): raised SystemExit", self)
  440.             except:
  441.                 if __debug__:
  442.                     self._note("%s.__bootstrap(): unhandled exception", self)
  443.                 s = _StringIO()
  444.                 _print_exc(file=s)
  445.                 _sys.stderr.write("Exception in thread %s:\n%s\n" %
  446.                                  (self.getName(), s.getvalue()))
  447.             else:
  448.                 if __debug__:
  449.                     self._note("%s.__bootstrap(): normal return", self)
  450.         finally:
  451.             self.__stop()
  452.             try:
  453.                 self.__delete()
  454.             except:
  455.                 pass
  456.  
  457.     def __stop(self):
  458.         self.__block.acquire()
  459.         self.__stopped = True
  460.         self.__block.notifyAll()
  461.         self.__block.release()
  462.  
  463.     def __delete(self):
  464.         _active_limbo_lock.acquire()
  465.         del _active[_get_ident()]
  466.         _active_limbo_lock.release()
  467.  
  468.     def join(self, timeout=None):
  469.         assert self.__initialized, "Thread.__init__() not called"
  470.         assert self.__started, "cannot join thread before it is started"
  471.         assert self is not currentThread(), "cannot join current thread"
  472.         if __debug__:
  473.             if not self.__stopped:
  474.                 self._note("%s.join(): waiting until thread stops", self)
  475.         self.__block.acquire()
  476.         if timeout is None:
  477.             while not self.__stopped:
  478.                 self.__block.wait()
  479.             if __debug__:
  480.                 self._note("%s.join(): thread stopped", self)
  481.         else:
  482.             deadline = _time() + timeout
  483.             while not self.__stopped:
  484.                 delay = deadline - _time()
  485.                 if delay <= 0:
  486.                     if __debug__:
  487.                         self._note("%s.join(): timed out", self)
  488.                     break
  489.                 self.__block.wait(delay)
  490.             else:
  491.                 if __debug__:
  492.                     self._note("%s.join(): thread stopped", self)
  493.         self.__block.release()
  494.  
  495.     def getName(self):
  496.         assert self.__initialized, "Thread.__init__() not called"
  497.         return self.__name
  498.  
  499.     def setName(self, name):
  500.         assert self.__initialized, "Thread.__init__() not called"
  501.         self.__name = str(name)
  502.  
  503.     def isAlive(self):
  504.         assert self.__initialized, "Thread.__init__() not called"
  505.         return self.__started and not self.__stopped
  506.  
  507.     def isDaemon(self):
  508.         assert self.__initialized, "Thread.__init__() not called"
  509.         return self.__daemonic
  510.  
  511.     def setDaemon(self, daemonic):
  512.         assert self.__initialized, "Thread.__init__() not called"
  513.         assert not self.__started, "cannot set daemon status of active thread"
  514.         self.__daemonic = daemonic
  515.  
  516. # The timer class was contributed by Itamar Shtull-Trauring
  517.  
  518. def Timer(*args, **kwargs):
  519.     return _Timer(*args, **kwargs)
  520.  
  521. class _Timer(Thread):
  522.     """Call a function after a specified number of seconds:
  523.  
  524.     t = Timer(30.0, f, args=[], kwargs={})
  525.     t.start()
  526.     t.cancel() # stop the timer's action if it's still waiting
  527.     """
  528.  
  529.     def __init__(self, interval, function, args=[], kwargs={}):
  530.         Thread.__init__(self)
  531.         self.interval = interval
  532.         self.function = function
  533.         self.args = args
  534.         self.kwargs = kwargs
  535.         self.finished = Event()
  536.  
  537.     def cancel(self):
  538.         """Stop the timer if it hasn't finished yet"""
  539.         self.finished.set()
  540.  
  541.     def run(self):
  542.         self.finished.wait(self.interval)
  543.         if not self.finished.isSet():
  544.             self.function(*self.args, **self.kwargs)
  545.         self.finished.set()
  546.  
  547. # Special thread class to represent the main thread
  548. # This is garbage collected through an exit handler
  549.  
  550. class _MainThread(Thread):
  551.  
  552.     def __init__(self):
  553.         Thread.__init__(self, name="MainThread")
  554.         self._Thread__started = True
  555.         _active_limbo_lock.acquire()
  556.         _active[_get_ident()] = self
  557.         _active_limbo_lock.release()
  558.         import atexit
  559.         atexit.register(self.__exitfunc)
  560.  
  561.     def _set_daemon(self):
  562.         return False
  563.  
  564.     def __exitfunc(self):
  565.         self._Thread__stop()
  566.         t = _pickSomeNonDaemonThread()
  567.         if t:
  568.             if __debug__:
  569.                 self._note("%s: waiting for other threads", self)
  570.         while t:
  571.             t.join()
  572.             t = _pickSomeNonDaemonThread()
  573.         if __debug__:
  574.             self._note("%s: exiting", self)
  575.         self._Thread__delete()
  576.  
  577. def _pickSomeNonDaemonThread():
  578.     for t in enumerate():
  579.         if not t.isDaemon() and t.isAlive():
  580.             return t
  581.     return None
  582.  
  583.  
  584. # Dummy thread class to represent threads not started here.
  585. # These aren't garbage collected when they die,
  586. # nor can they be waited for.
  587. # Their purpose is to return *something* from currentThread().
  588. # They are marked as daemon threads so we won't wait for them
  589. # when we exit (conform previous semantics).
  590.  
  591. class _DummyThread(Thread):
  592.  
  593.     def __init__(self):
  594.         Thread.__init__(self, name=_newname("Dummy-%d"))
  595.         self._Thread__started = True
  596.         _active_limbo_lock.acquire()
  597.         _active[_get_ident()] = self
  598.         _active_limbo_lock.release()
  599.  
  600.     def _set_daemon(self):
  601.         return True
  602.  
  603.     def join(self, timeout=None):
  604.         assert False, "cannot join a dummy thread"
  605.  
  606.  
  607. # Global API functions
  608.  
  609. def currentThread():
  610.     try:
  611.         return _active[_get_ident()]
  612.     except KeyError:
  613.         ##print "currentThread(): no current thread for", _get_ident()
  614.         return _DummyThread()
  615.  
  616. def activeCount():
  617.     _active_limbo_lock.acquire()
  618.     count = len(_active) + len(_limbo)
  619.     _active_limbo_lock.release()
  620.     return count
  621.  
  622. def enumerate():
  623.     _active_limbo_lock.acquire()
  624.     active = _active.values() + _limbo.values()
  625.     _active_limbo_lock.release()
  626.     return active
  627.  
  628. # Create the main thread object
  629.  
  630. _MainThread()
  631.  
  632.  
  633. # Self-test code
  634.  
  635. def _test():
  636.  
  637.     class BoundedQueue(_Verbose):
  638.  
  639.         def __init__(self, limit):
  640.             _Verbose.__init__(self)
  641.             self.mon = RLock()
  642.             self.rc = Condition(self.mon)
  643.             self.wc = Condition(self.mon)
  644.             self.limit = limit
  645.             self.queue = []
  646.  
  647.         def put(self, item):
  648.             self.mon.acquire()
  649.             while len(self.queue) >= self.limit:
  650.                 self._note("put(%s): queue full", item)
  651.                 self.wc.wait()
  652.             self.queue.append(item)
  653.             self._note("put(%s): appended, length now %d",
  654.                        item, len(self.queue))
  655.             self.rc.notify()
  656.             self.mon.release()
  657.  
  658.         def get(self):
  659.             self.mon.acquire()
  660.             while not self.queue:
  661.                 self._note("get(): queue empty")
  662.                 self.rc.wait()
  663.             item = self.queue.pop(0)
  664.             self._note("get(): got %s, %d left", item, len(self.queue))
  665.             self.wc.notify()
  666.             self.mon.release()
  667.             return item
  668.  
  669.     class ProducerThread(Thread):
  670.  
  671.         def __init__(self, queue, quota):
  672.             Thread.__init__(self, name="Producer")
  673.             self.queue = queue
  674.             self.quota = quota
  675.  
  676.         def run(self):
  677.             from random import random
  678.             counter = 0
  679.             while counter < self.quota:
  680.                 counter = counter + 1
  681.                 self.queue.put("%s.%d" % (self.getName(), counter))
  682.                 _sleep(random() * 0.00001)
  683.  
  684.  
  685.     class ConsumerThread(Thread):
  686.  
  687.         def __init__(self, queue, count):
  688.             Thread.__init__(self, name="Consumer")
  689.             self.queue = queue
  690.             self.count = count
  691.  
  692.         def run(self):
  693.             while self.count > 0:
  694.                 item = self.queue.get()
  695.                 print item
  696.                 self.count = self.count - 1
  697.  
  698.     NP = 3
  699.     QL = 4
  700.     NI = 5
  701.  
  702.     Q = BoundedQueue(QL)
  703.     P = []
  704.     for i in range(NP):
  705.         t = ProducerThread(Q, NI)
  706.         t.setName("Producer-%d" % (i+1))
  707.         P.append(t)
  708.     C = ConsumerThread(Q, NI*NP)
  709.     for t in P:
  710.         t.start()
  711.         _sleep(0.000001)
  712.     C.start()
  713.     for t in P:
  714.         t.join()
  715.     C.join()
  716.  
  717. if __name__ == '__main__':
  718.     _test()
  719.