三 Python进程

3.1 multiprocessing类对象

from multiprocessing import Processdef bar(i):    print('hello NO.{0}'.format(i))for i in range(10):    p = Process(target=bar, args=(i,))    p.start()

ps:由于进程之间的数据需要各自持有一份，所以创建进程需要的非常大的开销。

multiprocessing的特点：

• Python中的多进程管理模块是multiprocessing模块。
• 通过multiprocessing.Process来创建一个进程对象，Process对象与Thread对象的用法相同，也有start(), run(), join()的方法。
• multiprocessing与threading一样，调用同一套API。

3.2 进程间通讯

。。。

四 协程

与一个进程可以包含多个线程一样，一个程序可以包含多个协程，因而下面我们来比较协程和线程。

我们知道多个线程相对独立，有自己的上下文，切换受系统控制；

而协程也相对独立，有自己的上下文，但是其切换由自己控制，例如，A协程切换到B协程是由A协程来控制的。

协程原理：

协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。

因此，协程能保留上一次调用时的状态（即所有局部状态的一个特定组合），每次过程重入时，就相当于进入上一次调用的状态，换种说法：进入上一次离开时所处逻辑流的位置。

4.1 yield实现协程

协程的特点：

• 协程是单线程，不能再切换
• 不再有任何锁的概念

整个流程无锁，由一个线程执行，produce和consumer协作完成任务，所以称为“协程”，而非线程的抢占式多任务。

import timedef consumer():    r = ''    while True:        n = yield r        if not n:            return        print('[CONSUMER] ←← Consuming %s...' % n)        time.sleep(1)        r = '200 OK'def produce(c):    next(c)    n = 0    while n < 5:        n = n + 1        print('[PRODUCER] →→ Producing %s...' % n)        cr = c.send(n)        print('[PRODUCER] Consumer return: %s' % cr)    c.close()if __name__ == '__main__':    c = consumer()    produce(c)

原理：

生成器函数或者协程函数中的yield语句挂起函数的执行，直到稍后使用next()或send()操作进行恢复为止。

4.2 greenlet

greenlet机制的主要思想：

可以使用一个调度器循环在一组生成器函数之间协作多个任务。

greenlet是python中实现我们所谓的"Coroutine(协程)"的一个基础库.

特点：

• 方便手动切换

调用switch()方法，进行切换

from greenlet import greenlet def test1():    print (12)    gr2.switch()    print (34)    gr2.switch() def test2():    print (56)    gr1.switch()    print (78) gr1 = greenlet(test1)gr2 = greenlet(test2)gr1.switch()

4.3 gevent

gevent是第三方库，通过greenlet实现协程。

原理：

当一个greenlet遇到IO操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。

特点：

• 自动切换

监听IO，实现自动切换

import geventimport timedef foo():    print("running in foo")    gevent.sleep(2)    print("switch to foo again")def bar():    print("switch to bar")    gevent.sleep(5)    print("switch to bar again")start=time.time()gevent.joinall( #启动函数    [gevent.spawn(foo),    gevent.spawn(bar)])print(time.time()-start)

ps：由于切换是在IO操作时自动完成，所以gevent需要修改Python自带的一些标准库，这一过程在启动时通过monkey patch完成：

from gevent import monkeymonkey.patch_all()import geventfrom urllib import requestimport timedef f(url):    print('GET: %s' % url)    resp = request.urlopen(url) #urlopen去页面取出页面内容，起到IO作用    data = resp.read()    print('%d bytes received from %s.' % (len(data), url))start=time.time()gevent.joinall([        gevent.spawn(f, 'https://itk.org/'),        gevent.spawn(f, 'https://www.github.com/'),        gevent.spawn(f, 'https://zhihu.com/'),])# f('https://itk.org/')# f('https://www.github.com/')# f('https://zhihu.com/')print(time.time()-start)