Python producer consumer model

1.生产者消费者模型：厨师做包子与顾客吃包子
2.Python的消息队列
3.利用消息队列实现Python多线程异步交互
4.再谈耦合度的问题

 

1.生产者消费者模型

通过厨师做包子与顾客吃包子来引出生产者消费者模型，如下图：

这里，厨师相当于生产者，顾客相当于消费者，顾客吃包子，厨师做包子。做一个假设，如果厨师做包子的速度远远比顾客吃包子的速度要快，有这样一种情况，厨师等顾客吃完一个包子后再做下一个包子（这时我们说厨师与顾客的耦合度高，即厨师做包子与顾客吃包子是紧密相连的），这样显然效率会很低，现实情况中也不可能是这样，因为一旦顾客多时，厨师就有可能忙不过来了。

可以尝试这样解决：不管顾客有没有吃完包子，厨师也继续做包子，但此时是先把包子放在一个包子柜台中，等顾客有需要时再去包子柜台拿包子。如此一来，厨师和顾客的耦合度就变低了，即厨师做包子并不取决于顾客是否把包子吃完，这样的话效率显然就会高多。

2.Python中的消息队列

通过上面的例子中，就可以引出消息队列了：包子柜台即相当于Python中的消息队列（当然不只有Python才有消息队列）。根据上面的例子，我们做下面的类比分析。

类比分析1：厨师和包子相当于是两个线程（假设线程A和线程B），厨师做的包子即相当于是线程A执行后的结果，而线程B的执行需要利用线程A的执行结果，并且，线程A的执行速度比线程B的执行速度要快。

类比分析2：厨师不会等顾客吃完包子后再做下一个包子，即线程A也不会等线程B使用线程A的执行结果后再去执行下一次功能相同的线程A2，否则程序运行效率会很低。

类比分析3：厨师把做好的包子放在包子柜台里，顾客吃完一个包子后再去包子柜台取，线程A把执行结果存放在消息队列中，然后再执行下一个功能相同的线程A2，线程B在消息队列中取胜线程A的执行结果，然后再执行下一个功能相同的线程B2，如此类推。

通过上面的分析，我们就可以知道，通过使用消息队列，我们就可以降低两个线程之间的耦合度，这样就可以提高程序的运行效率。

3.利用消息队列实现Python多线程异步交互

上面的例子，线程A和线程B的执行速度是不一样的（异步），但却线程B却需要使用线程A的执行结果（交互），通过使用Python的消息队列，就可以实现线程的异步交互。

程序代码如下：

#!/usr/bin/env pythonimport threading, time
import Queue    #导入消息队列模块
import random   #导入随机数模块，是为了模拟生产者与消费者速度不一致的情形
q = Queue.Queue()    #实例化一个对象def Producer(name):          #生产者函数for i in range(20):  q.put(i)     #将结果放入消息队列中print '\033[32;1mProducer %s has made %s baozi....\033[0m' % (name, i)time.sleep(random.randrange(3))    #生产者的生产速度，3s内
def Consumer(name):          #消费者函数count = 0while count < 20:data = q.get()    #取用消息队列中存放的结果print '\033[31;1mConsumer %s has eatem %s baozi...chihuo...\033[0m' % (name, data)count += 1time.sleep(random.randrange(4))    #消费者的消费速度，4s内p = threading.Thread(target = Producer, args = ('Alex',))
c = threading.Thread(target = Consumer, args = ('Wangfanhao',))p.start()
c.start()

 

程序执行结果如下：

利用这个程序，很好地模拟了前面“厨师做包子顾客吃包子”的例子，而从程序的执行结果中也可以看出，线程的执行是异步的，尽管如此，数据还是进行了交互，作用是：在多线程和多线程之间进行数据交互的时候，不会出现数据的阻塞。

基于前面3点，对Python多线程异步交互应该是有一个比较好的理解了。

4.再谈耦合度的问题

继续前面“厨师做包子与顾客吃包子”的问题，有一个问题，如果包子的制作是两个厨师完成，即一个做馅，一个包包子，那么正常情况下，两个人的工作需要串行完成才能做完一个包子，即这两个人的耦合度非常高，也就是说他们的工作联系紧密，在这种情况下，我们应该尽可能地减少这种耦合度，这时，只需要在两个厨师之间再加一个队列，即厨师A把馅做好后就放在队列中，厨师B根据自己做包子的快慢去取馅，这样就不会出现厨师A非得等厨师B把一个包子包完了再去做另一个包子的馅，厨师B也不一定需要先等厨师A把手头上的馅做好才去包包子，因为这时队列中已经有馅了，如此因为，再根据两个两项工作速度的不同，给厨师A或厨师B再多增加一名或多名助手，就可以大大地增加整一个做包子的速度了。

运用在写程序的过程中，也应该要这样去思考。