多线程通信—生产者和消费者模式

飞熊 • 2023年3月5日上午10:33 • Python • 阅读 193

1、队列Queue：

从一个线程向另一个线程发送数据最安全的方式可能就是使用queue库中的队列了。创建一个被多个线程共享的Queue对象，这些线程通过使用put()和get()操作来向队列中添加或者删除元素。Queue对象已经包含了必要的锁，所以你可以通过它在多个线程间多安全地共享数据。

2、创建一个队列

q = queue.Queue(1000) 创建一个先进先出的队列
q=queue.LifoQueue 创建一个后进先出的队列
q=queue.PriorityQueue 优先级的队列

3、队列Queue中包含的方法

Queue.qsize()：返回队列的大小；
Queue.empty()：如果队列为空，返回True,反之False；
Queue.full()：如果队列满了，返回True,反之False；
Queue.full()：与maxsize 大小对应
Queue.get([block[，timeout]])：获取队列,timeout等待时间
Queue.get_nowait()：相当Queue.get(False)
Queue.put(item)写入队列，timeout等待时间
Queue.put_nowait(item)：相当Queue.put(item，False)
Queue.taskdone()：在完成一项工作之后，Queue.taskdone()函数向任务已经完成的队列发送一个信号
Queue.join()：实际上意味着等到队列为空，再执行别的操作

4、生产者和消费者

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。
生产者消费者模式是通过一个容器（Queue）来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。
上面的代码如果不加以人工干预，本代码将会一直执行下去。从输出结果来看，除了最初还有部分剩余产品外，后面只要产品生产出来后就被消费了。这也是可以解释的，因为消费者消费产品的速度要快于生产者生产产品的速度。
原理图

生产者就是生产数据放到队列中
消费者就是从队列中获取数据
生产者和消费者都可以有多个

import threading
import time
import queue

# 创建一个队列，1000代表maxSize
q = queue.Queue(1000)  # 创建一个先进先出的队列
# q=queue.LifoQueue  #创建一个后进先出的队列
# q=queue.PriorityQueue  #优先级的队列


# 定义生产者线程
class Producer(threading.Thread):

    def run(self):
        global q
        count = 0
        while True:
            if q.qsize() < 1000:
                # 直接生产100数据
                for i in range(100):
                    count += 1
                    msg = "产品{}".format(count)
                    q.put(msg)
                    print(msg)
                time.sleep(2)


# 定义消费者线程
class Consumer(threading.Thread):

    def run(self):
        global q
        while True:
            for i in range(100):
                msg = q.get()
                print('消费线程得到了数据：{}'.format(msg))
            time.sleep(3)


if __name__ == '__main__':
    t1 = Producer()

    t2 = Consumer()
    t1.start()
    t2.start()