使用redis的发布订阅模式,有个缺点就是这种方式虽然能保证每个进程能拿到相同的消息,
但是如果发布者发送消息过快,而且在这一时刻数据量很大,那么会存在数据丢失问题,而且接收方还存在乱序现象。
测试的时候分别发送1w和5k数据,发送1w条消息时有数据丢失现象,发送5k条消息时没有。
请问大家在在使用redis作为broker时是怎么配置的,如果直接用生产者-消费者模式,那么多个logstash监听
同一个队列,进程直接存在竞争关系,导致每个进程的到的数据都不是完整的。但是用发布订阅模式的话如果日志
刷新速率很快会导致数据丢失问题产生,请问有经验的前辈该怎么解决呢?目前的需求就是多个logstash监听同一
个队列,都能获取到相同的数据。谢谢!