求解决,java类.lang.IllegalStateException异常。 声明,本地、测试服务器、正式服务器都是同一个工程。

版权声明:本文为博主原创文章遵循

版权协议,转载请附上原文出处链接和本声明

我们在做文件上传或者下载或鍺过滤等操作时,可能要用到页面的输出流.
例如在action中使用:

Kafka设计的初衷是迅速处理短小的消息一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候我们需要处理更大的消息,比如XML文档或JSON内容一个消息差不多有10-100M,這种情况下Kakfa应该如何处理?

针对这个问题有以下几个建议:

  • 最好的方法是不直接传送这些大的数据。如果有共享存储如NAS, HDFS, S3等,可以把這些大的文件存放到共享存储然后使用Kafka来传送文件的位置信息。
  • 第二个方法是将大的消息数据切片或切块,在生产端将数据切片为10K大尛使用分区主键确保一个大消息的所有部分会被发送到同一个kafka分区(这样每一部分的拆分顺序得以保留),如此以来当消费端使用时會将这些部分重新还原为原始的消息。
  • 这个错误提示比较直白意思是消费者消费了数据,但在规定时间内没有commit所以kafka认为这个consumer挂掉了,這时对consumer的group进行再平衡

加载中,请稍候......

我要回帖

更多关于 java类 的文章

 

随机推荐