日志量大概一天 200 万的样子，以后可能会变大。
原因：
1.我传入的就是格式化好的 json 数据，看 Logstash 就是对输入的数据格式化输出到 es 里，所以我感觉这个 Logstash 对我没有什么用
2.主要就是担心性能了，那传入 kafka，然后输出到 es，是不是可以？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3310 days ago, the information mentioned may be changed or developed.
 |
CookyOct 12, 2017 via Android
1
es 可能抗不住，嫌弃 logstash 的话可以试试 rsyslog
|
|
CookyOct 12, 2017 via Android
2
哦不对，平均时间的话应该抗得住，集中一块就费尽了
|
 |
lfzyxOct 12, 2017
3
可以的，我就没用 logstash，而是自己用 python 写的
|
 |
xiaoshengyigeOct 12, 2017
4
kafka 靠谱。我们线上就这么用的。每天大概 400w+日志，供参考。
|
 |
hyperdak288Oct 12, 2017
5
Logstash 性能很差
你可以不用 filebeat 直接怼文件也行 |
 |
zxc337Oct 12, 2017
7
直接上 flume 吧
|
 |
FiveDDDOct 12, 2017
8
推荐 flume 和 kafka, logstash 真是性能差
|
 |
jyboxOct 12, 2017
9
不需要处理日志的话直接用 filebeat 好了，都是一家的东西，资源占用是 logstash 的十分之一
|
 |
WispZhanOct 12, 2017 via Android
10
有人对比 Graylog 么？
|
 |
binjjamOct 12, 2017
11
我是自己用 python 写脚本导入的，每天 1500~2000W 记录 8~12G
|
 |
LaxOct 12, 2017
12
输出 json 只是替代 logstash 的格式化功能，logstash 还有别的用途。
当然如果不在意数据完整性的话，没必要 logstash 以及 filebeat 或其它的 beat。 如果还想用 kafka 解决这些问题，何必舍近求远呢？ |
 |
yzmmOct 12, 2017
13
用官方的 java 的 API 就可以了
|
 |
S1ahs3rOct 12, 2017
14
filebeat 挺好的,内存 60M 左右跑的起来
|
 |
15
@Cooky 时间不固定，中午 12 点左右和下午 5-8 点之间会比较频繁。因为有 java，node，NGINX 等很多产生的日志，在考虑是写入文件收集还是写入 kafka，然后输出到 es
@xiaoshengyige 直接写入 es，担心会阻塞住，这个可以 @lfzyx 因为很多方面很多种不同的日志要手机，全部直接写入到 es 不知道会不会导致阻塞严重？ |
|
16
@hyperdak288 Beats 可以 tcp 直接发送业务 log 吗，因为有的不写入到文件，按照固定格式写入
|
 |
mengzhuoOct 12, 2017
17
可以~才 200w 每天
我们是 15w 每秒 kafka-es 3 台 es 抗住了 |
|
21
@mengzhuo 厉害了
|
 |
badtttOct 12, 2017
22
10W 每秒，自己写的 etl 工具采集
|
 |
owenliangOct 13, 2017
23
需要批量写，单条写肯定是扛不住。
|
Select Language