Filebeat日志采集工具

Filebeat介绍

1. Filebeat是一个轻量级的日志采集工具。
2. 常用的ELK日志采集方案中，大部分的做法都是将所有节点的日志内容通过filebeat送到kafka消息队列，然后使用logstash集群读取消息队列内容，根据配置文件进行过滤。最后将过滤之后的文件输送到elasticsearch中，通过kibana去展示。
3. 为什么不直接用logstash呢？因为logstash是jvm跑的，资源消耗比较大。

启动及配置

1. Filebeat可以配置同时输出到es和logstash以及kafka。
2. 启动Filebeat

./filebeat -e -c filebeat.yml

采集机制

1. 当开启filebeat的时候，它会启动一个或多个探测器（prospectors）去检测指定的日志目录或文件。对于探测器找出的每一个日志文件，filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到指定的地点。