filebeat7.7.0相关详细配置预览- Filebeat inputs

手动配置filebeat采集源，可配置多个相同或者不同的源。 可支持以下输入源：

1、Azure eventhub

从azure eventhub中读取日志消息。

filebeat.inputs:
- type: azure-eventhubeventhub: "insights-operational-logs"consumer_group: "test"connection_string: "Endpoint=sb://....."storage_account: "azureeph"storage_account_key: "....."storage_account_container: ""

2、Cloud Foundry

从Cloud Foundry获取http访问日志，容器日志和错误日志。连接到Cloud Foundry日志聚合器以接收事件。

filebeat.inputs:
- type: cloudfoundryapi_address: https://api.dev.cfdev.shclient_id: uaa-filebeatclient_secret: verysecretssl.certificate_authorities: ["/etc/pki/cf/ca.pem"]ssl.certificate: "/etc/pki/cf/cert.pem"ssl.key: "/etc/pki/cf/cert.key"

3、Container

在给定路径（path）下搜索容器日志，并将其解析为普通消息，同时提取时间戳

filebeat.inputs:
- type: containerpaths: - '/var/lib/docker/containers/*/*.log'

4、Docker

7.2.0.后已过期。请使用Container

5、Google Pub/Sub

用来读取来自Google Cloud Pub / Sub主题订阅的消息

filebeat.inputs:
- type: google-pubsubproject_id: my-gcp-project-idtopic: vpc-firewall-logs-topicsubscription.name: filebeat-vpc-firewall-logs-subcredentials_file: ${path.config}/my-pubsub-subscriber-credentials.json

6、HTTP JSON

从携带JSON的HTTP API中读取消息

filebeat.inputs:
# Fetch your public IP every minute.
- type: httpjsonurl: https://api.ipify.org/?format=jsoninterval: 1mprocessors:- decode_json_fieldsfields: [message]target: json

7、Kafka

从kafka集群topic中读取消息

filebeat.inputs:
- type: kafkahosts:- kafka-broker-1:9092- kafka-broker-2:9092topics: ["my-topic"]group_id: "filebeat"

8、Log（最常用）

从日志文件中读取消息，log下更多参数在这里

filebeat.inputs:
- type: log paths:- /var/log/system.log- /var/log/wifi.log
- type: log paths:- "/var/log/apache2/*"fields:apache: truefields_under_root: true

9、MQTT

连接到MQTT broker，订阅选定的topic并将数据解析为普通消息行。

filebeat.inputs:
- type: mqtthosts: - tcp://broker:1883- ssl://secure_broker:8883topics: - sample_topic

10、NetFlow

通过UDP读取netflow和IPFIX导出的流和选项数据。支持NetFlow版本1、5、6、7、8和9，以及IPFIX。对于大于9的NetFlow版本，字段将自动映射到NetFlow v9。

filebeat.inputs:
- type: netflowmax_message_size: 10KiBhost: "0.0.0.0:2055"protocols: [ v5, v9, ipfix ]expiration_timeout: 30mqueue_size: 8192custom_definitions:- path/to/fields.ymldetect_sequence_reset: true

11、Office 365 Management Activity API

从Office 365和Azure AD活动日志中检索审核消息。

filebeat.inputs:
- type: o365auditapplication_id: my-application-idtenant_id: my-tenant-idclient_secret: my-client-secret

12、Redis

从Redis慢日志中读取条慢日志

filebeat.inputs:
- type: redishosts: ["localhost:6379"]password: "${redis_pwd}"

13、s3

使用s3输入从s3对象检索特定SQS队列的消息的日志。例如，此input可用于接收S3服务器访问日志，以监视对bucket发出的请求的详细记录。

当处理一个由sqs消息指向的s3对象时，如果设置的可见性超时值已超过一半，并且处理仍在进行中，则sqs消息的可见性超时将被重置，以确保消息不会在处理过程中返回队列。如果在处理s3对象的过程中发生错误，则进程将停止，并且sqs消息将返回到队列。

filebeat.inputs:
- type: s3queue_url: https://sqs.ap-southeast-1.amazonaws.com/1234/test-s3-queuecredential_profile_name: elastic-beatsexpand_event_list_from_field: Records

14、Stdin

从标准输入读取事件。并与其他input相互排斥。

filebeat.inputs:
- type: stdin

15、Syslog

通过TCP或UDP读取事件，此输入将解析BSD（rfc3164）事件和某些变体。

filebeat.inputs:
- type: syslogprotocol.udp:host: "localhost:9000"

16、TCP

通过TCP读取事件。

filebeat.inputs:
- type: tcpmax_message_size: 10MiBhost: "localhost:9000"

17、UDP

通过UDP读取事件。

filebeat.inputs:
- type: udpmax_message_size: 10KiBhost: "localhost:8080"