Skip to content

Latest commit

 

History

History
34 lines (28 loc) · 1.12 KB

File metadata and controls

34 lines (28 loc) · 1.12 KB

采集配置

iLogtail工作目录里,可以将采集配置存入user_yaml_config.d目录下进行数据采集。每个采集配置文件以数据流水线(data-pipeline)的形式组织,每个采集配置文件对应一个数据流水线,配置文件为yaml格式,文件名以.yaml结尾。

一个典型的采集流水线以下部分组成:

  • 输入(Input):从数据源采集数据,数据源可以是文本、HTTP数据、Syslog等。
  • 处理(Processor):对采集的数据进行解析、过滤、加工等。
  • 聚合(Aggregator):Pipeline会自带默认聚合插件,一般不需要关注。
  • 输出(Flusher):将符合条件的数据发送到指定的存储系统。
enable: true
inputs:
  - Type: file_log
    LogPath: /home/test-log
    FilePattern: reg.log
processors:
  - Type: processor_regex
    SourceKey: content
    Regex: (\d*-\d*-\d*)\s(.*)
    Keys:
      - time
      - msg
flushers:
  - Type: flusher_sls
    Endpoint: cn-xxx.log.aliyuncs.com
    ProjectName: test_project
    LogstoreName: test_logstore
  - Type: flusher_stdout
    OnlyStdout: true