Update Plugin System Docs #2114
Open
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
messixukejia
requested changes
Feb 28, 2025
|
|
||
| #### Metadata | ||
|
|
||
| metadata 的定位是存储 events 的元信息，一般由 input 生成，不会进行修改，但可能增加。 |
There was a problem hiding this comment.
存储 events 的元信息
输出的 events 元信息
-- 这两个描述应该都不怎么理解是啥意思
|
|
||
| 用途包括： | ||
|
|
||
| * 在程序打印日志中使用。如打印日志被丢弃时，打印文件名、 inode 。 |
There was a problem hiding this comment.
打印日志被丢弃时，打印文件名、 inode -- 看不太懂
|
|
||
| 输入包括： | ||
|
|
||
| * 在 processor 中生成（包括 SPL ）。例如使用 metadata 中的 `host.ip` 信息生成 `__source__` tag 。 |
There was a problem hiding this comment.
整篇文档 SPL 就不要特殊提了，spl也是插件的一部分。
| @@ -2,96 +2,185 @@ | |||
|
|
|||
| ## 背景 | |||
|
|
|||
| 作为日志服务的采集 Agent，iLogtail 目前已运行于 100W+ 机器上，为万级别的应用提供服务，为了能够更好地实现与开源生态的融合并满足用户不断丰富的接入需求，我们为 iLogtail 引入了插件系统，目前，我们已通过插件系统支持了若干数据源，包括 HTTP、MySQL Query、MySQL Binlog 等。 | |||
| 作为阿里云日志服务的采集 Agent ， LoongCollector （原 iLogtail） 目前已运行于 100W+ 机器上，为万级别的应用提供服务，为了能够更好地实现与开源生态的融合并满足用户不断丰富的接入需求，我们为当时的 iLogtail 引入了插件系统，支持了若干数据源，包括 HTTP、MySQL Query、MySQL Binlog 等。 | |||
There was a problem hiding this comment.
作为阿里云日志服务的采集 Agent -- 开源就不合适了
|
|
||
| 下面我们将简单地介绍插件系统中的几点关键设计，这其中包含了一些我们在设计之初时的目标： | ||
| LoongCollector 使用总线模式作为线程模型，所谓总线模式，就是每个功能模块一个线程。根据流水线各个组件的功能划分，一般可以将流水线划分为三大模块：输入模块、处理模块和发送模块，各个模块之间通过缓冲队列进行连接。由于功能模块的数量是恒定的，因此能够保证整个采集器所需要使用的线程数是恒定的。LoongCollector 继承了 iLogtail 的线程模型，并在此基础上进一步演进。 |
There was a problem hiding this comment.
由于功能模块的数量是恒定的，因此能够保证整个采集器所需要使用的线程数是恒定的。
-- 比较晦涩
|
|
||
| 为了达到易扩展、易开发的目标，我们最终选择 Go 作为插件系统的实现语言，具体考虑的因素有以下几点： | ||
| 可以看到，在总线模式下，有如下几个固定的工作线程： |
There was a problem hiding this comment.
以下内容太细了，也比较难理解，大概介绍下就行了
|
|
||
| 目前，日志服务支持通过控制台进行采集配置，然后自动下发到 iLogtail 进行应用执行，当配置发生变化时，iLogtail 也会及时地获取这些配置并进行动态更新。插件系统作为配置内容的一部分，同样要具有这种动态更新配置的能力。 | ||
|  |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
No description provided.