多个采集配置读取相同文件的IO问题 #2097
-
|
当前服务使用Ilogtail采集日志，因为所有日志写到同一个文件，为了区分日志，就需要创建多个采集配置读取相同的日志，然后基于过滤规则来处理日志，想请教一下：这种场景下，如果有一个日志文件service.log被X个采集配置使用，那么这个文件是会被读取X次嘛？那么文件的IO也是单个文件读取IO的X倍吗？这样设计是因为每个采集配置的读取速度有可能不一样，所以需要每个采集配置读取一次文件？ |
Beta Was this translation helpful? Give feedback.
Replies: 1 comment 6 replies
-
是的
是的
不是，我们推荐每个文件只采集一次，您这个场景需要多个配置可能是因为不同格式的日志写到了同一个文件，无法区分？这并不是很好的做法。如果一定要这样，一个方式是读取一次，使用grok插件来解析，它支持匹配多种格式：https://observability.cn/project/loongcollector/processor-grok/#_top |
Beta Was this translation helpful? Give feedback.
-
|
可以看看商业版的Grok插件文档，里面的“匹配目标”参数能否满足需求。 |
Beta Was this translation helpful? Give feedback.
-
|
我们是想驱动开发将文件分类，log一个文件，metrics一个文件。减少使用regex，不知道是不是SLS的同学，是否方便请教一下？ |
Beta Was this translation helpful? Give feedback.
-
|
这个要不提一个企业工单？专门的SLS值班来支持一下 |
Beta Was this translation helpful? Give feedback.
-
|
我是钉钉的同学，之前在集团的SLS群里问过，但是值班的同学感觉不是特别了解这一块，或者该找谁？ |
Beta Was this translation helpful? Give feedback.
-
|
今日可以联系值班同学 333508 |
Beta Was this translation helpful? Give feedback.
是的
是的
不是，我们推荐每个文件只采集一次，您这个场景需要多个配置可能是因为不同格式的日志写到了同一个文件，无法区分？这并不是很好的做法。如果一定要这样，一个方式是读取一次，使用grok插件来解析，它支持匹配多种格式：https://observability.cn/project/loongcollector/processor-grok/#_top