文件->ilogtail->kafka 数据丢失

[q121102302]

版本：1.3.1
配置：
file_kafka.txt
ilogtail_config.txt
ilogtail日志：


问题：
使用过程中发现 有机器a丢失其中三秒数据 但是ilogtail并未有相应日志
排查过程看了kafka的对应topic数据 未发现kafka中有这三条数据
说明数据应该是在ilogtail端前后丢失
这种问题应该怎么排查？
数据量的话 大约每秒100条的样子 日志文件大小为60m 大约15分钟更新一个新文件 即 4mb/min

[linrunqi08]

1. 完整的日志文件麻烦提供一下，ilogtail.LOG, logtail_plugin.LOG
2. 丢失的是哪三条数据，原始日志可以提供一下吗？具体的时间点是多少

[q121102302]

其实跟上面发的那个文件没什么区别的。。。公司内外网分离 拿原始日志很麻烦

[shalousun]

@q121102302 如果可以准确复现可以在flusher 上再加个stdout输出辅助排查下，看下数据是在哪一层丢的，stdout打印了丢失日志，那可能flusher kafka层丢了数据。先将范围确定下

[linrunqi08]

#828 有点像这个问题，如果是单行日志的话，可以把processor_split_log_regex这个插件去掉看下

[q121102302]

今天早上修改配置 在user_yaml_config.d下的配置文件中新增
- Type: flusher_stdout OnlyStdout: false MaxSize: 2000000000 FileName: /opt/ilogtail/test.log

下午依然出现大日志未成功的问题 这个日志输出在早上的重启ilogtail后 测试三次都是正常的，下午测试就失败了

ilogtail日志：
ilogtail.LOG

logtail_plugin.LOG

原始日志：红框内为丢失的数据 箭头指向的为那条大日志

stdout输出的日志：

可以看到直接从2023-05-31 13:45:49.144直接跳到了2023-05-31 13:45:55.434

[q121102302]

processor_split_log_regex 去掉这个插件 本身也会让我们错误日志不方便查询呀

[linrunqi08]

duplicate to #828, will trace this problem in #828