YQ-3697 Add partition count to dqrun #9837
Conversation
|
⚪ |
maximyurchuk
added
the
rebase-and-check
github-actions
bot
removed
the
rebase-and-check
|
⚪
🟢 |
|
⚪ ⚪
⚪
🟢 |
|
⚪
🟢 |
|
⚪
🟢 |
| return 1; | ||
| } | ||
| fileGateway->AddDummyTopic(TDummyTopic("pq", TString(topicName), TString(filePath))); | ||
| size_t partitionCount = !partitionCountStr.empty() ? partitionCount = FromString<size_t>(partitionCountStr) : 1; |
| @@ -214,18 +215,26 @@ struct TDummyPartitionSession: public NYdb::NTopic::TPartitionSession { | |||
| std::shared_ptr<NYdb::NTopic::IReadSession> TFileTopicClient::CreateReadSession(const NYdb::NTopic::TReadSessionSettings& settings) { | |||
| Y_ENSURE(!settings.Topics_.empty()); | |||
| TString topicPath = settings.Topics_.front().Path_; | |||
There was a problem hiding this comment.
чтобы уменьшить копипасту положи settings.Topics_.front() в переменную
| Y_ENSURE(topicsIt->second.Path); | ||
|
|
||
| TString filePath; | ||
| if (TFsPath(*topicsIt->second.Path).IsDirectory()) { |
There was a problem hiding this comment.
предлагаю положить TFsPath(*topicsIt->second.Path) в отдельную переменную, у тебя этот объект строится в двух местах
| Y_ENSURE(topicsIt->second.Path); | ||
|
|
||
| TString filePath; | ||
| if (TFsPath(*topicsIt->second.Path).IsDirectory()) { |
There was a problem hiding this comment.
рекомендую *topicsIt->second.Path положить в отдельную переменную, это выражение много где встречается
| if (TFsPath(*topicsIt->second.Path).Exists() && topicsIt->second.PartitionsCount == 1) { | ||
| filePath = *topicsIt->second.Path; | ||
| } else { | ||
| filePath = TString(*topicsIt->second.Path) + "_" + ToString(partitionId); |
There was a problem hiding this comment.
тут подошел бы TStringBuilder
|
⚪
🟢 |
|
⚪
🟢 |
| struct stat stats; | ||
| if (fstat(file, &stats) != 0) { | ||
| return false; | ||
| } |
There was a problem hiding this comment.
- leaks
filefd (why not juststat? but...) - racing (between check and actual open);
... and I'm not sure, why pipe should be special-cased at all?
There was a problem hiding this comment.
желательно не использовать ifdef в нашем коде. нельзя ли заюзать какую-нибудь функцию из util | library/cpp ?
| @@ -211,21 +212,51 @@ struct TDummyPartitionSession: public NYdb::NTopic::TPartitionSession { | |||
| } | |||
| }; | |||
|
|
|||
| static bool IsPipe(const TString& filePath) { | |||
There was a problem hiding this comment.
используем анонимные неймспейсы вместо static
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
| if (fsPath.Exists() && topicsIt->second.PartitionsCount == 1) { | ||
| filePath = *path; | ||
| } else { | ||
| filePath = TStringBuilder() << *path << "_" << ToString(partitionId); |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
|
||
| const auto& topic = settings.Topics_.front(); | ||
| TString topicPath = topic.Path_; | ||
| Y_ENSURE(topic.PartitionIds_.size() == 1); |
There was a problem hiding this comment.
read_actor же сессию в несколько партиций может открыть. Тут точно нету ошибки?
| TFsPath fsPath(*path); | ||
| if (fsPath.IsDirectory()) { | ||
| filePath = TStringBuilder() << *path << "/" << ToString(partitionId); | ||
| } else { |
There was a problem hiding this comment.
А точно столько режимом нужно? Может с директорией достаточно будет?
There was a problem hiding this comment.
Скорее достаточно читать всеми партициями из одного файла.
|
⚪ |
|
⚪ |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
⚪ Test history | Ya make output | Test bloat
🟢 |
|
Конфликты появились |
Changelog entry
...
Changelog category
Additional information
...