Introduce docs about BlobStorage performance metrics #2509

serbel324 · 2024-03-06T12:57:19Z

...

github-actions · 2024-03-06T13:02:21Z

✅ Documentation build

Revision built successfully
Revision preview link

github-actions · 2024-03-07T15:07:04Z

❌ Documentation build

Revision build failed

Build logs

Errors (1)

❌ Link is unreachable: ../deploy/configuration/config.md#blob-storage-config in /ru/maintenance/manual/performance_metrics.md

github-actions · 2024-03-07T15:15:44Z

✅ Documentation build

Revision built successfully
Revision preview link

github-actions · 2024-03-07T15:25:23Z

✅ Documentation build

Revision built successfully
Revision preview link

github-actions · 2024-03-07T15:38:30Z

✅ Documentation build

Revision built successfully
Revision preview link

github-actions · 2024-03-12T10:16:36Z

✅ Documentation build

Revision built successfully
Revision preview link

github-actions · 2024-03-12T11:00:03Z

✅ Documentation build

Revision built successfully
Revision preview link

ydb/docs/ru/core/maintenance/manual/performance_metrics.md

nsofya · 2024-03-27T14:16:13Z

ydb/docs/ru/core/maintenance/manual/performance_metrics.md

+
+### Настройка метрик
+
+Поскольку коэффициенты для формулы cost измерялись на конкретных физических устройствах, а производительность других устройств может отличаться, метрики могут потребовать масштабирования для использования их в качестве источника гарантий BlobStorage. Для этого задайте параметру `DiskTimeAvailableScale` в [конфигурации BlobStorage](../../deploy/configuration/config.md#blob-storage-config) значение, равное отношению производительности устройств кластера и эталона. Например, если ваша система использует NVME устройства и обеспечивает на 10% более высокую производительность, чем эталон, то задайте следующую конфигурацию:


Вот тут не хватает информации, что за устройства были. Я, конечно, не настоящий сварщик, но предположу, что для идентичных эталону дисков коэффициент должен быть 1.
Т.е. сейчас выглядит так, что подбор и исследование коэффициентов перешли на плечи пользователя и значительно осложнили его жизнь. Я бы предположила, что сценарий использования следующий: берется типовой диск определенного типа, настраивается сторадж, и дальше мы по метрикам смотрим, что он работает как нужно.

А вот если с диском что-то не так, нужно проводить дополнительные калибровки и замеры. Ведь вполне может быть, что при запуске с дисками было все хорошо, а потом их рабочие показатели ухудшились. И вот только тогда имеет смысл что-то пересчитывать и замерять.

для идентичных эталону дисков коэффициент должен быть 1.

Да, все так, по умолчанию там 1. Добавлю это в документацию.

Я бы предположила, что сценарий использования следующий: берется типовой диск определенного типа, настраивается сторадж, и дальше мы по метрикам смотрим, что он работает как нужно.

В теории можно так сделать, но тогда нужен не один диск, а несколько, чтобы на них можно было сторадж-группы поднять.

Т.е. сейчас выглядит так, что подбор и исследование коэффициентов перешли на плечи пользователя и значительно осложнили его жизнь.

Ну мы не можем знать, какие устройства будут на кластере пользователя, мы можем лишь предположить, что примерно такие, как у нас. Коэффициенты имеет смысл подкручивать, если доступное время диска в момент начала перегрузок не сходится с оценкой стоимости, то есть из практического опыта использования.

А вот если с диском что-то не так, нужно проводить дополнительные калибровки и замеры. Ведь вполне может быть, что при запуске с дисками было все хорошо, а потом их рабочие показатели ухудшились. И вот только тогда имеет смысл что-то пересчитывать и замерять.

Такое может быть, но это как раз сигнализирует о проблеме с железом, тормозящее железо надо менять, потому что от пары медленных дисков лейтенси записи на всю группу деградирует.

github-actions · 2024-05-27T10:35:25Z

❌ Documentation build

Revision build failed

Build logs

Errors (1)

❌ Link is unreachable: ../../development/load-actors-storage.md in /ru/maintenance/manual/performance_metrics.md

github-actions · 2024-05-27T10:53:12Z

❌ Documentation build

Revision build failed

Build logs

Errors (1)

❌ Link is unreachable: ../../development/load-actors-storage.md in /ru/maintenance/manual/performance_metrics.md

github-actions · 2024-05-27T11:02:53Z

❌ Documentation build

Revision build failed

Build logs

Errors (1)

❌ Link is unreachable: ../../development/load-actors-storage.md in /ru/maintenance/manual/performance_metrics.md

github-actions · 2024-05-27T11:27:54Z

✅ Documentation build

Revision built successfully
Revision preview link

github-actions · 2024-05-31T11:39:51Z

✅ Documentation build

Revision built successfully
Revision preview link

ydb/docs/ru/core/maintenance/manual/performance_metrics.md

…torage-performance.md Co-authored-by: anton-bobkov <[email protected]>

…oards.md Co-authored-by: anton-bobkov <[email protected]>

…torage-performance.md Co-authored-by: anton-bobkov <[email protected]>

github-actions · 2024-12-25T12:34:11Z

⚪ 2024-12-25 12:34:10 UTC Pre-commit check linux-x86_64-relwithdebinfo for 4c7550a has started.
⚪ 2024-12-25 12:34:39 UTC Artifacts will be uploaded here
⚫ 2024-12-25 12:36:08 UTC Check cancelled

Co-authored-by: anton-bobkov <[email protected]>

…torage-performance.md Co-authored-by: anton-bobkov <[email protected]>

github-actions · 2024-12-25T12:38:42Z

⚪ 2024-12-25 12:38:41 UTC Pre-commit check linux-x86_64-relwithdebinfo for 06cf648 has started.
⚪ 2024-12-25 12:39:17 UTC Artifacts will be uploaded here
⚪ 2024-12-25 12:41:41 UTC ya make is running...
🔴 2024-12-25 12:42:10 UTC Build failed, see the logs. Also see fail summary

github-actions · 2024-12-25T12:39:07Z

⚪ 2024-12-25 12:39:06 UTC Pre-commit check linux-x86_64-release-asan for 06cf648 has started.
⚪ 2024-12-25 12:39:18 UTC Artifacts will be uploaded here
⚪ 2024-12-25 12:41:45 UTC ya make is running...
🔴 2024-12-25 12:42:18 UTC Build failed, see the logs. Also see fail summary

github-actions · 2024-12-25T12:41:33Z

❌ Documentation build

Revision build failed

Build logs

Errors (26)

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 68: MD051/link-fragments Link fragments should be valid [Context: "DiskTimeAvailableScale parameter"]

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 69: MD051/link-fragments Link fragments should be valid [Context: "DiskTimeAvailableScale parameter"]

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 6: MD001/heading-increment Heading levels should only increment by one level at a time [Expected: h2; Actual: h3]

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 70: MD051/link-fragments Link fragments should be valid [Context: "DiskTimeAvailableScale parameter"]

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 71: MD051/link-fragments Link fragments should be valid [Context: "BurstThresholdNs parameter"]

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 72: MD051/link-fragments Link fragments should be valid [Context: "BurstThresholdNs parameter"]

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 73: MD051/link-fragments Link fragments should be valid [Context: "BurstThresholdNs parameter"]

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 79: MD040/fenced-code-language Fenced code blocks should have a language specified [Context: "```"]

❌ /en/reference/observability/metrics/distributed-storage-performance.md: 86: MD040/fenced-code-language Fenced code blocks should have a language specified [Context: "```"]

❌ /ru/reference/observability/metrics/distributed-storage-performance.md: 28: MD009/no-trailing-spaces Trailing spaces [Expected: 0 or 2; Actual: 1]

❌ /ru/reference/observability/metrics/distributed-storage-performance.md: 31: MD009/no-trailing-spaces Trailing spaces [Expected: 0 or 2; Actual: 1]

❌ /ru/reference/observability/metrics/distributed-storage-performance.md: 38: MD022/blanks-around-headings Headings should be surrounded by blank lines [Expected: 1; Actual: 0; Below] [Context: "### Метрики производительности"]

❌ /ru/reference/observability/metrics/distributed-storage-performance.md: 54: MD022/blanks-around-headings Headings should be surrounded by blank lines [Expected: 1; Actual: 0; Below] [Context: "### Условия гарантий распределённого хранилища {#requirements}"]

❌ /ru/reference/observability/metrics/distributed-storage-performance.md: 66: MD051/link-fragments Link fragments should be valid [Context: "Параметр DiskTimeAvailableScale"]

❌ /ru/reference/observability/metrics/distributed-storage-performance.md: 67: MD051/link-fragments Link fragments should be valid [Context: "Параметр DiskTimeAvailableScale"]

Log was truncated. (11 records)

github-actions · 2024-12-25T13:00:20Z

⚪ 2024-12-25 13:00:20 UTC Pre-commit check linux-x86_64-release-asan for e647c8c has started.
⚪ 2024-12-25 13:00:56 UTC Artifacts will be uploaded here
⚪ 2024-12-25 13:03:59 UTC ya make is running...
🔴 2024-12-25 13:04:59 UTC Build failed, see the logs. Also see fail summary

github-actions · 2024-12-25T13:02:39Z