-
Notifications
You must be signed in to change notification settings - Fork 726
YDB FQ: actualize fq-connector-go config docs #26999
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
base: main
Are you sure you want to change the base?
Conversation
🟢 |
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
This comment was marked as outdated.
⚪
🟢 |
⚪
🟢 |
| Параметр | Назначение | Значение по умолчанию | | ||
|----------|------------|-----------------------| | ||
| `connector_server` | Обязательная секция. Содержит настройки основного GPRC-сервера, выполняющего доступ к данным. || | ||
| `connector_server.endpoint.host` | Хостнейм или IP-адрес, на котором запускается слушающий сокет сервиса. || |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Хостнейм - это не по-русски
✅ Documentation buildRevision built successfully Build logsWarnings (4) |
|----------|------------|-----------------------| | ||
| `connector_server` | Обязательная секция. Содержит настройки основного GPRC-сервера, выполняющего доступ к данным. || | ||
| `connector_server.endpoint.host` | Хостнейм или IP-адрес, на котором запускается слушающий сокет сервиса. || | ||
| `connector_server.endpoint.port` | Номер порта, на котором запускается слушающий сокет сервиса. || |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
слово "сокет" я бы удалил из документации. это ненужная деталь, которая усложняет понимание.
приложение слушает на TCP порту или приложение принимает входящие соединения через порт такой-то
| Параметр | Назначение | Значение по умолчанию | | ||
|----------|------------|-----------------------| | ||
| `connector_server` | Обязательная секция. Содержит настройки основного GPRC-сервера, выполняющего доступ к данным. || | ||
| `connector_server.endpoint.host` | Хостнейм или IP-адрес, на котором запускается слушающий сокет сервиса. || |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
тут можно предложить дефолт 127.0.0.1 ?
| `metrics_server` | Опциональная секция. Содержит настройки вспомогательного HTTP-сервера, выполняющего доступ к метрикам. | Сервер отключён. | | ||
| `metrics_server.endpoint.host` | Хостнейм или IP-адрес, на котором запускается слушающий сокет сервиса. || | ||
| `metrics_server.endpoint.port` | Номер порта, на котором запускается слушающий сокет сервиса. || | ||
| `paging` | Опциональная секция. Содержит настройки алгоритма разбиения извлекаемого из источника потока данных на Arrow-блоки. На каждый запрос в коннекторе создаётся очередь из заранее подготовленных к отправке на сторону {{ ydb-short-name }} блоков данных. Аллокации Arrow-блоков формируют наиболее существенный вклад в потребление оперативной памяти процессом `fq-connector-go`. Минимальный объём памяти, необходимый коннектору для работы, можно приблизительно оценить по формуле $Mem = 2 \cdot Requests \cdot BPP \cdot PQC$, где $Requests$ — количество одновременно выполняемых запросов, $BPP$ — параметр `paging.bytes_per_page`, а $PQC$ — параметр `paging.prefetch_queue_capacity`. || |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
в формуле я бы убрал алиасы BPP и PQC
mem = requests * paging.bytes_per_page * paging.prefetch_queue_capacity
читается хорошо
| `datasources.clickhouse.pushdown` | Опциональная секция. Содержит различные настройки для пушдауна предикатов. || | ||
| `datasources.clickhouse.pushdown.enable_timestamp_pushdown` | Включает пушдаун фильтров для столбцов типа YQL `Timestamp`. Допустимые значения: `true`, `false`. | `false` | | ||
| `datasources.mysql` | Опциональная секция. Содержит настройки, специфичные для источника данных MySQL. || | ||
| `datasources.mysql.result_chan_capacity` | Ёмкость буфера для извлечённых строк из сетевого соединения с базой. | `512` | |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
в каких единицах? строки\байты?
| `datasources.greenplum` | Опциональная секция. Содержит настройки, специфичные для источника данных Greenplum. || | ||
| `datasources.greenplum.open_connection_timeout` | Таймаут открытия соединения с Greenplum. Варианты допустимых значений: `100ms`, `5s`, `3h`. | `5s` | | ||
| `datasources.greenplum.pushdown` | Опциональная секция. Содержит различные настройки для пушдауна предикатов. || | ||
| `datasources.greenplum.pushdown.enable_timestamp_pushdown` | Включает пушадаун фильтров для столбцов типа YQL Timestamp. Допустимые значения: `true`, `false`. | `false` | |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
опечатка в "пушадаун". и у тебя тут используется еще слово "проталкивание". выбери одно слово
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Начну смотреть, когда будут закрыты открытые комментарии и стоять шип от @uzhastik
Changelog entry
Changelog category
Description for reviewers
...