Если колонка разбита на чанки, то может вернуться неверный результат в ответе

[Vladilen]

Есть таблица:

SHOW CREATE table test_table
┌───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬──────────────┬──────────┐
│ CreateQuery                                                                                                                                                                           │ Path         │ PathType │
├───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┼──────────────┼──────────┤
│ "CREATE TABLE `test_table` (\n    `timestamp` Timestamp NOT NULL,\n    `resource_type` Utf8 NOT NULL,\n    `resource_id` Utf8 NOT NULL,\n    `stream_name` Utf8 NOT NULL,\n    `parti │ "test_table" │ "Table"  │
│ tion` Uint32 NOT NULL,\n    `offset` Uint64 NOT NULL,\n    `index` Uint32 NOT NULL,\n    `level` Int32,\n    `message` Utf8,\n    `json_payload` JsonDocument,\n    `ingested_at` Tim │              │          │
│ estamp,\n    `saved_at` Timestamp,\n    `request_id` Utf8,\n    PRIMARY KEY (`timestamp`, `resource_type`, `resource_id`, `stream_name`, `partition`, `offset`, `index`)\n)\nPARTITIO │              │          │
│ N BY HASH (`timestamp`, `partition`, `offset`, `index`)\nWITH (\n    STORE = COLUMN,\n    AUTO_PARTITIONING_MIN_PARTITIONS_COUNT = 1\n);\n\nALTER OBJECT `/Root/testdb/test_table` (T │              │          │
│ YPE TABLE) SET (ACTION = UPSERT_OPTIONS, `COMPACTION_PLANNER.CLASS_NAME` = 'lc-buckets', `COMPACTION_PLANNER.FEATURES` = `{\\\"levels\\\":[{\\\"class_name\\\":\\\"Zero\\\",\\\"expec │              │          │
│ ted_blobs_size\\\":20971520},{\\\"class_name\\\":\\\"Zero\\\",\\\"expected_blobs_size\\\":20971520},{\\\"class_name\\\":\\\"Zero\\\",\\\"expected_blobs_size\\\":20971520}]}`);\n"    │              │          │
└───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────┴──────────┘

в которой есть данные и они сохранены следующим образом:

SELECT PortionId, EntityName, Rows, ChunkIdx FROM `test_table/.sys/primary_index_stats`;
┌───────────┬──────────────────┬───────┬──────────┐
│ PortionId │ EntityName       │ Rows  │ ChunkIdx │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "timestamp"      │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "resource_type"  │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "resource_id"    │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "stream_name"    │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "partition"      │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "offset"         │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "index"          │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "message"        │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "json_payload"   │ 13281 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "json_payload"   │ 13282 │ 1        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "_yql_plan_step" │ 26563 │ 0        │
├───────────┼──────────────────┼───────┼──────────┤
│ 11        │ "_yql_tx_id"     │ 26563 │ 0        │
└───────────┴──────────────────┴───────┴──────────┘

Обратите внимание, что колонка json_payload разбита на 2 чанка в 1 порции.

При чтении данных на границе этого чанка (чтобы в выдачу попали данные из 0 и 1) результат будет отличаться, если не читать колонку json_payload и читать:

SELECT timestamp
     FROM `test_table`
     WHERE timestamp > Timestamp("2025-10-08T11:00:02.193382Z")
     ORDER by timestamp ASC
     limit 5;
┌───────────────────────────────┐
│ timestamp                     │
├───────────────────────────────┤
│ "2025-10-08T11:00:02.193445Z" │
├───────────────────────────────┤
│ "2025-10-08T11:00:02.193858Z" │
├───────────────────────────────┤
│ "2025-10-08T11:00:02.201664Z" │
├───────────────────────────────┤
│ "2025-10-08T11:00:02.201744Z" │
├───────────────────────────────┤
│ "2025-10-08T11:00:02.207683Z" │
└───────────────────────────────┘


SELECT timestamp, json_payload
     FROM `test_table`
     WHERE timestamp > Timestamp("2025-10-08T11:00:02.193382Z")
     ORDER by timestamp ASC
     limit 5;
┌───────────────────────────────┬──────────────┐
│ timestamp                     │ json_payload │
├───────────────────────────────┼──────────────┤
│ "2025-10-08T11:00:02.193445Z" │    "{...}"   │
├───────────────────────────────┼──────────────┤
│ "2025-10-08T11:00:02.193445Z" │    "{...}"   │
├───────────────────────────────┼──────────────┤
│ "2025-10-08T11:00:02.193858Z" │    "{...}"   │
├───────────────────────────────┼──────────────┤
│ "2025-10-08T11:00:02.201664Z" │    "{...}"   │
├───────────────────────────────┼──────────────┤
│ "2025-10-08T11:00:02.201744Z" │    "{...}"   │
└───────────────────────────────┴──────────────┘

Обратите внимание на дублирующийся timestamp. Так же могут побиться данные в других колонках, если их читать с json_payload

[Vladilen]

Данные отправляются тут:

ydb/ydb/core/tx/columnshard/engines/reader/actor/actor.cpp

Line 427 in 21412cf

Send(ScanComputeActorId, Result.Release(), IEventHandle::FlagTrackDelivery); // TODO: FlagSubscribeOnSession ?

Если распечатать Result->ArrowBatch,то при наличии чанков данные будут выглядеть как-то так:

json_payload: binary
timestamp: timestamp[us]
----
json_payload:
  [
    [
      SOME_BINARY_DATA1,
      SOME_BINARY_DATA2,
    ],
    [
      SOME_BINARY_DATA2,
      SOME_BINARY_DATA3,
      SOME_BINARY_DATA4,
    ]
  ]
timestamp:
  [
    [
      2025-10-08 11:00:02.193445,
      2025-10-08 11:00:02.193858,
      2025-10-08 11:00:02.201664,
      2025-10-08 11:00:02.201744,
      2025-10-08 11:00:02.207683,
    ]
  ]

[Vladilen]

Нарезка на рекорд батчи по чанкам происходит отсюда:

ydb/ydb/core/kqp/runtime/kqp_scan_data.cpp

Line 690 in 21412cf

auto batches = NArrow::SliceToRecordBatches(dataAccessor.GetFiltered());

В этом методе:

ydb/ydb/library/formats/arrow/arrow_helpers.cpp

Line 733 in 21412cf

std::vector<std::shared_ptr<arrow::RecordBatch>> SliceToRecordBatches(const std::shared_ptr<arrow::Table>& t) {

[Vladilen]

В рамках этой задачи #26155 сделан временный фикс #26672, который объединяет чанки перед отправкой.

[Hor911]

Надо попробовать задедупить нарезку на слайсы относительно yql/essentials
https://github.com/ydb-platform/ydb/blob/main/yql/essentials/public/udf/arrow/args_dechunker.cpp