v13.4 for testing in e3 (#172)

Co-authored-by: Ilya Miheev <ilya.miheev@lamoda.ru>

Author: JkLondon

mdbxdist/CMakeLists.txt

@@ -149,9 +149,6 @@ if(EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/.git"
    AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/tree-ops.c"
    AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/txl.c"
    AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/txl.h"
-   AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/txn-basal.c"
-   AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/txn-nested.c"
-   AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/txn-ro.c"
    AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/txn.c"
    AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/unaligned.h"
    AND EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/src/utils.c"
@@ -841,9 +838,6 @@ else()
       "${MDBX_SOURCE_DIR}/tree-ops.c"
       "${MDBX_SOURCE_DIR}/txl.c"
       "${MDBX_SOURCE_DIR}/txl.h"
-      "${MDBX_SOURCE_DIR}/txn-basal.c"
-      "${MDBX_SOURCE_DIR}/txn-nested.c"
-      "${MDBX_SOURCE_DIR}/txn-ro.c"
       "${MDBX_SOURCE_DIR}/txn.c"
       "${MDBX_SOURCE_DIR}/unaligned.h"
       "${MDBX_SOURCE_DIR}/utils.c"

mdbxdist/ChangeLog.md

@@ -4,91 +4,49 @@ ChangeLog
 English version [by liar Google](https://libmdbx-dqdkfa-ru.translate.goog/md__change_log.html?_x_tr_sl=ru&_x_tr_tl=en)
 and [by Yandex](https://translated.turbopages.org/proxy_u/ru-en.en/https/libmdbx.dqdkfa.ru/md__change_log.html).
 
-## v0.14.1 в активной разработке без конкретизации даты выпуска
+## v0.13.4 "Sigma Boy" от 2025-02-14
 
-Первый выпуск в новом кусте/линейке версий с добавлением функционала, расширением API и внутренними переработками.
+Поддерживающий выпуск стабильной ветки с исправлением обнаруженных ошибок и устранением недочётов.
 
 Благодарности:
 
+ - [Алексею Костюку (aka Keller)](https://t.me/keller18306) за сообщения об ошибках и недочетах.
  - [Erigon](https://docs.erigon.tech/) за спонсорство.
  - [Alain Picard](https://github.com/castortech) for support [Java bindings](https://github.com/castortech/mdbxjni) and MacOS universal binaries patch for CMake build scenario.
  - [Alex Sharov](https://github.com/AskAlexSharov) за сообщение об ошибках и тестирование.
  - [Виктору Логунову](https://t.me/vl_username) за сообщение об опечатки в имени переменной в Conan-рецепте.
 
 Новое:
 
- - Добавлена опция сборки `MDBX_NOSUCCESS_PURE_COMMIT` предназначенная для отладки кода пользователя.
-   По-умолчанию опция выключена и при фиксации пустых транзакции возвращается `MDBX_SUCCESS`.
-   При включении опции, фиксация пишущих транзакций без каких-либо изменений считается нештатным поведением, с возвратом из `mdbx_txn_commit()` кода `MDBX_RESULT_TRUE` вместо `MDBX_SUCCESS`.
-   Таким образом, у пользователя появляется возможность легко диагностировать лишние/ненужные транзакции записи.
-
- - Добавлена опция сборки `MDBX_ENABLE_NON_READONLY_EXPORT` позволяющая использовать в режиме чтения-записи БД расположенных в файловых системах экспортированных через NFS.
-   По-умолчанию опция выключена и при открытии в неэксклюзивном режиме чтения-записи БД расположенных  файловых системах доступных извне по NFS будет возвращаться ошибка `MDBX_EREMOTE`.
-   Включение опции позволяет открывать БД в описанных выше ситуациях, но риск чтения неверных данных на удалённой стороне ложится на пользователя.
-
  - Поддержка MacOS universal binaries при сборке посредством CMake.
 
-Изменение поведения:
-
- - Теперь при вставке данных в dupsort-таблицу CoW копирование целевых страниц выполняется после проверки отсутствия добавляемого значения среди уже присутствующих multi-значений (aka дубликатов).
-   В результате вставка уже присутствующих "дубликатов" не приводит к каким-либо изменениям в БД и принципиально увеличивает производительность в таких сценариях.
-   В текущем понимании, добавленная проверка не приводит к заметному увеличению накладных расходов и, как следствие, не приводит к снижению производительности в сценариях с обычным/регулярным обновлением и/или вставкой данных.
-
- - Использование системного кода ошибки `EREMOTEIO` ("Remote I/O error") вместо `ENOTBLK` ("Block device required") в качестве `MDBX_EREMOTE` для индикации ошибочной ситуации открытия БД расположенной на сетевом носителе.
-
 Исправления:
 
  - Устранён регресс допускающий SIGSEGV в операциях обновления после вытеснения/spilling страниц в больших транзакциях.
    Ошибка присутствует в выпусках v0.13.1, v0.13.2, v0.13.3 и оставалась незамеченной из-за специфических условий и низкой вероятности проявления.
-   Более подробная информация в описании коммита `cb8eec6d11cdab4f7d3cf87913e8009149dcf60b`.
-
-Прочие доработки:
+   Более подробная информация в описании коммита `a060057e480aa5196c7d5c00ea441c962e3b952d`.
 
- - Существенный рефакторинг с реструктуризацией кода, переименованием внутренних структур, их полей и внутренних функций.
+ - Исправлена опечатка в документации в упоминании `mdbx_env_resurrect_after_fork()`.
 
- - Доработка использования LTO в CMake-сценариях: использование `-flto=auto` для GCC >= 11.4, расслабление условий для включения LTO для CLANG на Linux, расширение поиска `LLVMgold.so` в относительных lib-директориях.
+ - Исправлена опечатка в условном операторе внутри `cursor_touch()`.
+   При переделке курсоров было пропущено отрицание в условии, при оценке количества страниц, которые могут потребоваться для выполнения операции.
+   В текущем понимании ошибка не приводила к каким-либо проблемам, ибо оценка делает по верхней границе с существенным запасом, а в худшем
+   случае это могло приводить к прерыванию транзакции из-за достижения ограничения на кол-во грязных страниц.
 
---------------------------------------------------------------------------------
-
-## v0.14.0 от 2023-03-13
+ - Корректировка излишне строгого условия в assert-проверке внутри `recalculate_subpage_thresholds()`.
+   Ошибка могла проявляться только в отладочных сборках при выставлении определенной комбинации предельных значений опций `MDBX_opt_subpage_limit`,
+   `MDBX_opt_subpage_room_threshold`, `MDBX_opt_subpage_reserve_prereq`, `MDBX_opt_subpage_reserve_limit`.
 
-Технический тэг, отмечающий начало ветки `0.14`
-с новым функционалом и изменением API.
+ - Исправление опечатки в Conan-рецепте в коде протокольно-отладочного вывода в имени переменной `version_json_pathname`.
 
-Запланированные новые возможности 0.14:
-
-1. Ранняя (не-отложенная) очистка GC и рефакторинг обновления GC. Самостоятельной видимой для пользователя ценности не имеет, но требуется для последующих пунктов.
-   Будет реализовано в 0.14.1.
-
-2. Явная дефрагментация БД. В API будет добавлена функция с двумя парами параметров:
-    - минимальный (требуемый) объём дефрагментации (уменьшения БД) и минимальное время, которое следует потратить;
-    - максимальный (ограничивающий) объём дефрагментации и максимальной время, которое допустимо потратить.
-
-    Упрощенно, алгоритмически явная дефрагментация сводится к сканированию b-tree с формированием списка страниц расположенных близко к концу БД, а затем копирование этих страниц в не-используемые, но расположенные ближе к началу БД.
-    В результате, после фиксации дефрагментирующей транзакции оригиналы скопированных страниц становятся не-используемыми, а размер БД может быть уменьшен за счет отсечения ни-используемых страниц в конце используемого пространства.
-    Будет реализовано в 0.14.2.
-
-3. Нелинейная переработка GC, без остановки переработки мусора на старом MVCC-снимке используемом долгой транзакцией чтения.
-
-    После реализации запланированного, любая длительная читающая транзакция по-прежнему будет удерживать от переработки используемый/читаемый MVCC-снимок данных (все образующие его страницы БД), но позволит перерабатывать все неиспользуемые MVCC-снимки, как до читаемого, так и после.
-    Это позволит устранить [один из основных архитектурных недостатков](https://libmdbx.dqdkfa.ru/intro.html#long-lived-read) унаследованных от LMDB и связанных с ростом размера БД пропорционально объёму производимых изменений данных на фоне долго работающей транзакции чтения.
-
-    Будет реализовано предположительно в 0.14.3, 0.14.4 или даже в 0.15.x.
-    Перенос в 0.15.x оправдан возможностью переноса функционала дефрагментации в stable-ветку, но посмотри как пойдут дела.
-
-********************************************************************************
+--------------------------------------------------------------------------------
 
 ## v0.13.3 "Королёв" от 2025-01-12
 
 Поддерживающий выпуск с исправлением обнаруженных ошибок и устранением недочетов
 в день рождения и в память об [Серге́е Па́вловиче Королёве](https://ru.wikipedia.org/wiki/Королёв,_Сергей_Павлович),
 советском учёном и Главном конструкторе ракетно-космических систем.
 
-Одновременно с этим релизом:
-
- - Ветка `0.12.x` перестаёт поддерживаться и отправляется в `архив/0.12`.
- - Ветка `0.13.x` получает статус стабильной и вливается в `stable`.
-
 Благодарности:
 
  - [Алексею Костюку (aka Keller)](https://t.me/keller18306) за сообщения об ошибках и недочетах.
@@ -150,7 +108,7 @@ and [by Yandex](https://translated.turbopages.org/proxy_u/ru-en.en/https/libmdbx
    Однако, улучшить ситуацию пока не представляется возможным, как минимум
    до доступности boot_id хостовой системы изнутри LXC-контейнера.
 
- - Устранена ошибка неверной обработки попытки запуска вложенной читающей транзакции.
+ - Устранёна ошибка неверной обработки попытки запуска вложенной читающей транзакции.
    Теперь в таких ситуациях возвращается ошибка `MDBX_EINVAL`, так как вложенность
    поддерживается только для транзакций чтения-записи.
 
@@ -175,7 +133,7 @@ and [by Yandex](https://translated.turbopages.org/proxy_u/ru-en.en/https/libmdbx
    Однако, при поиске/позиционировании это не является ошибкой для таблиц с ключами переменного размера.
 
  - Если посредством `mdbx_env_set_option(MDBX_opt_txn_dp_limit)` пользователем не задано собственно значение,
-   то теперь выполняется подстройка dirty-pages-limit при старте каждой не-вложенной пишущей транзакций,
+   то выполняется подстройка dirty-pages-limit при старте каждой не-вложенной пишущей транзакций,
    исходя из объёма доступного ОЗУ и размера БД.
 
  - Теперь в режиме `MDBX_NOSTICKYTHREADS` допускается commit/abort вложенных транзакций из любого треда/потока.

mdbxdist/VERSION.json

@@ -1 +1 @@
-{ "git_describe": "v0.14.0-53-g4730abe3", "git_timestamp": "2025-02-11T14:01:10+03:00", "git_tree": "045bfa04a0690584d8256d2d8ea3dffb1325b7d0", "git_commit": "4730abe3e55c95e53e05d2ffbd83ed6a7cb21fe5", "semver": "0.14.0.53" }
+{ "git_describe": "v0.13.4-0-g75122b31", "git_timestamp": "2025-02-14T12:56:12+03:00", "git_tree": "9b87c2c14d40bb9e9963b46c3d8d328a3f4ebe7d", "git_commit": "75122b311d3672409823d2477564689ec0be082c", "semver": "0.13.4" }

mdbxdist/cmake/compiler.cmake

@@ -502,11 +502,7 @@ if(CMAKE_COMPILER_IS_GNU${CMAKE_PRIMARY_LANG}
      AND CMAKE_GCC_RANLIB
      AND gcc_lto_wrapper)
     message(STATUS "Found GCC's LTO toolset: ${gcc_lto_wrapper}, ${CMAKE_GCC_AR}, ${CMAKE_GCC_RANLIB}")
-    if(CMAKE_${CMAKE_PRIMARY_LANG}_COMPILER_VERSION VERSION_LESS 11.4)
-      set(GCC_LTO_CFLAGS "-flto -fno-fat-lto-objects -fuse-linker-plugin")
-    else()
-      set(GCC_LTO_CFLAGS "-flto=auto -fno-fat-lto-objects -fuse-linker-plugin")
-    endif()
+    set(GCC_LTO_CFLAGS "-flto -fno-fat-lto-objects -fuse-linker-plugin")
     set(GCC_LTO_AVAILABLE TRUE)
     message(STATUS "Link-Time Optimization by GCC is available")
   else()
@@ -545,21 +541,13 @@ if(CMAKE_COMPILER_IS_CLANG)
       if(regexp_valid)
         string(REGEX REPLACE "(^|\n.*)(.*programs: =)([^\n]+)((\n.*)|$)" "\\3" list ${clang_search_dirs})
         string(REPLACE ":" ";" list "${list}")
-        set(libs_extra_subdirs "lib;../lib;lib64;../lib64;lib32;../lib32")
         foreach(dir IN LISTS list)
           get_filename_component(dir "${dir}" REALPATH)
           if(dir MATCHES ".*llvm.*" OR dir MATCHES ".*clang.*")
-            set(list_suffix "")
+            list(APPEND clang_bindirs "${dir}")
           else()
-            set(list_suffix "_x")
+            list(APPEND clang_bindirs_x "${dir}")
           endif()
-          list(APPEND clang_bindirs${list_suffix} "${dir}")
-          foreach(subdir IN LISTS libs_extra_subdirs)
-            get_filename_component(subdir "${dir}/${subdir}" REALPATH)
-            if(EXISTS "${subdir}")
-              list(APPEND clang_libdirs${list_suffix} "${subdir}")
-            endif()
-          endforeach()
         endforeach()
         list(APPEND clang_bindirs "${clang_bindirs_x}")
         list(REMOVE_DUPLICATES clang_bindirs)
@@ -571,11 +559,10 @@ if(CMAKE_COMPILER_IS_CLANG)
         foreach(dir IN LISTS list)
           get_filename_component(dir "${dir}" REALPATH)
           if(dir MATCHES ".*llvm.*" OR dir MATCHES ".*clang.*")
-            set(list_suffix "")
+            list(APPEND clang_libdirs "${dir}")
           else()
-            set(list_suffix "_x")
+            list(APPEND clang_libdirs_x "${dir}")
           endif()
-          list(APPEND clang_libdirs${list_suffix} "${dir}")
         endforeach()
         list(APPEND clang_libdirs "${clang_libdirs_x}")
         list(REMOVE_DUPLICATES clang_libdirs)
@@ -668,7 +655,9 @@ if(CMAKE_COMPILER_IS_CLANG)
   if(CMAKE_CLANG_AR
      AND CMAKE_CLANG_NM
      AND CMAKE_CLANG_RANLIB
-     AND ((CLANG_LTO_PLUGIN AND CMAKE_LD_GOLD) OR CMAKE_CLANG_LD OR APPLE))
+     AND ((CLANG_LTO_PLUGIN AND CMAKE_LD_GOLD)
+          OR (CMAKE_CLANG_LD AND NOT (CMAKE_HOST_SYSTEM_NAME STREQUAL "Linux" AND CMAKE_SYSTEM_NAME STREQUAL "Linux"))
+          OR APPLE))
     if(ANDROID AND CMAKE_${CMAKE_PRIMARY_LANG}_COMPILER_VERSION VERSION_LESS 12)
       set(CLANG_LTO_AVAILABLE FALSE)
       message(

mdbxdist/man1/mdbx_chk.1

@@ -1,6 +1,6 @@
 .\" Copyright 2015-2025 Leonid Yuriev <leo@yuriev.ru>.
 .\" Copying restrictions apply.  See COPYRIGHT/LICENSE.
-.TH MDBX_CHK 1 "2025-01-14" "MDBX 0.14"
+.TH MDBX_CHK 1 "2024-08-29" "MDBX 0.13"
 .SH NAME
 mdbx_chk \- MDBX checking tool
 .SH SYNOPSIS

mdbxdist/man1/mdbx_copy.1

@@ -2,7 +2,7 @@
 .\" Copyright 2015,2016 Peter-Service R&D LLC <http://billing.ru/>.
 .\" Copyright 2012-2015 Howard Chu, Symas Corp. All Rights Reserved.
 .\" Copying restrictions apply.  See COPYRIGHT/LICENSE.
-.TH MDBX_COPY 1 "2025-01-14" "MDBX 0.14"
+.TH MDBX_COPY 1 "2024-08-29" "MDBX 0.13"
 .SH NAME
 mdbx_copy \- MDBX environment copy tool
 .SH SYNOPSIS

mdbxdist/man1/mdbx_drop.1

@@ -1,7 +1,7 @@
 .\" Copyright 2021-2025 Leonid Yuriev <leo@yuriev.ru>.
 .\" Copyright 2014-2021 Howard Chu, Symas Corp. All Rights Reserved.
 .\" Copying restrictions apply.  See COPYRIGHT/LICENSE.
-.TH MDBX_DROP 1 "2025-01-14" "MDBX 0.14"
+.TH MDBX_DROP 1 "2024-08-29" "MDBX 0.13"
 .SH NAME
 mdbx_drop \- MDBX database delete tool
 .SH SYNOPSIS

mdbxdist/man1/mdbx_dump.1

@@ -2,7 +2,7 @@
 .\" Copyright 2015,2016 Peter-Service R&D LLC <http://billing.ru/>.
 .\" Copyright 2014-2015 Howard Chu, Symas Corp. All Rights Reserved.
 .\" Copying restrictions apply.  See COPYRIGHT/LICENSE.
-.TH MDBX_DUMP 1 "2025-01-14" "MDBX 0.14"
+.TH MDBX_DUMP 1 "2024-08-29" "MDBX 0.13"
 .SH NAME
 mdbx_dump \- MDBX environment export tool
 .SH SYNOPSIS