[BugFix] change max string length to 1M when unknown (backport #67873) (backport #68132) (#68136)

Signed-off-by: jaogoy <jaogoy@gmail.com>
Co-authored-by: Planck Li <jaogoy@gmail.com>

Author: mergify[bot]

docs/en/cover_pages/bi_tools.mdx

@@ -6,4 +6,6 @@ displayed_sidebar: docs
 
 import DocCardList from '@theme/DocCardList';
 
+> Tip: If a BI tool relies on the string max length in query metadata and that length is smaller than actual values (causing empty returns), set the global variable `max_unknown_string_meta_length` (1~1,048,576, default 64) to a higher value so string columns return that length in metadata.
+
 <DocCardList />

docs/en/sql-reference/System_variable.md

@@ -484,6 +484,13 @@ Default value: `true`.
 * **Description**: Whether to cache pointers and partition names for Iceberg tables. From v3.2.1 to v3.2.3, this parameter is set to `true` by default, regardless of what metastore service is used. In v3.2.4 and later, if the Iceberg cluster uses AWS Glue as metastore, this parameter still defaults to `true`. However, if the Iceberg cluster uses other metastore service such as Hive metastore, this parameter defaults to `false`.
 * **Introduced in**: v3.2.1
 
+### max_unknown_string_meta_length (global)
+
+* **Description**: Fallback length for string columns in query result metadata when the max length is unknown. Clients that rely on the metadata may return empty values or truncation if the reported length is smaller than actual values. Valid range is `1` to `1048576`.
+* **Default**: 64
+* **Data Type**: int
+* **Introduced in**: v3.5.13
+
 ### enable_metadata_profile
 
 * **Description**: Whether to enabled Profile for Iceberg Catalog metadata.

docs/ja/cover_pages/bi_tools.mdx

@@ -6,4 +6,6 @@ displayed_sidebar: docs
 
 import DocCardList from '@theme/DocCardList';
 
+> ヒント：BI ツールが結果セットのメタデータに含まれる文字列最大長に依存し、その値が実際より小さいために空値や切り詰めが発生する場合は、グローバル変数 `max_unknown_string_meta_length`（範囲 1〜1,048,576、デフォルト 64）を大きく設定すると、文字列列のメタデータ長がその値にフォールバックします。
+
 <DocCardList />

docs/ja/sql-reference/System_variable.md

@@ -474,6 +474,13 @@ MySQL クライアント互換性のために使用されます。実際の用
 * **説明**: Iceberg テーブルのポインタとパーティション名をキャッシュするかどうか。v3.2.1 から v3.2.3 では、メタストアサービスに関係なく、このパラメータはデフォルトで `true` に設定されています。v3.2.4 以降では、Iceberg クラスタがメタストアとして AWS Glue を使用している場合、このパラメータはデフォルトで `true` に設定されています。ただし、Iceberg クラスタが Hive メタストアなどの他のメタストアサービスを使用している場合、このパラメータはデフォルトで `false` に設定されています。
 * **導入バージョン**: v3.2.1
 
+### max_unknown_string_meta_length (global)
+
+* **説明**: 文字列列の最大長が不明な場合にメタデータで使用するフォールバック長。メタデータの長さが実際より小さいと、一部の BI ツールで空値や切り詰めが発生する可能性があります。`0` 以下は `64` にフォールバックします。有効範囲は `1` ～ `1048576`。
+* **デフォルト**: 64
+* **データ型**: Int
+* **導入バージョン**: v3.5.13
+
 ### enable_metadata_profile
 
 * **説明**: Iceberg Catalog のメタデータ収集クエリに対して Profile を有効にするかどうか。

docs/zh/cover_pages/bi_tools.mdx

@@ -6,4 +6,6 @@ displayed_sidebar: docs
 
 import DocCardList from '@theme/DocCardList';
 
+> 提示：如果 BI 工具依赖返回结果集元数据中的字符串最大长度，而该长度小于真实值导致返回空值，可将全局变量 `max_unknown_string_meta_length`（范围 1～1048576，默认 64）调大，使字符串列在元数据中返回该长度。
+
 <DocCardList />

docs/zh/sql-reference/System_variable.md

@@ -480,6 +480,13 @@ ALTER USER 'jack' SET PROPERTIES ('session.query_timeout' = '600');
 * 描述：是否缓存 Iceberg 表指针和分区名相关的数据。在 3.2.1 到 3.2.3 版本，该参数默认值统一为 `true`。自 3.2.4 版本起，如果 Iceberg 集群的元数据服务为 AWS Glue，该参数默认值仍为 `true`，如果 Iceberg 集群的元数据服务为 Hive Metastore（简称 HMS）或其他，则该参数默认值变更为 `false`。
 * 引入版本：v3.2.1
 
+### max_unknown_string_meta_length (global)
+
+* 描述：当字符串列的最大长度未知时用于元数据的回退长度。如果客户端依赖该元数据且报告的长度小于真实值，部分 BI 工具可能返回空值或截断。小于等于 0 时回退为 `64`；有效范围为 `1` ~ `1048576`。
+* 默认值：64
+* 数据类型：Int
+* 引入版本：v3.5.13
+
 ### enable_metadata_profile
 
 * 描述：是否为 Iceberg Catalog 的元数据收集查询开启 Profile。

fe/fe-core/src/main/java/com/starrocks/catalog/Type.java

@@ -39,11 +39,13 @@
 import com.google.common.collect.ImmutableMap;
 import com.google.common.collect.ImmutableSortedMap;
 import com.google.common.collect.Lists;
+import com.starrocks.catalog.PrimitiveType;
 import com.starrocks.catalog.combinator.AggStateDesc;
 import com.starrocks.common.Pair;
 import com.starrocks.mysql.MysqlColType;
 import com.starrocks.proto.PScalarType;
 import com.starrocks.proto.PTypeDesc;
+import com.starrocks.qe.GlobalVariable;
 import com.starrocks.sql.analyzer.SemanticException;
 import com.starrocks.thrift.TColumnType;
 import com.starrocks.thrift.TPrimitiveType;
@@ -1667,7 +1669,8 @@ public int getMysqlResultSetFieldLength() {
                 ScalarType charType = ((ScalarType) this);
                 int charLength = charType.getLength();
                 if (charLength == -1) {
-                    charLength = 64;
+                    charLength = (this.getPrimitiveType() == PrimitiveType.CHAR) ? 255
+                        : GlobalVariable.getMaxUnknownStringMetaLength();
                 }
                 // utf8 charset
                 return charLength * 3;

fe/fe-core/src/main/java/com/starrocks/qe/GlobalVariable.java

@@ -77,6 +77,8 @@ public final class GlobalVariable {
     public static final String ACTIVATE_ALL_ROLES_ON_LOGIN = "activate_all_roles_on_login";
     public static final String ACTIVATE_ALL_ROLES_ON_LOGIN_V2 = "activate_all_roles_on_login_v2";
     public static final String ENABLE_TDE = "enable_tde";
+    public static final String MAX_UNKNOWN_STRING_META_LENGTH = "max_unknown_string_meta_length";
+
 
     @VariableMgr.VarAttr(name = VERSION_COMMENT, flag = VariableMgr.READ_ONLY)
     public static String versionComment = Version.STARROCKS_VERSION + "-" + Version.STARROCKS_COMMIT_HASH;
@@ -178,6 +180,9 @@ public final class GlobalVariable {
     @VariableMgr.VarAttr(name = ENABLE_TDE, flag = VariableMgr.GLOBAL | VariableMgr.READ_ONLY)
     public static boolean enableTde = KeyMgr.isEncrypted();
 
+    @VariableMgr.VarAttr(name = MAX_UNKNOWN_STRING_META_LENGTH, flag = VariableMgr.GLOBAL)
+    private static int maxUnknownStringMetaLength = 64;
+
     public static boolean isEnableQueryQueueSelect() {
         return enableQueryQueueSelect;
     }
@@ -312,6 +317,13 @@ public static void setActivateAllRolesOnLogin(boolean activateAllRolesOnLogin) {
         GlobalVariable.activateAllRolesOnLogin = activateAllRolesOnLogin;
     }
 
+    public static int getMaxUnknownStringMetaLength() {
+        if (maxUnknownStringMetaLength <= 0) {
+            return 64;
+        }
+        return maxUnknownStringMetaLength;
+    }
+
     // Don't allow create instance.
     private GlobalVariable() {