REFACTOR: refactor config file support for server configuration #934

singsangssong · 2025-11-19T02:51:50Z

🔗 Related Issue

⌨️ What I did

기존에 engine 설정만 가능했던 config file 설정 기능을 확장하여, engine외의 다른 설정도 파일 형태로 가능하게 하도록 합니다.
(-e config_file=/config_file1.conf)

구동시 옵션을 직접 전달하는 대신, config file 경로를 인자로 넘겨 초기 설정을 자동으로 적용하도록 합니다.
(대부분의 프로그램에서 차용하는 방식)
- main()실행시, 구동옵션을 확인하기 전에 첫번째 인자를 config file경로를 인식하도록 기능을 확장합니다.

./memcached /path/to/arcus.conf

try_load_config_file()을 구현하여, .conf파일을 라인 단위로 읽어서 모든 값을 설정합니다.
- getopt의 optind를 동적으로 조정하여 config file과 구동옵션을 혼용할때, 구동 옵션값이 덮어씌어지도록 합니다.
https://github.com/jam2in/arcus-works/issues/808 를 통한 old_opts 중복 해결
- 기존에는 getopt(구동옵션값 설정)루프 내에서 settings 전역 구조체와 old_opts 문자열 생성을 동시에 수행하기에, config file과 구동옵션을 동시에 수행하면 old_opts에 중복된 값이 들어갔습니다.
- 이에 config_file과 구동옵션 모두 settings 전역 구조체만 업데이트를 수행하고, 파싱이후에 old_opts 문자열을 작성하도록 했습니다.

memcached.c

ing-eoking · 2025-11-24T09:11:44Z

혹시 이번 PR과 비교해볼 수 있도록, try_load_config_file 함수를 따로 분리하지 않고 로직을 main에 직접 구현한 경우도 한 번 만들어 볼 수 있을까요?

singsangssong · 2025-11-25T02:53:57Z

현재 커밋은 따로 함수를 분리하지 않고, main내에 모든 코드를 넣은 구조입니다.
만약 이전처럼 함수로 묶어둔 것이 더 가독성이 높다면 이전 커밋으로 복구시켜두겠습니다.

memcached.c

jhpark816 · 2025-11-26T08:21:20Z

@namsic
본 PR은 인터페이스에 관한 내용이라, 리뷰하는 것이 좋겠습니다.

jhpark816

리뷰 완료

memcached.c

jhpark816 · 2025-11-28T09:06:16Z

@namsic 리뷰 바랍니다.

namsic

현재 PR은 기존 명령행 옵션을 그대로 설정 파일 형태로 제공하는 데 집중하고 있습니다.

설정 파일에서는 명령행 옵션에 비해 상대적으로 구조적인 형태를 표현하기가 용이하므로
장기적인 관점에서 설정 파일 구조에 대한 몇 가지 생각나는 방안을 공유합니다.
(아래와 같은 설계 방안이 꼭 좋다는 것은 아닙니다.)

engine 관련 설정

AS-IS: 아래와 같이 -e option이 그대로 매핑되고 있음
engine_config=data_path=/tmp/data,log_path=/tmp/log
TO-BE: engine config을 바로 입력할 수 있도록 변경

# [ core ]
port=11211
username=jam2in

# [ engine ]
maxbyte=100
engine_data_path=/tmp/data
engine_log_path=/tmp/log

# [ replication ]
…

# [ migration ]
…

extension 관련 설정

AS-IS: extensionN=/xxx.so 입력 시 활성화
TO-BE: enable 설정 사용 + extension 전용 설정 추가 가능

# [ ascii_scrub ]
ext_ascii_scrub_enable=true # default=false
# false이면 아래 모든 ext_ascii_scrub_xxx 설정을 무시
ext_ascii_scrub_path=/tmp/ascii_scrub.so # default=(empty)
# empty이면 기본 탐색 경로(system path)에서 탐색
ext_ascii_scrub_xxx=... # 기타 extension에서 사용하기 위한 설정들

기타

vervose=1 대신 log_level=info와 같이 입력 가능하도록 변경

memcached.c

ing-eoking · 2025-12-01T00:38:28Z

@namsic

engine 및 extension의 내부 설정까지 현재 PR의 설정 파일로 제어하자는 의견으로 보입니다. 다만 이 기능은 추후 확장 포인트로 고려할 수는 있으나, 현재 단계에서 포함해야 하는 요소는 아니라는 생각입니다.

engine 관련 설정

현재 엔진 타입(default, gust, squall 등)마다 다른 설정 인자를 갖고 있는 경우가 있습니다. 모든 엔진 타입의 인자를 설정 파일에서 일괄적으로 지원하는 방식보다는 오히려 설정 파일을 엔진별로 분리하고 경로만 지정하는 지금의 형태가 더 자연스러운 형태라 생각됩니다.

extension 관련 설정

extension의 경우 ascii_scrub, syslog_logger 등 기본적으로 제공되는 항목이 있지만, 사용자가 직접 커스텀 extension을 구현하여 추가하는 것도 가능합니다. 이러한 확장성을 고려할 때, 설정 파일에서 특정 extension만 사용하도록 제한하는 것은 바람직하지 않아 보입니다.

jhpark816

일부 리뷰

config_parser.c

jhpark816 · 2025-12-01T11:42:46Z

memcached.c

+            { .key = "require_sasl",    .datatype = DT_BOOL,   .value.dt_bool   = &settings.require_sasl },
+#endif
+            { .key = NULL }
+        };


default 설정 파일도 잘 정리하여 PR에 올려주세요.

memcached.c

jhpark816 · 2025-12-01T12:11:10Z

memcached.c

+            { .key = "zookeeper",       .datatype = DT_STRING, .value.dt_string = (char**)&arcus_zk_cfg },
+            { .key = "zk_timeout",      .datatype = DT_UINT32, .value.dt_uint32 = (uint32_t*)&arcus_zk_to },
+#ifdef PROXY_SUPPORT
+            { .key = "proxy_config",    .datatype = DT_STRING, .value.dt_string = &arcus_proxy_cfg },


일부 설정은 settings에 있고, 다른 설정은 별도의 변수로 받고 있는 데요.
settings에 모두 추가하는 것이 나은 방향인가요?

전역 설정으로 통합하는게 더 깔끔한 구조일 수 있으나, 기존 로직의 변경점도 많아질거라 생각합니다.
settings의 변수를 정리하는 이슈를 별도로 진행하면 좋을 것 같습니다.

arcus.conf

ing-eoking

@jhpark816 @singsangssong

여기 코드를 별도 함수로 분리하는 것이 좋겠습니다.

#934 (comment)

현재 config 파일 설정을 모듈/함수화하면 비교적 깔끔하지 않은 형태인 것 같습니다.
후속 PR로 main 함수의 로컬 변수들을 settings로 이동하고, 모듈/함수화하는 방향은 어떤가요?

arcus.conf

ing-eoking · 2025-12-04T05:12:52Z

arcus.conf

+# udpport=0
+
+# The IP address of the network interface to listen on.
+# 0.0.0.0 means listen on all available interfaces (INADDR_ANY).


default가 INADDR_ANY임을 포함

ing-eoking · 2025-12-04T05:16:08Z

arcus.conf

+# Adjusting this value also adjusts the slab page size.
+item_size_max=1m
+
+# Action to take when memory is exhausted. (Default: false)


설명이 반대로 된 것 같습니다. Default 값은 true 이며, eviction이 false이면 아이템이 가득 차면 에러를 반환합니다.

ing-eoking · 2025-12-04T05:32:46Z

arcus.conf

+# Recommended value: > 10 and < 20000 (check internal implementation limits).
+# zk_timeout=3000
+
+# Proxy configuration (if compiled with proxy support)


이는 proxy support는 빌드 과정에서 포함되는 옵션은 아니므로 if complied with proxy support 설명은 제거해도 됩니다.

arcus.conf

ing-eoking · 2025-12-04T08:24:56Z

arcus.conf

+# These options control the behavior of the Arcus storage engine,
+# including Collection features (List, Set, Map, B+Tree).


이 주석은 제거해도 될 것 같습니다.

ing-eoking · 2025-12-04T08:27:23Z

arcus.conf

+prefix_delimiter=:
+
+# Enable detailed stats collection. (Default: false)
+# Automatically enabled if 'prefix_delimiter' is set.


이 주석은 제거해야 합니다.

ing-eoking · 2025-12-04T08:31:04Z

arcus.conf

+# pid_file=/var/run/memcached.pid
+
+# Verbose logging level. (Default: 3)
+# 0 = Detail, 1 = Debug, 2 = Info, 3 = Warning


여기서 verbosity 값은 반대입니다.
0 = Warning, 1 = Info, 2 = Debug, 3 = Detail

ing-eoking · 2025-12-04T08:33:24Z

arcus.conf

+verbosity=3
+
+# Limit the size of the core file. (Default: 0)
+# Used for debugging purposes to allow core dumps.


"해당 값은 0(false) 또는 1(true)의 값을 가진다." 라는 의미를 넣으면 좋을 것 같습니다.

ing-eoking · 2025-12-04T08:36:31Z

arcus.conf

+# zk_timeout=3000
+
+# Proxy configuration (if compiled with proxy support)
+# proxy_config=...


예시는 ip:port 형식이면 좋을 것 같습니다.

ing-eoking

그룹에 따라 분류되는 형태로 변경이 가능할까요?

예를 들어 Network 관련 설정 부분끼리 분류하고 모아두는 형태면 좋을 것 같습니다.

ing-eoking · 2025-12-05T02:37:11Z

arcus.conf

+# Recommended value: > 10 and < 20000 (check internal implementation limits).
+# zk_timeout=3000
+
+# Proxy configuration (if compiled with proxy support)


해당 부분도 Zookeeper Support 시 가능한 걸로 내용을 변경하는 편이 좋을 것 같습니다.

ing-eoking · 2025-12-05T02:47:32Z

arcus.conf

+memory_limit=64M
+
+# Maximum size of a single item. (Default: 1m)
+# Supports K and M suffixes. Min: 1k, Max: 128m.


이 부분도 kmgt 모두 지원하므로 제외해도 됩니다. 최대 최소 설명만 넣어도 충분할 것으로 보입니다.

ing-eoking · 2025-12-05T02:48:28Z

arcus.conf

+# extension1=/usr/local/lib/logger.so
+# extension2=/usr/local/lib/management.so
+
+# Settings required


해당 줄 제거

ing-eoking · 2025-12-05T02:49:45Z

arcus.conf

+
+# Chunk size growth factor between slab classes. (Default: 1.25)
+# Controls the size increase of chunks in subsequent slab classes.
+factor=1.25


1보다 큰 값을 가져야 한다는 설명이 있으면 좋겠습니다.

ing-eoking · 2025-12-05T02:54:41Z

memcached.c

+
+    if (settings.verbose > 0) {
+        perform_callbacks(ON_LOG_LEVEL, NULL, NULL);
+    }


sticky limit이 0보다 크면 1024 * 1024를 곱하는 것도 필요할 것으로 보입니다.

ing-eoking · 2025-12-05T02:55:19Z

arcus.conf

+
+# Assume the identity of <username> (drops root privileges).
+# Effectively switches the user after starting.
+# username=nobody


예시는 root로 하는게 좋을 것 같습니다.

arcus.conf

singsangssong · 2025-12-05T06:59:04Z

아래 구조로 분류하곘습니다. 구조를 변경하고싶으신 옵션이 있다면 말씀해주세요.

General & Process
- engine_paht
- daemonize
- pid_file
- username
- maxcore
Network & Connection
- port
- udpport
- listen
- socketpath
- access
- maxconns
- backlog
- protocol
- required_sasl
Memory & Storage
- memory_limit
- eviction
- item_size_max
- factor
- chunk_size
- sticky_limit
- preallocate
- lock_memory
Performance & Tuning
- threads
- reqs_per_event
- use_cas
Logging & Statistics
- verbosity
- prefix_delimiter
- detail_enabled
- allow_detailed
Extensions & Modules
- extension1...5
- engine_config
Zookeeper Support
- zookeeper
- zk_timeout
- proxy_config

ing-eoking · 2025-12-05T09:05:17Z

@singsangssong

use_cas랑 engine_config 부분만 Memory & Storage 쪽으로 이동하면 될 것 같습니다.

singsangssong force-pushed the task/config branch 3 times, most recently from e3f1fad to 8e7a0ae Compare November 19, 2025 03:08

ing-eoking self-requested a review November 19, 2025 07:41

singsangssong force-pushed the task/config branch from 8e7a0ae to 6612bae Compare November 19, 2025 07:45

ing-eoking reviewed Nov 19, 2025

View reviewed changes

memcached.c Outdated Show resolved Hide resolved

memcached.c Outdated Show resolved Hide resolved

memcached.c Outdated Show resolved Hide resolved

ing-eoking reviewed Nov 19, 2025

View reviewed changes

memcached.c Outdated Show resolved Hide resolved

singsangssong force-pushed the task/config branch from 6612bae to e78830a Compare November 20, 2025 04:29

ing-eoking reviewed Nov 20, 2025

View reviewed changes

memcached.c Outdated Show resolved Hide resolved

ing-eoking marked this pull request as draft November 20, 2025 06:42

singsangssong force-pushed the task/config branch 4 times, most recently from fcbee46 to 59f4850 Compare November 21, 2025 04:30