Config 支持简单的 table 类型

[hanxi]

目前我是用字符串来定义 table 类型的配置的，遇到一个不方便的地方就是缺少语法高亮，或者看起来不合群，比如这样的：

etcd_config = [[
{
    http_host = {
        "http://127.0.0.1:2379",
        "http://127.0.0.1:2378",
        "http://127.0.0.1:2377",
    },
    --user = "root",
    --password = "123456",
}
]]

读取这个值的地方倒是没什么问题，封装一个 get_table 函数就能解决：

function M.get_table(key)
    local s = M.get(key)
    if type(s) == "string" then
        local f, err1 = load("return " .. s, "@" .. key)
        if not f then
            error("load config failed:" .. err1 .. s)
        end

        local ok, err2 = pcall(f)
        if not ok then
            error("exec config failed:" .. err2)
        end

        s = err2
        conf[key] = s
    end
    return s
end

于是想能不能底层提供点基础的支持呢？

想法1: 提供一个 t 函数序列化

static const char * load_config = "\
	local result = {}\n\
	local function getenv(name) return assert(os.getenv(name), [[os.getenv() failed: ]] .. name) end\n\
	local sep = package.config:sub(1,1)\n\
	local current_path = [[.]]..sep\n\
	local function include(filename)\n\
		local last_path = current_path\n\
		local path, name = filename:match([[(.*]]..sep..[[)(.*)$]])\n\
		if path then\n\
			if path:sub(1,1) == sep then	-- root\n\
				current_path = path\n\
			else\n\
				current_path = current_path .. path\n\
			end\n\
		else\n\
			name = filename\n\
		end\n\
		local f = assert(io.open(current_path .. name))\n\
		local code = assert(f:read [[*a]])\n\
		code = string.gsub(code, [[%$([%w_%d]+)]], getenv)\n\
		f:close()\n\
		assert(load(code,[[@]]..filename,[[t]],result))()\n\
		current_path = last_path\n\
	end\n\
	local function t(_t)\n\
		if type(_t) == 'table' then\n\
			local s = '{'\n\
			for k, v in pairs(_t) do\n\
				s = s .. '[' .. t(k) .. ']=' .. t(v) .. ','\n\
			end\n\
			return s .. '}'\n\
		elseif type(_t) == 'string' then\n\
			return '\"' .. _t .. '\"'\n\
		else\n\
			return tostring(_t)\n\
		end\n\
	end\n\
	setmetatable(result, { __index = { include = include, t = t } })\n\
	local config_name = ...\n\
	include(config_name)\n\
	setmetatable(result, nil)\n\
	return result\n\
";

这样的话，配置就能这样写：

etcd_config = t {
    http_host = {
        "http://127.0.0.1:2379",
        "http://127.0.0.1:2378",
        "http://127.0.0.1:2377",
    },
    --user = "root",
    --password = "123456",
}

想法2: 仅提供基础的关键函数（或者把所有lua函数都放开？估计能玩出花来， json 都不在话下了），让他人自己实现 t 函数：

setmetatable(result, { __index = { include = include, pairs = pairs, type = type, tostring = tostring } })\n\

想法3: 直接修改 _init_env ，支持序列化 table ：

static void
_init_env(lua_State *L) {
	lua_pushnil(L);  /* first key */
	while (lua_next(L, -2) != 0) {
		int keyt = lua_type(L, -2);
		if (keyt != LUA_TSTRING) {
			fprintf(stderr, "Invalid config table\n");
			exit(1);
		}
		const char * key = lua_tostring(L,-2);
		int valuet = lua_type(L, -1);
		if (valuet == LUA_TBOOLEAN) {
			int b = lua_toboolean(L,-1);
			skynet_setenv(key,b ? "true" : "false" );
		} else if (valuet == LUA_TTABLE) {
			lua_getglobal(L, "t");
			lua_pushvalue(L, -2);
			if (lua_pcall(L, 1, 1, 0) == 0) {
				const char * serialized = lua_tostring(L, -1);
				if (serialized) {
					skynet_setenv(key, serialized);
				} else {
					fprintf(stderr, "Failed to serialize table for key: %s\n", key);
					exit(1);
				}
				lua_pop(L, 1);
			} else {
				fprintf(stderr, "Error calling t function for key %s: %s\n", key, lua_tostring(L, -1));
				exit(1);
			}
		} else {
			const char * value = lua_tostring(L,-1);
			if (value == NULL) {
				fprintf(stderr, "Invalid config table key = %s\n", key);
				exit(1);
			}
			skynet_setenv(key,value);
		}
		lua_pop(L,1);
	}
	lua_pop(L,1);
}

static const char * load_config = "\
	local result = {}\n\
	local function getenv(name) return assert(os.getenv(name), [[os.getenv() failed: ]] .. name) end\n\
	local sep = package.config:sub(1,1)\n\
	local current_path = [[.]]..sep\n\
	local function include(filename)\n\
		local last_path = current_path\n\
		local path, name = filename:match([[(.*]]..sep..[[)(.*)$]])\n\
		if path then\n\
			if path:sub(1,1) == sep then	-- root\n\
				current_path = path\n\
			else\n\
				current_path = current_path .. path\n\
			end\n\
		else\n\
			name = filename\n\
		end\n\
		local f = assert(io.open(current_path .. name))\n\
		local code = assert(f:read [[*a]])\n\
		code = string.gsub(code, [[%$([%w_%d]+)]], getenv)\n\
		f:close()\n\
		assert(load(code,[[@]]..filename,[[t]],result))()\n\
		current_path = last_path\n\
	end\n\
	function t(_t)\n\
		if type(_t) == 'table' then\n\
			local s = '{'\n\
			for k, v in pairs(_t) do\n\
				s = s .. '[' .. t(k) .. ']=' .. t(v) .. ','\n\
			end\n\
			return s .. '}'\n\
		elseif type(_t) == 'string' then\n\
			return '\"' .. _t .. '\"'\n\
		else\n\
			return tostring(_t)\n\
		end\n\
	end\n\
	setmetatable(result, { __index = { include = include } })\n\
	local config_name = ...\n\
	include(config_name)\n\
	setmetatable(result, nil)\n\
	return result\n\
";

这样的话，配置就能这样写了：

etcd_config = {
    http_host = {
        "http://127.0.0.1:2379",
        "http://127.0.0.1:2378",
        "http://127.0.0.1:2377",
    },
    --user = "root",
    --password = "123456",
}

PS: 我也不知道哪种想法比较合适，所以来问问大家有什么看法。虽然之前都是建议用其他工具生成配置，但是如果能提供基础支撑，其他工具会比较顺手一点。

[cloudwu]

其实直接支持 https://github.com/cloudwu/datalist 就丰富了。只是需要一个简单的兼容手段（可能用文件后缀名区分最简单）。

[hanxi]

用后缀名区分确实不错的样子，如果能外挂的方式实现就好了，那样配置的解析就能自定义了。比如：

./skynet example/config.lua
./skynet example/config.datalist
./skynet example/config.json
./skynet example/config.ini
./skynet example/config.yaml
./skynet example/config.toml

在哪里配自定义的解析器又是个问题了，再加个参数？还是用环境变量？外挂的方式去加载一个so文件？

SKYNET_CONFIG_LOADER=configloader.so ./skynet example/config.lua

如果能这样外挂的话，就不需要维护各种实现了，只提供定制入口。

[hanxi]

又想到了一个改动小的方案：

#ifndef LOAD_CONFIG_CUSTOM
#define LOAD_CONFIG_DEFAULT \
    "local result = {}\n" \
    "local function getenv(name) return assert(os.getenv(name), [[os.getenv() failed: ]] .. name) end\n" \
    "local sep = package.config:sub(1,1)\n" \
    "local current_path = [[.]]..sep\n" \
    "local function include(filename)\n" \
    "	local last_path = current_path\n" \
    "	local path, name = filename:match([[(.*]]..sep..[[)(.*)$]])\n" \
    "	if path then\n" \
    "		if path:sub(1,1) == sep then	-- root\n" \
    "			current_path = path\n" \
    "		else\n" \
    "			current_path = current_path .. path\n" \
    "		end\n" \
    "	else\n" \
    "		name = filename\n" \
    "	end\n" \
    "	local f = assert(io.open(current_path .. name))\n" \
    "	local code = assert(f:read [[*a]])\n" \
    "	code = string.gsub(code, [[%$([%w_%d]+)]], getenv)\n" \
    "	f:close()\n" \
    "	assert(load(code,[[@]]..filename,[[t]],result))()\n" \
    "	current_path = last_path\n" \
    "end\n" \
    "setmetatable(result, { __index = { include = include } })\n" \
    "local config_name = ...\n" \
    "include(config_name)\n" \
    "setmetatable(result, nil)\n" \
    "return result\n"
#else
// 使用外部自定义的 LOAD_CONFIG_CUSTOM 宏
#define LOAD_CONFIG_DEFAULT LOAD_CONFIG_CUSTOM
#endif

// 定义静态常量字符串，使用宏展开的内容
static const char *load_config = LOAD_CONFIG_DEFAULT;

这样可以实现编译的时候自定义LOAD_CONFIG_CUSTOM来扩展。

[cloudwu]

我不认为读配置文件需要提供扩展性。配置文件应该尽可能的短小，更复杂的数据应该在启动后再由更高层次读取，例如从网络下载、数据库、其它节点、等等。

[hanxi]

赞成你这个观点，配置项多了之后还是需要做一个配置中心的，节点启动去配置中心取配置，这样更方便管理和部署。

[253980289]

我们配置分三类：
skynet启动配置
程序配置：格式就是一个lua文件，又分三层，框架层、应用层、定制层，各层配置实际是共享一个表，但高层能覆盖低层配置。至于动态配置更新当然可以支持远程获取之类。
策划配置

[hanxi]

又遇到一个问题了，log 服务是需要先启动的，这时候 configd 还没启动，配置读取就还是只能从 skyent.getenv 取。虽然可以先用默认配置启动，等 configd 启动后再更新配置，就是觉得有点绕。还有没有其他方案呢？把 conifgd 的逻辑放到 log 服务里实现？

-- log config
logger = "logger"
logservice = "snlua"
bootfaillogpath = "logs/bootfail.log" -- 启动失败的日志文件
log_overload_mqlen = 1000000 -- 日志过载队列长度
log_src = true -- 日志是否打印代码位置
log_print_table = true -- 日志是否打印table内容
log_level = 4 -- 日志等级 DEBUG = 4, INFO = 3, WARN = 2, ERROR = 1, FATAL = 0
log_config = log_config
    or [[
{
    {
        name = "file",
        filename = "logs/skyext.log",
        split = "size", -- size/line/day/hour
        maxline = 10000, -- 每个文件最大行数 line split 有效
        maxsize = "100M", -- 每个文件最大尺寸 size split 有效
    },
    {
        name = "console",
    }
}
]]

[cloudwu]

考虑把 log 服务做成两段初始化。

在一开始，做最简单的无配置初始化后，log 只把 rawdata 记录在内存，不做任何处理。

log 服务提供一个主动的二段初始化指令，由启动流程触发。触发后整理前期的 rawdata ，并作详尽的配置。log 服务进入正式的工作阶段。

[hanxi]

尝试写了下，没搞定，启动顺序难搞，我是把 log 初始化放在 preload 里执行的。

又换了一个想法，直接在启动的时候去读取另一个文件，再用 skynet.setenv 写回去:

function M.init()
	local app_config_loaded = skynet.getenv("app_config_loaded")
    if app_config_loaded then
        return
    end

    local app_config_path = skynet.getenv("app_config_path")
    if app_config_path == nil then
        error("app_config_path is nil")
    end
    local ok, result = pcall(load_config, app_config_path)
    if not ok then
        error("load app config failed:" .. result)
    end
    skynet.setenv("app_config_loaded", "true")
    for k, v in pairs(result) do
        if type(v) == "table" then
            skynet.setenv(k, t(v))
        else
            skynet.setenv(k, tostring(v))
        end
    end
end

但还是遇到了启动顺序的问题，虽然能写入成功，但是出现了2个服务同时写入：

require skyext error:./skynet/lualib/skynet.lua:688: Can't setenv exist key : app_config_loaded

又想了一个方案，如果能像 include 一样加个 readfile 函数也能解决问题。

include "core.conf.lua"
app_config = readfile "etc/app/account1.app.lua"

[hanxi]

同时执行的 setenv 原因找到了，得在 skynet.init 里初始化。

[cloudwu]

没理解为什么要写在 preload 里。log 服务的初始化不应该是系统初始化的一部分吗？preload 是每个服务加载都要运行的。

[hanxi]

是我实现 log 模块接口和 log 服务耦合在一起的问题，我 preload 只是初始化了 log 模块接口，log 模块中又从去读取配置了。log 服务初始化是单独的。

[hanxi]

根据 @253980289 的配置分层建议，我也说个配置管理相关的建议，不管 Config 是否支持 table 类型，配置应该是分层管理的。分层管理更清晰也更好维护。现在我把我的 config 配置分了 2 层，一层是 skynet 内部的，一个是应用层的（非策划配置）。

配置目录结构：

etc
├── app
│   ├── account1.app.lua
│   ├── account2.app.lua
│   ├── common.app.lua
│   ├── monitor.app.lua
│   ├── role1.app.lua
│   └── role2.app.lua
├── account1.conf.lua
├── account2.conf.lua
├── core.conf.lua
├── role1.conf.lua
└── role2.conf.lua

core.conf.lua

这里只允许配置 skynet 内置的配置，不允许配置应用层的配置。

root = "./"

luaservice = root .. "app/" .. start .. "/?.lua;"
luaservice = luaservice .. root .. "app/?/main.lua;"
luaservice = luaservice .. root .. "app/" .. start .. "/?/main.lua;"
luaservice = luaservice .. root .. "service/?.lua;"
luaservice = luaservice .. root .. "service/?/main.lua;"
luaservice = luaservice .. root .. "skynet/service/?.lua;"

lua_path = root .. "?.lua;"
lua_path = lua_path .. root .. "lualib/?.lua;"
lua_path = lua_path .. root .. "lualib/?/init.lua;"
lua_path = lua_path .. root .. "skynet/lualib/?.lua;"

lua_cpath = root .. "luaclib/?.so;"
lua_cpath = lua_cpath .. root .. "skynet/luaclib/?.so;"

cpath = root .. "skynet/cservice/?.so;"
snax = root .. "service/?.lua;"

lualoader = root .. "lualib/loader.lua"
preload = root .. "lualib/preload.lua"

thread = 8
bootstrap = "snlua bootstrap"
harbor = 0

logservice = "snlua"
logger = "logger"

account1.conf.lua

这是程序配置入口，也就是启动命令传入的配置文件。

app_config_path = "etc/app/account1.app.lua"
start = "account" -- main script account/main.lua
include "core.conf.lua" -- include core config

app/account2.app.lua

这里就是 account 进程的配置。

log_config = {
    {
        name = "file",
        filename = "logs/account.log",
        split = "size", -- size/line/day/hour
        maxsize = "100M", -- 每个文件最大尺寸 size split 有效
    },
    {
        name = "console",
    },
}

account_http_port = 8080
account_agent_count = 1

debug_console_port = 6003

snowflake_machine_id = 2

include "common.app.lua"

扩展

如果配置是远程的，可以配置一个远程配置服务器，然后通过 http 获取配置。

app_config_url = "http://127.0.0.1/etc/app/account1.app.lua"
start = "account" -- main script account/main.lua
include "core.conf.lua" -- include core config