一站式数据表导出流程 For Unity

前言

游戏多少都会会有点数值信息,为了尽量实现数据驱动,方便策划调整游戏体验,势必需要选择一种合适的配表方式。

看了看网上主流的解决方案,主要以csv和json为主,纯文本表示在调试和版本控制中非常方便,小规模的数据读取起来也不是很慢,主要缺点在于策划编辑起来不太方便,csv不支持公式,不支持格式,json则非常难以编辑。

嗯,决定手动造个轮子,把这套工作流优化一下。

工作流程

编辑Excel表

准备一个空白的文件夹用于存放所有的Excel表格,每个数据表一个xlsx文档,文档中只有一个Sheet页,除了第一个以外的Sheet页将会被忽略,所以可以用这个机制来实现临时或参考用表。另外,文件夹中所有以下划线_开头的文件将会被导出工具所忽略。

每当策划需要创建一个新表,需要手动将空白表的模板(_模板.xlsx)复制一份出来,以保证表结构一致,空白表如图:

fig. 1

从A列开始,数据表的每个字段对应一列。

  • 每列的第1行是该列的注释,用于说明这一行是做什么的,可留空但不建议。
  • 每列的第2行是该列的名称,建议以Pascal命名法命名,即使用首字母大写的单词组合
  • 每列的第3行是该列的数据类型,目前支持4种类型:int-整数,text-字符串,ints-半角逗号隔开的整数,在C#中可以以数组访问到,texts-同ints,是以半角逗号隔开的字符串。
  • 从第4行开始是真正的数据内容。

导出数据库和代码

使用工具DataTableExporter导出,该工具使用Python编写,实现细节见下文。

导出的数据库文件要存放在Unity的StreamingAssets目录下,目的是让Unity在Build的时候不要把这个数据库文件打包,这样才能在代码中访问,也方便更新。

同时为了节省程序和工作量和避免手动写代码可能会出现的手滑,工具还可以根据Excel表中描述的表结构来生成C#中的数据结构。

在Unity中使用

在上一步中工具已经自动生成了相应的代码,在需要获取某个数据时,只需调用XxxConfig.GetWithId(id)方法即可获得对应ID的一行数据,如下图的示例:

fig. 2

如果有自定义的需求,比如通过某个参数来获取若干条记录,也可以自由添加,重新导出时并不会覆盖。

如果想在数据加载时就进行统一的预处理,比如把某个字符串解析成游戏中特定的数据结构,也可以通过重载CustomProcess()方法来实现想要的效果。

不过当然,虽然我们使用了sqlite数据库,但是并不能使用SQL语句来获取数据,只能通过唯一的数字ID来索引,好处是一次缓存之后每次访问的速度很快,并且无需多余的GC。

实现细节

从Excel读取信息

使用Python库xlrd读取Excel文档

1
2
wb = xlrd.open_workbook(full_path)
table = wb.sheet_by_index(0)

首先读取表结构,针对每一列读取其注释,字段名和数据类型,并拼接用于创建表结构的SQL字符串

1
2
3
4
5
6
7
8
9
10
11
12
col_count = table.ncols
create_sql = "DROP TABLE IF EXISTS `%s`;;;\n" \
"CREATE TABLE `%s`(" % (table_name, table_name)
for i in range(col_count):
field_comment = table.row_values(0)[i]
field_name = table.row_values(1)[i]
field_type = table.row_values(2)[i]
arr_new_structure.append({"key": field_name, "type": field_type, "comment": field_comment})
types.append(field_type)
if field_type != "int" and field_type != "bool":
field_type = "text"
create_sql += "\n`%s` %s," % (field_name, field_type)

然后就是从表中读取数据了,从第4行开始读,对于每一行根据每一个字段的值拼接SQL字符串。然后执行这些写SQL字符串,就完成了一个表的导出。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
row_count = table.nrows - 3
insert_items = []
for i in range(row_count):
row_id = i + 3
insert_sql = "INSERT INTO `%s` VALUES (" % table_name
for col_id in range(col_count):
data = table.row_values(row_id)[col_id]
if types[col_id] == "int":
if data == "":
data = 0
data = int(float(data)) # 整数被读取出来是float,要转成int
insert_sql += "%d," % data
else: # text & ints & texts
insert_sql += "'%s'," % data
insert_items.append(insert_sql[:len(insert_sql) - 1] + ")")

生成C#代码

为了减少程序的工作量同时避免潜在的手滑,也应该准备一套自动生成对应数据结构代码的工具。表结构从上面的代码中已经可以获取到arr_new_structure。根据这个表结构就可以生成类似下面的代码了:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
public class GameCommonConfig : BaseConfig
{
/// <summary>
/// 唯一ID
/// </summary>
public int nId = 0;

/// <summary>
/// 整数值
/// </summary>
public int nIntVal = 0;

protected override void InitWithData(SqlData data)
{
nId = data.GetInt("Id");
nIntVal = data.GetInt("IntVal");
}

/// <summary>
/// 从数据库中读取全部记录,仅初始化缓存用
/// </summary>
/// <returns></returns>
public static Dictionary<int, GameCommonConfig> CreateAll()
{
string sql = "SELECT * FROM `GameCommon`";
var data = ConfigManager.instance.GetData(sql);
var ret = new Dictionary<int, GameCommonConfig>();
do
{
var item = new GameCommonConfig();
item.InitWithData(data);
ret.Add(item.nId, item);
} while (data.Next());
data.Close();
return ret;
}

/// <summary>
/// 根据ID获取一条记录
/// </summary>
/// <param name="nId">指定ID</param>
/// <returns></returns>
public static GameCommonConfig GetWithId(int nId)
{
var ret = ConfigManager.instance.GetSingleConfig<GameCommonConfig>(nId);
return ret;
}
}

ConfigManager

在游戏启动时使用CreateAll()方法从数据库加载所有记录,这里使用一个叫ConfigManager的类来统一调用,为了实现自动化,所以也需要在对应的方法里添加:

1
2
3
4
5
6
7
8
9
/// <summary>
/// 加载全部数据表,初始化用
/// </summary>
private void LoadAll()
{
m_dictEmptyConfig[typeof(GameCommonConfig)] = new GameCommonConfig();
m_dictConfigData[typeof(GameCommonConfig)] = GameCommonConfig.CreateAll();
// 更多的表...
}

执行脚本时,打开ConfigManager的代码文件,找到private void LoadAll()这行字符串,把函数体替换成相应的文本(根据具体导出了多少表)

改善空间

  1. 现在想要改一个配置数据就必须先在Excel中修改并使用导出工具导出到数据库,在游戏中才能生效,我觉得这样在开发阶段是有点麻烦的,而且多人改表容易出现数据库冲突,之后可以考虑改成在Unity的Editor模式中直接读取xlsx文件,build打包之后再使用数据库中的数据。关于在Unity中读取Excel的数据,我在做这个项目的关卡编辑器时有找到了一个功能强大的Excel文档操作的库EPPlus,支持读取和写入,甚至可以使用公式,调整格式和创建图表。
  2. 现在所有配置数据都是在游戏启动时统一全部加载的,现在数据不多还好,当游戏规模变大之后,这个过程可能会比较消耗时间(也可能会占用较多内存),这个暂时还没有更好的解决方案,毕竟加载的时间省不掉,我们也不知道什么时候会用到这些数据,而且反正加载是一次性的,就让他在启动时花点时间,姑且先这么用吧(doge
  3. 之后可以支持更灵活的注释,比如注释表中的一整行(一整列的注释暂时没必要,即使导出了,程序不去使用它就好了,就是不知道规模大了之后每条记录多了这一个字段会有多大的影响)。以特定字符串开头的行将会被忽略,不会导出到数据库。