readme & db build guide

Author: hugeBlack

.github/demo.jpg

@@ -1,5 +1,56 @@
-# GenshinSentence
+# Genshin Text Search
 
-施工中……
+## Demo
 
-数据库的DDL请参考databaseDDL.sql文件
+![img](.github/demo.jpg)
+
+## 简介
+原神文本搜索工具，可按关键字搜索所有文本内容，并可以选择任意语言，播放对应的语音，可用于**外语学习**，剧情考据，模型训练等用途
+
+设置搜索语言，并输入关键词搜索后，系统会展示多语言结果，如果该语言有对应的发音，则可以点击按钮播放。同时，下方会显示文本的来源
+
+本工具可以设置搜索使用的语言、结果显示语言。
+
+> 原神游戏内置了15种语言与4种配音。截止到4.5版本，原神的英文文本已经有大约460万条文本与12万条语音数据，其中涵盖了不同难度的词汇，可以作为语言学习的参考，加深记忆
+>
+> （做这个工具的初衷是由于某翻译平台机器发音的例句过多
+
+
+## 使用方法
+
+1. 在`release`板块下载打包好的程序与预导入的数据库的压缩文件，将其解压，然后将`data.db`暂时放入`dbBuild`文件夹
+2. 安装环境：
+    ```shell
+    pip install -r requirements.txt
+    ```
+3. 按照[这篇教程](./server/dbBuild/readme.md)导入语言文件
+4. 创建`config.json`文件，设置初始的游戏资源路径，显示语言，默认搜索语言，来源显示语言，格式看起来像这样：
+
+    语言代码请参考上述教程中的代码（1：简体中文，4：英语）
+    ```json
+        {
+            "resultLanguages": [1, 4],  // 显示语言
+            "defaultSearchLanguage": 4,  // 默认搜索使用的语言
+            // 游戏资源路径，一般是YuanShen_Data或者GenshinImpact_Data
+            "assetDir": "D:\\ys\\Genshin Impact Game\\YuanShen_Data",  
+            "sourceLanguage": 1  // 来源显示的语言
+        }
+    ```
+5. 在游戏中下载好想听的语音包
+6. 运行`server.py`即可启动服务端，打开`http://127.0.0.1:5000`即可使用
+    ```shell
+    python server.py
+    ```
+
+## 存在的问题
+
+1. 目前仅做了剧情对话文本、角色语言的溯源，其余一律显示为“其他文本”，如果您愿意提供其他文本的溯源方法，欢迎提出pr
+2. 语音来源也有许多，目前仅完成了剧情对话、角色详情的语音与文本的对照
+3. 不同语言之间的文本意义并非完全相同，使用时还请仔细甄别
+
+## 其他
+
+1. 原神，及其语音和文本版权不属于我，本仓库也不提供语音或文本的下载，提供的数据库仅对文本条目进行了索引，不含具体的文本。
+2. 语音直接读取自游戏数据包，并且不会对其进行任何修改
+3. pck读取脚本来自于[BUnipendix/WwiseFilePackager](https://github.com/BUnipendix/WwiseFilePackager)
+4. wem格式转换使用了[vgmstream](https://github.com/vgmstream/vgmstream)的wasm版本

readme.md

@@ -2,7 +2,7 @@
 from contextlib import closing
 
 # 没人会给一个词典搞高并发吧？
-conn = sqlite3.connect("test.db", check_same_thread=False)
+conn = sqlite3.connect(r"Z:\data.db", check_same_thread=False)
 
 
 def selectTextMapFromKeyword(keyWord: str, langCode: int):

server/databaseDDL.sql

@@ -1,43 +1,9 @@
 import os
 import sqlite3
 import json
-
-DATA_PATH = r'G:\AnimeGameData'
-
-conn = sqlite3.connect("../test.db")
-
-
-def importTextMap(mapName: str):
-    cursor = conn.cursor()
-
-    sql1 = "insert or ignore into langCode(codeName) values (?)"
-    # 创建
-    cursor.execute(sql1, (mapName,))
-    cursor.fetchall()
-
-    sql2 = "select id from langCode where codeName = ?"
-    cursor.execute(sql2, (mapName,))
-    ans2 = cursor.fetchall()
-    langId = ans2[0][0]
-
-    # 加数据
-    sql3 = "insert or ignore into textMap(hash, content, lang) values (?,?,?)"
-    textMap = json.load(open(DATA_PATH + "\\TextMap\\" + mapName, encoding='utf-8'))
-    for hashVal, content in textMap.items():
-        cursor.execute(sql3, (hashVal, content, langId))
-
-    cursor.close()
-    conn.commit()
-
-
-def importAllTextMap():
-    files = os.listdir(DATA_PATH + "\\TextMap")
-    for fileName in files:
-        print("Now: " + fileName)
-        importTextMap(fileName)
-
-
-
+from DBConfig import conn, DATA_PATH
+import voiceItemImport
+from tqdm import tqdm
 
 def importTalk(fileName: str):
     cursor = conn.cursor()
@@ -92,8 +58,8 @@ def importTalk(fileName: str):
 def importAllTalkItems():
     files = os.listdir(DATA_PATH + "\\BinOutput\\Talk\\Quest\\")
     n = len(files)
-    for val, fileName in enumerate(files):
-        print("Now: {} {}/{}".format(fileName, val, n))
+    for val, fileName in tqdm(enumerate(files), total=len(files)):
+        # print("Now: {} {}/{}".format(fileName, val, n))
         importTalk(fileName)
 
 
@@ -154,7 +120,6 @@ def importQuest(fileName: str):
         chapterId = obj[keyChapterId]
     else:
         chapterId = None
-        print("questId {} don't have chapterId!".format(questId))
 
     cursor.execute(sql1, (questId, titleTextMapHash, chapterId))
 
@@ -173,8 +138,8 @@ def importQuest(fileName: str):
 def importAllQuests():
     files = os.listdir(DATA_PATH + "\\BinOutput\\Quest\\")
     n = len(files)
-    for val, fileName in enumerate(files):
-        print("Now: {} {}/{}".format(fileName, val, n))
+    for val, fileName in tqdm(enumerate(files), total=len(files)):
+        # print("Now: {} {}/{}".format(fileName, val, n))
         importQuest(fileName)
     conn.commit()
 
@@ -191,7 +156,24 @@ def importChapters():
     conn.commit()
 
 
+def main():
+    print("Importing talks...")
+    importAllTalkItems()
+    print("Importing avatars...")
+    importAvatars()
+    print("Importing fetters...")
+    importFetters()
+    print("Importing quests...")
+    importAllQuests()
+    print("Importing chapters...")
+    importChapters()
+    print("Importing voices...")
+    voiceItemImport.loadAvatars()
+    voiceItemImport.importAllVoiceItems()
+    print("Done!")
+
+
 if __name__ == "__main__":
-    # importChapters()
+    main()
     pass
 

server/databaseHelper.py

@@ -0,0 +1,12 @@
+import sqlite3
+
+# Dim的解包数据仓库所在的文件夹，如果只是导入语言包不用管
+DATA_PATH = r'G:\AnimeGameData'
+
+# Dim的解包数据的TextMap文件夹位置，请在其中放置需要导入的语言json，并保持其TextMapXX.json的文件名不变
+LANG_PATH = r'./langs'
+
+# 导入/生成的数据库的位置，默认为../data.db，如果要新建从头建立数据库建议选一个其他位置
+conn = sqlite3.connect(r"./data.db")
+
+# 所有数据库相关的操作请在dbBuild目录下运行脚本！

server/dbBuild/DBBuild.py

@@ -0,0 +1,15 @@
+from DBConfig import conn
+
+
+def build():
+    sqlFile = open("./databaseDDL.sql", 'r', encoding='utf8')
+    sql = sqlFile.read()
+    cursor = conn.cursor()
+    cursor.executescript(sql)
+    cursor.close()
+    conn.commit()
+    print("Done. Go running DBBuild.py to import more data.")
+
+
+if __name__ == "__main__":
+    build()