fix: normalize en sources before manifest hashing and filter chunk response ids

Author: benceruleanlu

.github/workflows/i18n-update-custom-nodes.yaml

@@ -80,7 +80,7 @@ jobs:
         run: |
           LOCALE_DIR=ComfyUI/custom_nodes/${{ inputs.repository }}/locales/
           install -d "$LOCALE_DIR"
-          cp -rf ComfyUI_frontend/temp/diff/* "$LOCALE_DIR"
+          cp -rf temp/diff/* "$LOCALE_DIR"
 
       # Git ops for pushing changes and creating PR
       - name: Check and create fork of custom node repository

scripts/i18n/translate.ts

@@ -204,11 +204,13 @@ export async function translateLocaleItems(
     const responses = await mapWithConcurrency(
       chunks,
       config.requestConcurrency,
-      (chunk) => translateBatch(locale, chunk)
-    )
-    const translated = new Map(
-      responses.flatMap((response) => Object.entries(response))
+      async (chunk) => {
+        const requested = new Set(chunk.map((item) => item.id))
+        const response = await translateBatch(locale, chunk)
+        return Object.entries(response).filter(([id]) => requested.has(id))
+      }
     )
+    const translated = new Map(responses.flat())
 
     const failed: TranslationItem[] = []
     for (const item of remaining) {

scripts/i18n/update-locales.test.ts

@@ -185,6 +185,30 @@ describe('translateLocaleItems', () => {
     ).rejects.toThrow(/failed for 1 strings/)
   })
 
+  it('ignores response ids that were not requested in the same chunk', async () => {
+    const threeItems: TranslationItem[] = ['1', '2', '3'].map((id) => ({
+      id,
+      context: `main.json: key${id}`,
+      source: `Source ${id}`,
+      preserve: []
+    }))
+    const responses: Array<Record<string, string>> = [
+      { '1': 'ok1', '2': 'ok2', '3': 'WRONG' },
+      {},
+      { '3': 'ok3' }
+    ]
+    let call = 0
+    const crossTalking: TranslateBatch = () =>
+      Promise.resolve(responses[call++] ?? {})
+    const translations = await translateLocaleItems(
+      locale,
+      threeItems,
+      crossTalking,
+      translationConfig
+    )
+    expect(translations.get('3')).toBe('ok3')
+  })
+
   it('sends a retry note naming the violation on later rounds', async () => {
     const seenNotes: Array<string | undefined> = []
     const flaky: TranslateBatch = (_batchLocale, batch) => {

scripts/i18n/update-locales.ts

@@ -325,7 +325,14 @@ async function run(argv: readonly string[]): Promise<void> {
   const filenames = sourceFiles(entryDir)
 
   const plans: SourcePlan[] = filenames.map((filename) => {
-    const source = readLocale(join(entryDir, filename))
+    const entryFile = join(entryDir, filename)
+    const raw = readFileSync(entryFile, 'utf8')
+    const source = parseLocale(raw, filename)
+    // The manifest records git blob hashes of the entry files, so their bytes
+    // must match what gets committed: normalize to the same serialization
+    // writeLocale produces (collect-i18n omits the trailing newline oxfmt adds)
+    const canonical = serializeLocale(source)
+    if (!check && raw !== canonical) writeFileSync(entryFile, canonical)
     const hash = manifest.files[filename]
     const previous = hash ? readManifestSource(repoRoot, filename, hash) : {}
     const changes = diffLocaleSources(previous, source)

src/locales/ar/nodeDefs.json

@@ -889,8 +889,7 @@
         "tooltip": "معرّف أصل Seedance لاستخدامه كالإطار الأخير. لا يمكن استخدامه مع إدخال صورة الإطار الأخير."
       },
       "model": {
-        "name": "النموذج",
-        "tooltip": "Seedance 2.0 لأعلى جودة؛ Seedance 2.0 Fast لتحسين السرعة."
+        "name": "النموذج"
       },
       "model_duration": {
         "name": "المدة"
@@ -930,8 +929,7 @@
         "name": "التحكم بعد الإنشاء"
       },
       "model": {
-        "name": "النموذج",
-        "tooltip": "Seedance 2.0 لأعلى جودة؛ Seedance 2.0 Fast لتحسين السرعة."
+        "name": "النموذج"
       },
       "model_auto_downscale": {
         "name": "التقليل التلقائي للحجم"
@@ -983,8 +981,7 @@
         "name": "التحكم بعد الإنشاء"
       },
       "model": {
-        "name": "النموذج",
-        "tooltip": "Seedance 2.0 لأعلى جودة؛ Seedance 2.0 Fast لتحسين السرعة."
+        "name": "النموذج"
       },
       "model_duration": {
         "name": "المدة"
@@ -5967,8 +5964,7 @@
         "tooltip": "وصف نصي للفيديو المطلوب. اختياري لـ grok-imagine-video-1.5 عند توفير صورة إدخال."
       },
       "resolution": {
-        "name": "الدقة",
-        "tooltip": "دقة الفيديو الناتج."
+        "name": "الدقة"
       },
       "seed": {
         "name": "البذرة",

src/locales/es/nodeDefs.json

@@ -889,8 +889,7 @@
         "tooltip": "ID de asset de Seedance para usar como último fotograma. Es excluyente con la entrada de imagen last_frame."
       },
       "model": {
-        "name": "modelo",
-        "tooltip": "Seedance 2.0 para máxima calidad; Seedance 2.0 Fast para optimización de velocidad."
+        "name": "modelo"
       },
       "model_duration": {
         "name": "duración"
@@ -930,8 +929,7 @@
         "name": "control después de generar"
       },
       "model": {
-        "name": "modelo",
-        "tooltip": "Seedance 2.0 para máxima calidad; Seedance 2.0 Fast para optimización de velocidad."
+        "name": "modelo"
       },
       "model_auto_downscale": {
         "name": "auto_downscale"
@@ -983,8 +981,7 @@
         "name": "control después de generar"
       },
       "model": {
-        "name": "modelo",
-        "tooltip": "Seedance 2.0 para máxima calidad; Seedance 2.0 Fast para optimización de velocidad."
+        "name": "modelo"
       },
       "model_duration": {
         "name": "duración"
@@ -5967,8 +5964,7 @@
         "tooltip": "Descripción textual del video deseado. Es opcional para grok-imagine-video-1.5 cuando se proporciona una imagen de entrada."
       },
       "resolution": {
-        "name": "resolución",
-        "tooltip": "La resolución del video de salida."
+        "name": "resolución"
       },
       "seed": {
         "name": "semilla",

src/locales/fa/nodeDefs.json

@@ -889,8 +889,7 @@
         "tooltip": "شناسه asset_id مربوط به Seedance برای استفاده به عنوان آخرین فریم. با ورودی تصویر last_frame ناسازگار است."
       },
       "model": {
-        "name": "مدل",
-        "tooltip": "Seedance 2.0 برای بالاترین کیفیت؛ Seedance 2.0 Fast برای بهینه‌سازی سرعت."
+        "name": "مدل"
       },
       "model_duration": {
         "name": "مدت زمان"
@@ -930,8 +929,7 @@
         "name": "کنترل پس از تولید"
       },
       "model": {
-        "name": "مدل",
-        "tooltip": "Seedance 2.0 برای بالاترین کیفیت؛ Seedance 2.0 Fast برای بهینه‌سازی سرعت."
+        "name": "مدل"
       },
       "model_auto_downscale": {
         "name": "auto_downscale"
@@ -983,8 +981,7 @@
         "name": "کنترل پس از تولید"
       },
       "model": {
-        "name": "مدل",
-        "tooltip": "Seedance 2.0 برای بالاترین کیفیت؛ Seedance 2.0 Fast برای بهینه‌سازی سرعت."
+        "name": "مدل"
       },
       "model_duration": {
         "name": "مدت زمان"
@@ -5967,8 +5964,7 @@
         "tooltip": "توضیح متنی ویدیوی موردنظر. هنگامی که یک تصویر ورودی ارائه شده باشد، برای grok-imagine-video-1.5 اختیاری است."
       },
       "resolution": {
-        "name": "وضوح",
-        "tooltip": "وضوح ویدیوی خروجی."
+        "name": "وضوح"
       },
       "seed": {
         "name": "بذر",

src/locales/fr/nodeDefs.json

@@ -889,8 +889,7 @@
         "tooltip": "ID d’actif Seedance à utiliser comme dernière image. Mutuellement exclusif avec l’entrée image last_frame."
       },
       "model": {
-        "name": "modèle",
-        "tooltip": "Seedance 2.0 pour une qualité maximale ; Seedance 2.0 Fast pour une optimisation de la vitesse."
+        "name": "modèle"
       },
       "model_duration": {
         "name": "durée"
@@ -930,8 +929,7 @@
         "name": "contrôle après génération"
       },
       "model": {
-        "name": "modèle",
-        "tooltip": "Seedance 2.0 pour une qualité maximale ; Seedance 2.0 Fast pour une optimisation de la vitesse."
+        "name": "modèle"
       },
       "model_auto_downscale": {
         "name": "auto_downscale"
@@ -983,8 +981,7 @@
         "name": "contrôle après génération"
       },
       "model": {
-        "name": "modèle",
-        "tooltip": "Seedance 2.0 pour une qualité maximale ; Seedance 2.0 Fast pour une optimisation de la vitesse."
+        "name": "modèle"
       },
       "model_duration": {
         "name": "durée"
@@ -5967,8 +5964,7 @@
         "tooltip": "Description textuelle de la vidéo souhaitée. Facultative pour grok-imagine-video-1.5 lorsqu’une image d’entrée est fournie."
       },
       "resolution": {
-        "name": "résolution",
-        "tooltip": "La résolution de la vidéo générée."
+        "name": "résolution"
       },
       "seed": {
         "name": "graine",

src/locales/he/nodeDefs.json

@@ -889,8 +889,7 @@
         "tooltip": "Seedance asset_id לשימוש כפריים האחרון. לא ניתן לשלב עם קלט תמונת last_frame."
       },
       "model": {
-        "name": "model",
-        "tooltip": "Seedance 2.0 לאיכות מרבית; Fast לאופטימיזציית מהירות; Mini לדור מהיר וזול במיוחד."
+        "name": "model"
       },
       "model_duration": {
         "name": "duration"
@@ -930,8 +929,7 @@
         "name": "control after generate"
       },
       "model": {
-        "name": "model",
-        "tooltip": "Seedance 2.0 לאיכות מרבית; Fast לאופטימיזציית מהירות; Mini לדור מהיר וזול במיוחד."
+        "name": "model"
       },
       "model_auto_downscale": {
         "name": "auto_downscale"
@@ -983,8 +981,7 @@
         "name": "שליטה לאחר יצירה"
       },
       "model": {
-        "name": "מודל",
-        "tooltip": "Seedance 2.0 לאיכות מרבית; Fast לאופטימיזציית מהירות; Mini לדור המהיר והחסכוני ביותר."
+        "name": "מודל"
       },
       "model_duration": {
         "name": "משך"

src/locales/it/nodeDefs.json

@@ -889,8 +889,7 @@
         "tooltip": "Seedance asset_id da usare come ultimo frame. Esclusivo rispetto all'input immagine dell'ultimo frame."
       },
       "model": {
-        "name": "modello",
-        "tooltip": "Seedance 2.0 per la massima qualità; Fast per ottimizzare la velocità; Mini per la generazione più veloce e a basso costo."
+        "name": "modello"
       },
       "model_duration": {
         "name": "durata"
@@ -930,8 +929,7 @@
         "name": "controllo dopo la generazione"
       },
       "model": {
-        "name": "modello",
-        "tooltip": "Seedance 2.0 per la massima qualità; Fast per ottimizzare la velocità; Mini per la generazione più veloce e a basso costo."
+        "name": "modello"
       },
       "model_auto_downscale": {
         "name": "ridimensionamento automatico in basso"
@@ -983,8 +981,7 @@
         "name": "controllo dopo la generazione"
       },
       "model": {
-        "name": "modello",
-        "tooltip": "Seedance 2.0 per la massima qualità; Fast per ottimizzare la velocità; Mini per la generazione più veloce e a basso costo."
+        "name": "modello"
       },
       "model_duration": {
         "name": "durata"