Skip to content

Decompose-by ne fonctionne plus au delà de quelques milliers de valeurs #3577

@AnaelKremer

Description

@AnaelKremer

Comportement Actuel

La routine decompose-by, utilisée pour faire des graphiques de relation, ne fonctionne plus sur les dernières versions au delà d'environ 3 000 données.

Pour tester, un corpus de 7 000 utilisé, le graph n'affiche rien. On retire des notices par tranche de 1 000 le graphique appraît à 3000 docs. Mais ce nombre est à prendre avec des pincettes car on ne connaît finalement pas le nombre de co-occurences traitées...

La routine et le graphique marchent sur tous les corpus différents avoisinnant les 1500-2000 lignes.

Les logs d'un test en local renvoient ceci :

lodex-1  |  [sdv] 2026-05-20T20:37:20.593Z error: Error with  {"timestamp":"2026-05-20T20:37:20.593Z"}
lodex-1  |   Error: item #1 [delegate] <Error: [URLConnect] <Error: fetch failed>>
lodex-1  |       at Feed.warn (/app/node_modules/@ezs/core/lib/engine.js:188:25)
lodex-1  |       at Feed.f [as error] (/app/node_modules/once/once.js:25:25)
lodex-1  |       at Feed.stop (/app/node_modules/@ezs/core/lib/feed.js:112:10)
lodex-1  |       at Catcher.<anonymous> (/app/node_modules/@ezs/core/lib/feed.js:81:19)
lodex-1  |       at Object.onceWrapper (node:events:623:26)
lodex-1  |       at Catcher.emit (node:events:520:35)
lodex-1  |       at Engine.<anonymous> (/app/node_modules/@ezs/core/lib/SafeTransform.js:11:34)
lodex-1  |       at Engine.emit (node:events:520:35)
lodex-1  |       at Feed.warn (/app/node_modules/@ezs/core/lib/engine.js:190:14)
lodex-1  |       at Feed.f [as error] (/app/node_modules/once/once.js:25:25)
lodex-1  |       at Feed.stop (/app/node_modules/@ezs/core/lib/feed.js:112:10)
lodex-1  |       at Object.URLConnect (/app/node_modules/@ezs/basics/lib/url-connect.js:122:19)
lodex-1  | 2026-05-20T20:37:22.831Z ezs:info DB from /tmp/store/sort/2a03591f-6ebb-43bc-9c23-df5489d418ce/104 was created
lodex-1  | 2026-05-20T20:37:23.012Z ezs:info Stream cancel, f440fc3c-5d6b-4299-b425-494e12b9452c no longer active.
lodex-1  | 2026-05-20T20:37:23.013Z ezs:info Stream break, f440fc3c-5d6b-4299-b425-494e12b9452c no longer active.
lodex-1  | 2026-05-20T20:37:23.061Z ezs:info DB from /tmp/store/sort/2a03591f-6ebb-43bc-9c23-df5489d418ce/104 is closing
lodex-1  | 2026-05-20T20:37:23.061Z ezs:info DB from /tmp/store/sort/2a03591f-6ebb-43bc-9c23-df5489d418ce/104 is clearing

En testant la routine avec le format "json" au lieu du graph réseau on s'aperçoit que l'on reçoit pas des données mais un objet vide, là où sur les petites corpus on reçoit bien un objet values contenant toutes les combinaisons

Metadata

Metadata

Assignees

No one assigned

    Labels

    NewNouveau problème ou besoin à étudier et à classer

    Type

    No fields configured for bug.

    Projects

    Status
    Backlog

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions