Skip to content

test: measure whether a small corpus can ship as a taught-sign pack - #48

Merged
Endika merged 1 commit into
mainfrom
chore/prototype-pack-measurement
Aug 6, 2026
Merged

test: measure whether a small corpus can ship as a taught-sign pack#48
Endika merged 1 commit into
mainfrom
chore/prototype-pack-measurement

Conversation

@Endika

@Endika Endika commented Aug 6, 2026

Copy link
Copy Markdown
Owner

CALSE100 son 100 signos con 6 ejemplos cada uno: demasiado poco para entrenar, y en principio de sobra para emparejar por vecino más próximo, que es como ya funcionan los signos enseñados por el usuario. La pregunta era si los signos son separables así.

Medido dejando un signante entero fuera: top-1 43,3% sobre veinte palabras, frente a un 5% de azar — separables sí. Pero la confianza es inservible: la distancia mediana al signo correcto es 0,837 y al mejor signo erróneo 0,775. El equivocado está normalmente más cerca. Los puntos de operación posibles son 17,5% de cobertura al 71% de precisión, o 38% al 50%, y eso con veinte palabras y no cien.

Tres intentos que no movieron el número ni una décima: bajar el suelo de 0.86, recalibrar DISTANCE_SCALE (0.18 satura a cero toda comparación entre personas) y quitar la posición cruda de la muñeca del vector.

La causa es estructural: windowSignature está hecho para que una persona repita su propio signo y no tiene ninguna invariancia entre cuerpos, cámaras y estilos.

El resultado negativo queda escrito en el docstring y en el README para que nadie gaste otra tarde en ello. Añade también tools/train/.cache_*.npz al gitignore: los landmarks extraídos derivan de un corpus sin licencia establecida.

@Endika
Endika merged commit 540dbaa into main Aug 6, 2026
7 checks passed
@Endika
Endika deleted the chore/prototype-pack-measurement branch August 6, 2026 11:24
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant