test: measure whether a small corpus can ship as a taught-sign pack - #48
Merged
Conversation
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
CALSE100 son 100 signos con 6 ejemplos cada uno: demasiado poco para entrenar, y en principio de sobra para emparejar por vecino más próximo, que es como ya funcionan los signos enseñados por el usuario. La pregunta era si los signos son separables así.
Medido dejando un signante entero fuera: top-1 43,3% sobre veinte palabras, frente a un 5% de azar — separables sí. Pero la confianza es inservible: la distancia mediana al signo correcto es 0,837 y al mejor signo erróneo 0,775. El equivocado está normalmente más cerca. Los puntos de operación posibles son 17,5% de cobertura al 71% de precisión, o 38% al 50%, y eso con veinte palabras y no cien.
Tres intentos que no movieron el número ni una décima: bajar el suelo de 0.86, recalibrar
DISTANCE_SCALE(0.18 satura a cero toda comparación entre personas) y quitar la posición cruda de la muñeca del vector.La causa es estructural:
windowSignatureestá hecho para que una persona repita su propio signo y no tiene ninguna invariancia entre cuerpos, cámaras y estilos.El resultado negativo queda escrito en el docstring y en el README para que nadie gaste otra tarde en ello. Añade también
tools/train/.cache_*.npzal gitignore: los landmarks extraídos derivan de un corpus sin licencia establecida.