Skip to content

Latest commit

 

History

History
31 lines (21 loc) · 2.89 KB

desktop.md

File metadata and controls

31 lines (21 loc) · 2.89 KB

FreeToken Desktop

Las recetas CLI y los perfiles Desktop son dos rutas de aplicación diferentes. El servidor CLI es la ruta reproducible principal: arranca el engine fijado en runtime.json, selecciona la RTX 3060 por su nombre/UUID y aplica sus argumentos. No toca tu aplicación instalada.

Para copiar solo la geometría guardada de un modelo a Desktop, ciérralo antes:

./recipes desktop gemma4          # muestra los campos previstos
./recipes desktop gemma4 --apply  # copia previa y escritura atómica

Admite --config /ruta/desktop.json. Mezcla únicamente ese modelo en cacheProfiles y textOnlyModels; conserva los demás perfiles y los ajustes globales. No modifica lastActiveId, puertos, GPU, concurrencia ni extraArgs. Los valores globales capturados están en inventory.json: hybrid, fetch 1, concurrencia 1, CPU auto, memoria 0,95. Deben coincidir si quieres aproximar el entorno original.

Modelo KV Expertos SWA Mamba guardado
Qwen 66560 3328 2048 4
Gemma 66560 448 1024 4, ignorado: no usa GDN
GPT-OSS 66560 256 512 4, ignorado: no usa GDN
Flint 73728 3456 5120 4, ignorado: no usa GDN

No confundir con las mediciones CLI: Gemma/GPT se midieron con el pool SWA inicial por defecto del engine (13312), no después de reconstruir sus ventanas Desktop de 1024/512. Sus recetas CLI conservan esa condición. Qwen se captura de Desktop y no tiene una medición de generación conservada.

Flint depende del PR #797, aún abierto al capturar este repositorio. Añadir un JSON a Desktop no instala su arquitectura ni su ficha de Downloads. Usa la receta CLI con install --flint; el parche local previo de Desktop no se distribuye aquí. El límite de salida de estas recetas (8192) se aplica en CLI/clientes; el JSON Desktop no configura ese límite.

Correcciones del catálogo, 24-10-2026

  • Qwen: el valor Desktop swaTokens=2048 permanece en el inventario, pero es un campo sin uso para este modelo GDN. No se envía num_swa_pages al rebuild CLI: el engine rechaza el campo porque no hay pool SWA.
  • Gemma: la receta CLI ahora usa prefill de 1024 tras un OOM con el techo anterior de 8192. Esta opción no se escribe mediante el comando desktop, que solo mezcla cachés/modo texto. Las cifras nuevas pertenecen a la CLI indicada en el perfil.
  • Nemotron: la receta medida es de llama.cpp, no hay un perfil FreeToken Desktop equivalente. desktop nemotron devuelve un mensaje explicativo y no escribe el archivo.

La validación larga posterior ajustó además el prefill CLI de Qwen a 2048 tras un OOM del workspace GDN con 8192. La caché Desktop capturada se conserva; el comando desktop no cambia ese ajuste de prefill global. Consulta los perfiles CLI y el informe de contexto completo para las velocidades medidas.