Deploy Bonsai-2-27B (ternary 27B, 5.95GB) on a single 8GB consumer GPU via an AI agent. 用 AI 部署 Bonsai-2-27B：一条提示词让 AI 装驱动、编 CUDA、下模型并接入 Claude Code。实测 51 tok/s @4k / 39 tok/s @100k，含按机器调参指南与完整测评报告。
deployment cuda nvidia quantization ternary bonsai ternary-quantization ai-agent llm llama-cpp local-llm llm-inference local-ai gguf claude-code qwen3 consumer-gpu rtx-3070 bonsai-2 bonsai-2-27b
-
Updated
Oct 6, 2026 - Shell