Skip to content

FORK_DEMO_QUICKSTART.md

Latest commit

 

History

History
129 lines (91 loc) · 3.51 KB

FORK_DEMO_QUICKSTART.md

File metadata and controls

129 lines (91 loc) · 3.51 KB
Raw

Быстрый старт для демо обновлённого fork FreeQwenApi

Этот fork подготовлен под практичный сценарий для видео и демонстраций:

  • синхронизация актуального списка моделей Qwen Chat (qwen3.7-max, qwen3.7-plus, qwen3.6-plus);
  • локальный OpenAI-совместимый эндпоинт для SDK, Hermes Agent, Open WebUI и LiteLLM;
  • быстрая smoke-проверка, чтобы перед записью не гадать, жив ли прокси.

1. Один раз авторизуйтесь

npm install
npm run auth

Не публикуйте session/, cookies и файлы с токенами.

2. Синхронизируйте актуальные модели Qwen Chat

npm run models:sync

Команда читает публичные prerendered-метаданные моделей с https://chat.qwen.ai/, объединяет их с src/AvailableModels.txt и записывает отчёт сюда:

docs/QWEN_CHAT_MODELS.md

3. Запустите эндпоинт

SKIP_ACCOUNT_MENU=true npm start

Эндпоинт:

http://localhost:3264/api

4. Запустите smoke-проверку

В другом терминале:

npm run smoke

Модель для проверки по умолчанию:

qwen3.7-max

Можно заменить:

QWEN_PROXY_SMOKE_MODEL=qwen3.7-plus npm run smoke

5. Проверка через OpenAI SDK / curl

curl http://localhost:3264/api/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.7-max",
    "messages": [
      {"role": "user", "content": "Ответь одним предложением: что такое локальный endpoint?"}
    ],
    "stream": false
  }'

6. Пример провайдера для Hermes Agent

custom_providers:
  - name: qwen-free
    base_url: http://localhost:3264/api
    model: qwen3.7-max
    api_key: dummy-key

Запуск:

hermes chat --provider custom:qwen-free --model qwen3.7-max

7. Claude Code через мост LiteLLM

Claude Code ожидает Anthropic Messages API, а этот прокси отдаёт OpenAI Chat Completions. Используйте LiteLLM как мост:

model_list:
  - model_name: qwen3.7-max
    litellm_params:
      model: openai/qwen3.7-max
      api_base: http://localhost:3264/api
      api_key: dummy-key

general_settings:
  master_key: ***

Запустите LiteLLM:

litellm --config qwen_litellm.yaml --host 127.0.0.1 --port 4000

Запустите Claude Code:

export ANTHROPIC_BASE_URL="http://127.0.0.1:4000"
export ANTHROPIC_AUTH_TOKEN="***"
export CLAUDE_CODE_ENABLE_GATEWAY_MODEL_DISCOVERY=1
claude --model qwen3.7-max

Важное уточнение

Можно говорить так:

Это не локальная модель, которая работает на вашей видеокарте. Это локальный OpenAI-совместимый прокси к Qwen Chat — удобно для экспериментов с AI-агентами и локальными инструментами.

Не обещайте production-стабильность: лимиты Qwen Chat, срок жизни токенов, состояние аккаунта и совместимость API могут меняться.