-
Notifications
You must be signed in to change notification settings - Fork 0
Expand file tree
/
Copy path.env.example
More file actions
69 lines (60 loc) · 2.05 KB
/
Copy path.env.example
File metadata and controls
69 lines (60 loc) · 2.05 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
# server
API_PORT=8080
APP_ENV=production
# Object3/S3 互換のジョブ画像ストレージ。
# アップロード画像は ${S3_PREFIX}/{job_uuid}/{image_index} として保存される。
S3_ENDPOINT_URL=https://<object3-endpoint>
S3_BUCKET=embedding-jobs
S3_REGION=auto
S3_ACCESS_KEY_ID=<access-key-id>
S3_SECRET_ACCESS_KEY=<secret-access-key>
S3_PREFIX=jobs
# db
POSTGRES_VERSION=18.3
POSTGRES_HOST=postgres
POSTGRES_PORT=5432
POSTGRES_USER=postgres
POSTGRES_PASSWORD=password
POSTGRES_DB=embedding
POSTGRES_SSLMODE=disable
# worker
ATTN_IMPLEMENTATION=sdpa
WORKER_API_MODE=host
API_HOST=api
POLL_INTERVAL_SECONDS=1
MODAL_WORKER_RUN_SECONDS=300
MODAL_IDLE_POLL_SECONDS=2
EMBEDDING_WORKER_FAKE=false
FAKE_EMBEDDING_DIM=1024
# AMD Radeon PRO W6600/RDNA2 向けの回避設定。
# HSA_OVERRIDE_GFX_VERSION=10.3.0 を指定すると、ROCm はこのカードを gfx1030 として扱う。
# この override を使う場合は BNB_ROCM_ARCH=gfx1030 に合わせる。
# override を外し、rocminfo で gfx1032 と表示される構成なら BNB_ROCM_ARCH=gfx1032 で再ビルドする。
HSA_OVERRIDE_GFX_VERSION=10.3.0
# PyPI の bitsandbytes ROCm wheel には gfx1030/gfx1032 向けカーネルが含まれない場合がある。
# 1 にすると、worker イメージのビルド時に BNB_ROCM_ARCH 向けの bitsandbytes をソースビルドする。
BNB_BUILD_FROM_SOURCE=1
BNB_GIT_REF=0.49.2
BNB_ROCM_ARCH=gfx1030
MODEL_DEVICE_MAP=gpu
MODEL_MAX_MEMORY_CUDA=6GiB
MODEL_MAX_MEMORY_CPU=14GiB
EMBEDDING_MAX_PIXELS=262144
TORCH_DTYPE=bfloat16
QUANTIZATION=4bit
BNB_4BIT_QUANT_TYPE=nf4
BNB_4BIT_USE_DOUBLE_QUANT=true
BNB_4BIT_COMPUTE_DTYPE=bfloat16
# 本番運用では OCR を有効化し、画像中のテキストも埋め込み入力へ加える。
OCR_ENABLED=true
OCR_DEVICE=cuda
OCR_SCALE=2
OCR_REC_THRESHOLD=0.2
OCR_DET_THRESHOLD=0.2
OCR_MAX_CHARS=256
OCR_VISUALIZE=false
# HuggingFace XET (Git LFS alternative) を無効化。
HF_HUB_DISABLE_XET=1
HF_XET_DISABLE=1
# PyTorch メモリ管理の最適化(断片化の軽減)。
PYTORCH_ALLOC_CONF=expandable_segments:True