Repository navigation
Expand file tree
/
Copy path.env.example
More file actions
91 lines (81 loc) · 3.18 KB
/
Copy path.env.example
File metadata and controls
91 lines (81 loc) · 3.18 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
# server
API_PORT=8080
APP_ENV=production
# 同期 embedding API が処理結果を待つ上限(Go の duration 形式)。
EMBEDDING_WAIT_TIMEOUT=500s
# ローカルで認証を明示的に無効化するときだけ true。production では起動エラー。
AUTH_DISABLED=false
# クライアント → 公開 API で使用。外部への通知には送信しない。
API_KEY=replace-with-random-external-key
# worker/Modal → /internal、および Go → Modal 起動で使用。
INTERNAL_API_KEY=replace-with-random-internal-key
# Cloudflare Dashboard で作成した remotely-managed tunnel の token。
CLOUDFLARE_TUNNEL_TOKEN=replace-with-cloudflare-tunnel-token
# Object3/S3 互換のジョブ画像ストレージ。
# アップロード画像は ${S3_PREFIX}/{job_uuid}/{image_index} として保存される。
S3_ENDPOINT_URL=https://<object3-endpoint>
S3_BUCKET=embedding-jobs
S3_REGION=auto
S3_ACCESS_KEY_ID=<access-key-id>
S3_SECRET_ACCESS_KEY=<secret-access-key>
S3_PREFIX=jobs
# db
POSTGRES_VERSION=18.3
POSTGRES_HOST=postgres
POSTGRES_PORT=5432
POSTGRES_USER=postgres
POSTGRES_PASSWORD=password
POSTGRES_DB=embedding
POSTGRES_SSLMODE=disable
# worker
ATTN_IMPLEMENTATION=sdpa
WORKER_API_MODE=host
API_HOST=api
POLL_INTERVAL_SECONDS=0.1
MODAL_WORKER_RUN_SECONDS=300
EMBEDDING_WORKER_FAKE=false
FAKE_EMBEDDING_DIM=4096
# AMD Radeon PRO W6600/RDNA2 向けの回避設定。
# HSA_OVERRIDE_GFX_VERSION=10.3.0 を指定すると、ROCm はこのカードを gfx1030 として扱う。
# この override を使う場合は BNB_ROCM_ARCH=gfx1030 に合わせる。
# override を外し、rocminfo で gfx1032 と表示される構成なら BNB_ROCM_ARCH=gfx1032 で再ビルドする。
HSA_OVERRIDE_GFX_VERSION=10.3.0
# PyPI の bitsandbytes ROCm wheel には gfx1030/gfx1032 向けカーネルが含まれない場合がある。
# 1 にすると、worker イメージのビルド時に BNB_ROCM_ARCH 向けの bitsandbytes をソースビルドする。
BNB_BUILD_FROM_SOURCE=1
BNB_GIT_REF=0.49.2
BNB_ROCM_ARCH=gfx1030
MODEL_DEVICE_MAP=gpu
MODEL_MAX_MEMORY_CUDA=6GiB
MODEL_MAX_MEMORY_CPU=14GiB
EMBEDDING_MAX_PIXELS=262144
# モデル推論のバッチサイズ。部室はテキスト中心なら 1 で十分。Modal 画像向けは 4〜8 を推奨。
EMBEDDING_BATCH_SIZE=1
TORCH_DTYPE=float16
QUANTIZATION=4bit
BNB_4BIT_QUANT_TYPE=nf4
BNB_4BIT_USE_DOUBLE_QUANT=true
BNB_4BIT_COMPUTE_DTYPE=float16
# 本番運用では OCR を有効化し、画像中のテキストも埋め込み入力へ加える。
OCR_ENABLED=true
OCR_DEVICE=cuda
OCR_SCALE=2
OCR_REC_THRESHOLD=0.2
OCR_DET_THRESHOLD=0.2
OCR_MAX_CHARS=256
OCR_VISUALIZE=false
# Go API → Modal 起動(画像ジョブ閾値バッチ)
# MODAL_ENABLE=false なら URL があっても起動しない(起動キーは INTERNAL_API_KEY)
MODAL_ENABLE=false
# mise run modal-deploy-push 後に出る run_batch URL を入れる
MODAL_TRIGGER_URL=
MODAL_BATCH_THRESHOLD=10
MODAL_MIN_INTERVAL=30s
MODAL_TRIGGER_TIMEOUT=15s
MODAL_RECLAIM_TTL=30m
MODAL_RECLAIM_EVERY=1m
# HuggingFace XET (Git LFS alternative) を無効化。
HF_HUB_DISABLE_XET=1
HF_XET_DISABLE=1
# PyTorch メモリ管理の最適化(断片化の軽減)。
PYTORCH_ALLOC_CONF=expandable_segments:True