Repository navigation
Expand file tree
/
Copy path.env.example
More file actions
65 lines (61 loc) · 2.67 KB
/
Copy path.env.example
File metadata and controls
65 lines (61 loc) · 2.67 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
# Modal deploy settings
# GPU 種別(T4 / A10 など)。deploy 時の function に反映される。
MODAL_GPU=T4
# 同時に動く modalの worker コンテナ数の上限。
MODAL_MAX_CONTAINERS=1
# 1 回の起動で処理する最大ジョブ数。0 = キューが空になるまで(上限なし)。
MODAL_MAX_JOBS_PER_RUN=0
# 1 回の起動のソフトな時間上限(秒)。0 = なし(Modal function timeout までドレイン)。
MODAL_WORKER_RUN_SECONDS=0
# process_queue の Modal function timeout(秒)。deploy 時に反映。既定 3h。
MODAL_FUNCTION_TIMEOUT_SECONDS=10800
# GPU worker の warm 維持秒数。deploy 時に反映。
MODAL_SCALEDOWN_WINDOW_SECONDS=30
# ルート .env の INTERNAL_API_KEY と同じ値(Go /internal 認証・run_batch Bearer)
INTERNAL_API_KEY=replace-with-random-internal-key
# Worker API
# host = API_HOST/API_PORT、url = API_BASE_URL を使う。Modal では url。
WORKER_API_MODE=url
# Modal から到達できる公開 HTTPS の Go API ベース URL。
API_BASE_URL=https://embedding-api.example.com
# Object3/S3 compatible job image storage
S3_ENDPOINT_URL=https://object3-endpoint.example.com
S3_BUCKET=embedding-jobs
S3_REGION=auto
S3_ACCESS_KEY_ID=replace-me
S3_SECRET_ACCESS_KEY=replace-me
# Worker runtime
# 注意機構。sdpa が無難 flash-attnだと部室サーバーで動かなかったりT4で動かなかったりする。
ATTN_IMPLEMENTATION=sdpa
# キュー空のときの claim 間隔(秒)。Modal は空なら即終了するのでほぼ未使用。
POLL_INTERVAL_SECONDS=0.1
# true だとモデルを載せずダミーベクトルを返す(課金・動作確認用)。
EMBEDDING_WORKER_FAKE=false
# FAKE 時のベクトル次元。
FAKE_EMBEDDING_DIM=4096
# モデル配置。gpu / auto など。
MODEL_DEVICE_MAP=gpu
MODEL_MAX_MEMORY_CUDA=14GiB
MODEL_MAX_MEMORY_CPU=24GiB
# 1 画像あたりの最大ピクセル数(リサイズ上限)。1048576 = 1024x1024 相当。
EMBEDDING_MAX_PIXELS=1048576
# 推論バッチサイズ。T4 の実測で余裕があるため 4 を既定とする。
EMBEDDING_BATCH_SIZE=4
TORCH_DTYPE=float16
# 量子化。none / 4bit など。
QUANTIZATION=4bit
BNB_4BIT_QUANT_TYPE=nf4
BNB_4BIT_USE_DOUBLE_QUANT=true
BNB_4BIT_COMPUTE_DTYPE=float16
# 画像内の文字を yomitoku で読み取り、埋め込み入力へ追加する。
OCR_ENABLED=true
OCR_DEVICE=cuda
# 認識前の拡大倍率。
OCR_SCALE=2
# 認識・検出の信頼度しきい値(低いほど拾いやすい)。
OCR_REC_THRESHOLD=0.2
OCR_DET_THRESHOLD=0.2
# OCR 結果を埋め込み入力に載せる最大文字数。
OCR_MAX_CHARS=256
# true だとデバッグ用可視化を出す(本番は false)。
OCR_VISUALIZE=false