전체 글 108

모델명 치환

import pandas as pd import re # CSV 불러오기 df = pd.read_csv("your_file.csv") def extract_model_name(path): # models--- 이후, snapshots 이전 부분만 추출 match = re.search(r"models---(.+?)\/snapshots", path) if match: # HuggingFace 캐시 경로에선 -- 가 / 로 치환된 것이라 원래대로 복원 return match.group(1).replace("--", "/") return path # 혹시 경로가 아닌 경우 원래 값 그대로 반환 # Model 컬럼 값 치환 df["Model"] = df[..

카테고리 없음 2025.09.10

실행

1️⃣ 준비 단계 모델 서버 실행 manage_infer.sh로 회사 환경(company)에서 4개 모델(Mistral, DeepSeek, Gemma, Yi)을 띄움: ENVIRONMENT=company ./scripts/manage_infer.sh start mistral ENVIRONMENT=company ./scripts/manage_infer.sh start deepseek ENVIRONMENT=company ./scripts/manage_infer.sh start gemma ENVIRONMENT=company ./scripts/manage_infer.sh start yi 👉 이러면 GPU03에 vLLM 서버가 뜨고, 포트 30003003에서 대기합니다. 2️⃣ 추론 실행 이제 run_infer..

카테고리 없음 2025.09.08

모델받기

#!/usr/bin/env python3 """ download_models.py - 여러 Hugging Face 모델을 snapshot_download로 받아서 로컬에 저장합니다. - 각 모델은 /data/hf_models/ 경로에 저장됩니다. """ from huggingface_hub import snapshot_download # 다운로드할 모델 정의 models = { "mistral": "mistralai/Mistral-7B-Instruct-v0.3", "qwen": "Qwen/Qwen2.5-14B-Instruct", "llama": "meta-llama/Meta-Llama-3.1-8B-Instruct", "gemma": "google/gemma-2-9b-it", ..

카테고리 없음 2025.09.08

vllm

0) 준비 (이전 설치 흔적 제거) # (선택) 기존 vllm 제거 pip uninstall -y vllm || true # 현재 디렉토리/홈 캐시 정리 rm -rf build dist *.egg-info 2>/dev/null || true pip cache purge -y 1) 가상환경 생성/활성화 conda create -n vllm python=3.10 -y conda activate vllm 2) 빌드 툴 (conda-forge 권장) conda install -c conda-forge cmake ninja packaging setuptools wheel # (권장) GCC 11 계열 설치 후 컴파일러 고정 conda install -c conda-forge gxx_linux-64=11 expor..

카테고리 없음 2025.09.05