실행
1️⃣ 준비 단계 모델 서버 실행 manage_infer.sh로 회사 환경(company)에서 4개 모델(Mistral, DeepSeek, Gemma, Yi)을 띄움: ENVIRONMENT=company ./scripts/manage_infer.sh start mistral ENVIRONMENT=company ./scripts/manage_infer.sh start deepseek ENVIRONMENT=company ./scripts/manage_infer.sh start gemma ENVIRONMENT=company ./scripts/manage_infer.sh start yi 👉 이러면 GPU03에 vLLM 서버가 뜨고, 포트 30003003에서 대기합니다. 2️⃣ 추론 실행 이제 run_infer..