Series / Agent Engineering / Applied Track
Inference Serving · vLLM
내부 GPU에서 vLLM으로 LLM을 서빙하는 이유, 튜닝, 성능 진단까지 이어지는 선택형 실전 경로입니다.
- 01
왜 내부 GPU에서 vLLM으로 LLM을 서빙하는가?
보안·데이터 통제·비용·성능 관점에서 내부 오픈소스 LLM과 vLLM 도입을 판단하기
외부 API와의 공정한 비교, vLLM이 맞는 조건, PagedAttention·continuous batching·prefix caching의 체감 효과, 도입 체크리스트와 검증 단계.
- 02
vLLM 튜닝이란 무엇인가?
GPU가 적을 때 LLM을 서빙하는 방법
제한된 온프레미스 GPU에서 vLLM으로 LLM을 서빙할 때, 지연시간과 처리량의 균형점을 어떻게 찾는지 정리한 글.
- 03
vLLM은 왜 느려졌을까?
TTFT·TPOT·KV cache로 병목을 찾는 법
TTFT, TPOT, 대기열, prefill, KV cache와 선점을 함께 읽어 vLLM 서빙 병목을 진단하는 실전 문제 해결 안내서.