기술 역량 시리즈

AI Engineer

갖춰야 할 기술 스킬 — 모델에서 인프라까지, 한 줄로 잇는 아홉 가지

"프롬프트를 잘 쓰는 일과, 그 모델을 굴리는 일은 다른 기술이다."

— 아홉 개를 나열하면 외우기 어렵지만, 파이프라인 위에 놓으면 네 덩어리로 접힌다

20분 발표nchime/ai-engineer-skills · v1.0.0

001 / 021

OPENING / 01

먼저 질문 하나

오늘은 이 질문 하나로 시작합니다

"프롬프트를 잘 쓰는 사람"과 "AI 엔지니어"는
도대체 어디서 갈라지는가?

아홉 개의 스킬을 순서대로 나열하는 대신, 각 스킬이 파이프라인의 어느 지점을 담당하는지부터 확인합니다. 무엇을 잇는 기술인지가 보여야 무엇을 기워야 할지도 보입니다.

쉽게 말하면AI 엔지니어는 요리사가 아니라 식당 전체를 돌리는 사람이다. 재료 고르기(모델), 레시피(파이프라인), 주문 창구(API), 주방 설비(인프라)까지 한 사람이 만진다.

002 / 021

OPENING / 02

결론부터

아홉 스킬을 한 장에 펼쳐 놓으면 이렇습니다

01

LLM 애플리케이션 개발

벤더를 바꿔도 도는 앱을 만든다

02

RAG 설계

외부 데이터를 모델 옆에 둔다

03

임베딩 · Vector DB

문장을 숫자로 바꿔 찾는다

04

워크플로우 프레임워크

여러 호출을 하나의 흐름으로

05

백엔드 API

계약과 스트리밍을 설계한다

06

서빙 최적화 엔진

싸고 빠르게 굴리는 엔진

07

퍼블릭 클라우드

GPU 인프라를 짓고 통제한다

08

Kubernetes

대규모 컨테이너를 자동으로

09

MLOps 파이프라인

학습 · 배포 · 관측을 자동화한다

쉽게 말하면음식점으로 치면 ①메뉴 개발 ②재료 관리 ③주문 창구 ④주방 설비 ⑤배달 시스템이다. 메뉴만 안다고 장사가 되지 않는다.

003 / 021

OPENING / 03

순서

오늘 이야기의 순서

1. 모델을 다루는 기술 — LLM 앱 개발 · RAG · 임베딩/Vector DB · 워크플로우 프레임워크
2. 모델을 서비스로 내보내는 기술 — 백엔드 API 설계 · 서빙 최적화 엔진
3. 인프라를 떠받치는 기술 — 퍼블릭 클라우드 · K8S · MLOps 파이프라인
4. 정리 — 아홉 스킬을 잇는 한 장짜리 지도와, 기르는 순서

쉽게 말하면진료 순서와 같다. 뭘 다루나(1) → 어떻게 내나(2) → 무엇 위에 굴리나(3) → 그래서 어디부터 시작하나(4).

004 / 021

OPENING / 04

PART 1

모델을 다루는 기술

결론에 보태는 것 — 앞의 네 스킬은 전부 '모델 안쪽'의 문제다. 프롬프트가 아니라 구조로 푼다.

1장. LLM 애플리케이션 개발
2장. RAG 설계
3장. 임베딩과 Vector DB
4장. 워크플로우 프레임워크

005 / 021

PART 1 / 01

스킬 01

LLM을 활용한 애플리케이션 개발 능력

OpenAI · Anthropic · 오픈소스 모델을 하나의 인터페이스로 다룬다

01

제공자 추상화

벤더를 바꿔도 앱이 살아남는 경계를 만든다. 종속은 선택이지, 기본값이 아니다.

02

토큰 · 비용 · 지연

컨텍스트 길이, 스트리밍, 재시도, rate limit. 화면보다 청구서가 먼저 깨진다.

03

안전장치

출력 스키마 검증, 환각 억제, 남용 차단. 사용자와 모델 사이에 검사를 둔다.

오픈소스 모델(Llama, Qwen, Gemma 등)은 로컬 배포와 비용 통제의 열쇠가 된다. 다만 의무가 아니라 선택지다 — 워크로드가 정해지면 그때 고른다.

쉽게 말하면번역가 고르기다. 번역가(모델)가 바뀌어도 우리 말(비즈니스 로직)은 그대로여야 한다.

006 / 021

PART 1 / 02

스킬 02

RAG 설계 — 외부 데이터를 모델과 결합하는 능력

모델에게 사실을 가르치는 대신, 그 순간 옆에 둔다

01

청킹

문서를 어떻게 자르느냐가 품질의 대부분을 정한다. 표 · 코드 · 중첩 제목은 각자 규칙이 다르다.

02

검색

하이브리드(키워드+벡터), 쿼리 확장, 리랭킹. 못 찾은 답은 곧바로 환각이 된다.

03

합성

인용 표기, 근거 없는 답변 거부, 컨텍스트 압축. 답의 출처를 반드시 남긴다.

RAG는 모델 싸움이 아니라 검색 품질 싸움이다. 재현 가능한 평가셋 없이 '느낌에 개선'한 결과는 배포 후에야 틀린 것으로 드러난다.

쉽게 말하면시험 볼 때 교과서를 책상 위에 두는 것. 문제를 다 외우게 하는 게 아니라, 필요한 장을 펼쳐볼 수 있게 한다.

007 / 021

PART 1 / 03

스킬 03

텍스트 임베딩과 Vector DB 활용 기술

문장을 숫자로 바꾸고, 가까운 숫자를 찾는다

1536

차원 — 공개 임베딩 모델의 전형적 크기. 높을수록 표현력은 늘지만 유사도 신뢰는 떨어진다

3단계

벡터 검색의 기본 흐름 — 인덱싱 → top-k 검색 → 리랭킹

4종

자주 쓰는 Vector DB — pgvector · Qdrant · Pinecone · Weaviate

선택 기준은 벤마크 점수가 아니라 이미 쓰는 DB에 벡터가 있나(pgvector), 필터 조합이 되나, 운영 비용이 얼마인가다. 축소 · 양자화는 데이터가 커질 때 다시 본다.

쉽게 말하면도서관의 색인 카드다. 책 전체를 읽는 대신, 주제가 비슷한 책 자리로 먼저 안내한다.

008 / 021

PART 1 / 04

스킬 04

LLM 기반 워크플로우 프레임워크 숙련도

LangChain은 편리하지만, 추상화 비용을 먼저 계산한다

구분	내용
해주는 것	여러 모델 호출 연결, 상태 관리, 도구 호출, 재시도 · 평가 훅, 표준 컴포넌트 재사용
가져가는 것	디버깅 난이도, 프레임워크 버전 추종, 벤더 API와의 간극, 감추어진 토큰 비용
잘 쓰는 신호	그래프 · 체인 구조를 직접 그릴 수 있고, 프레임워크 없이도 같은 흐름을 짤 수 있다
잘못 쓰는 신호	코드 여기저기에 프롬프트가 흩어져 있고, 왜 이 순서인지 아무도 설명하지 못한다

LangChain · LlamaIndex · Haystack · Semantic Kernel 등. 다만 숙련도는 라이브러리 암기가 아니라 흐름을 설계하는 능력으로 평가한다.

쉽게 말하면조리도구다. 도구가 좋으면 손은 빨라지지만, 레시피(설계)를 모르면 도구만 쌓인다.

009 / 021

PART 1 / 05

PART 2

모델을 서비스로 내보내는 기술

결론에 보태는 것 — 앞의 네 스킬은 개발용품, 이 두 스킬은 운영용품이다. 경계는 '첫 사용자'다.

5장. 백엔드 API와 서비스화
6장. 모델 경량화 · 서빙 최적화

010 / 021

PART 2 / 01

스킬 05

백엔드 API와 RESTful · gRPC 설계 능력

모델이 아니라, 모델 앞의 계약을 설계한다

01

비동기 · 스트리밍

첫 토큰까지의 시간(TTFT)이 체감 품질이다. SSE · WebSocket으로 토큰을 흘려보낸다.

02

계약의 형태

공개 · 내부용은 REST(JSON), 내부 고부하 호출은 gRPC. 버전과 오류 스키마를 문서로 고정한다.

03

운영 접점

인증 · 쿼터 · 로깅 · 트레이싱 · 회귀 테스트. 비결정적 출력에는 평가 스프린트가 붙는다.

FastAPI는 타입 힌트 · 비동기 · OpenAPI 자동 문서가 맞물려 LLM 서비스의 기본 선택이 됐다. 여기에 스트리밍과 배치 엔드포인트를 함께 두는 편이 실무적이다.

쉽게 말하면음식점의 주문 창구다. 주방(모델)이 아무리 좋아도 줄 서는 규칙(계약)이 없으면 문 앞이 막힌다.

011 / 021

PART 2 / 02

스킬 06

모델 경량화 · 서빙 최적화 엔진 사용 경험

같은 GPU에서 몇 배를 더 내느냐는 엔진이 정한다

vLLM

PagedAttention으로 KV 캐시를 페이지 단위로 관리하고, 요청을 배치로 묶어 동시 처리량을 끌어올린 오픈소스 엔진

FP8

양자화(quantization) — GPTQ · AWQ · FP8. GPU 메모리↓ · 지연↓ · 정확도↓를 저울에 올리는 일

TTFT

첫 토큰까지 시간. 사용자가 "느려졌다"고 느끼는 지점. 스트리밍과 함께 반드시 재야 할 지표

추가 옵션 — TensorRT-LLM · ONNX Runtime · llama.cpp(엣지) · 사전학습(Prefix Caching) · Speculative Decoding. 골랐다는 증거는 스킬명이 아니라 전후 비교 숫자다.

쉽게 말하면같은 주방에서 몇 테이블까지 받을지 정하는 일. 조리법(모델)을 바꾸지 않고도 손님 회전율을 늘릴 수 있다.

012 / 021

PART 2 / 03

PART 3

인프라를 떠받치는 기술

결론에 보태는 것 — 마지막 세 스킬은 '한 번 띄우는' 기술이 아니라 '계속 띄워 두는' 기술이다.

7장. 퍼블릭 클라우드 AI 인프라
8장. K8S로 대규모 컨테이너 운영
9장. MLOps 파이프라인 자동화

013 / 021

PART 3 / 01

스킬 07

퍼블릭 클라우드에서 AI 인프라를 구축하고 관리하는 능력

GPU는 사고 파는 자산이 아니라, 빌려 쓰는 시간이다

01

컴퓨트 선택

범용 VM · GPU 인스턴스 · 매니지드 엔드포인트(Bedrock, Vertex, SageMaker). 워크로드마다 답이 다르다.

02

비용 통제

예약 · 스팟 · autoscaling · GPU 사용률 대시보드. 쓰지 않는 GPU가 가장 비싼 비용이다.

03

설계 원칙

리전 · 가용영역 분리, 데이터 레지던시, 시크릿 관리, 네트워크 격리. 학습 데이터가 새지 않게 한다.

매니지드 서비스는 관리 비용을 대신 내주지만, 벤더 종속의 이식 비용이 따라온다. 종속은 실패가 아니라 선택이다 — 다만 그 가격표를 미리 적어 둔다.

쉽게 말하면부동산이 아니라 렌터카다. 사 두면 방치 비용이 크고, 필요한 만큼만 빌려 쓰되 계약 조건(리전 · 약정 · 스팟)을 봐야 한다.

014 / 021

PART 3 / 02

스킬 08

K8S — 대규모 컨테이너 관리를 위한 활용 능력

사람이 못 쉬는 서버를 대신 쉬게 한다

01

올바른 추상화

LLM 서빙은 stateful(GPU · 캐시)다. Deployment로 퉁치지 말고 워크로드 성격에 맞는 자원을 고른다.

02

필요한 자원

HPA로 동시 요청에 따라 복제, node affinity · taint로 GPU 노드 분리, readiness로 콜드 스타트 방지.

03

여덟 글자

requests / limits. 상한이 없는 GPU · 메모리는 긴 컨텍스트 한 번에 노드 하나를 쓰러뜨린다.

K8S만으로는 부족하다. GPU 투여(device plugin · GPU Operator), 모델 가중치 로딩 시간, 세션 유지까지 같이 봐야 실제 서빙이 된다.

쉽게 말하면아파트 관리조합이다. 세대(GPU)가 늘어나도 입주 · 퇴거 · 공과금(자원) 규칙이 있어야 건물이 무너지지 않는다.

015 / 021

PART 3 / 03

스킬 09

MLOps 파이프라인 — 학습 · 배포 · 모니터링 자동화

모델은 한 번 만들지만, 신뢰는 매일 다시 만든다

단계	하는 일	자주 쓰는 도구
데이터 · 학습	데이터 버전 관리, 학습 재현, 실험 추적	MLflow · DVC · Kubeflow Pipelines
평가 · 검증	정량 평가셋, 프롬프트 · 모델 레그레션 게이트	평가 스위트 · 자체 홀드아웃셋
배포	재현 가능한 빌드, 카나리 · 블루그린, 롤백	Argo · GitHub Actions · Kubeflow
모니터링	지연 · 오류 · 비용, 드리프트, 사용자 피드백	Grafana · Prometheus · 드리프트 감지

LLM 파이프라인의 새 항목 — 프롬프트와 평가셋도 버전 관리 대상이다. 코드만 커밋하면 재현이 안 된다.

쉽게 말하면수돗물(모델)이 매일 깨끗한지 확인하고, 문제가 생기면 자동으로 밸브를 잠그는 급수 체계다. 한 번 수리를 해서 끝나는 일이 아니다.

016 / 021

PART 3 / 04

한 장으로

아홉 스킬은 하나의 파이프라인 위에 놓인다

그림 1. 아홉 스킬을 네 단계 파이프라인으로 배열하면 겹치는 부분이 보인다

쉽게 말하면물류 창고 같다. 입고(1) → 가공(2) → 포장(3) → 배송·재고관리(4). 한 공정만 잘해도 되는 일이 없다.

017 / 021

정리 / 01

어떻게 기를까

아홉 스킬을 기르는 순서

1. 모델 감 빼기 — 하나의 LLM으로 앱 하나를 끝까지 만들어 본다 — 스킬 01
2. 검색 붙이기 — 자기 문서 100개로 RAG를 직접 짜고, 평가셋을 손으로 만든다 — 스킬 02 · 03
3. 흐름 정리 — 여러 호출을 그래프로 그리고, 프레임워크 없이도 같은 흐름을 짤 수 있게 된다 — 스킬 04
4. 창구 세우기 — FastAPI로 스트리밍 엔드포인트를 열고, 계약 문서를 직접 쓴다 — 스킬 05
5. 비용 재기 — 같은 GPU에서 처리량을 재며 엔진과 양자화를 비교한다 — 스킬 06
6. 계속 굴리기 — 컨테이너에 담아 K8S에 올리고, 파이프라인으로 재배포한다 — 스킬 07 · 08 · 09

순서는 정답이 아니다. 다만 앞 다섯을 건너뛰면 무엇을 굴리는지 모른 채 굴리게 된다.

쉽게 말하면운전면허 같다. 작은 차로 거리를 익힌 뒤 대형 차를 몬다. 인프라부터 타면 사고가 크다.

018 / 021

정리 / 02

무엇을 보면 '됐다'고 할까

스킬마다 남기는 증거

01

만들었다

스트리밍 챗봇, 인용이 붙은 RAG QA, 벤더를 바꿔도 그대로 도는 앱. 코드로 보여 준다.

02

굴렸다

p95 지연 · 토큰 비용 대시보드, 카나리 배포 이력, 장애 복구 기록. 운영의 흔적을 남긴다.

03

줄였다

GPU 한 장으로 처리량 2배, 검색 정확도 리포트, 배포 소요 시간 단축. 숫자로 말한다.

'학습 중'이 아니라 줄어든 숫자로 말할 수 있어야 한다. 앞 장의 아홉 스킬이 모두 마지막에 이 문장으로 수렴한다.

쉽게 말하면자격증이 아니라 작업물이다. "할 수 있다" 대신 "이렇게 만들고, 이렇게 굴리고, 이렇게 줄였다"를 보여 준다.

019 / 021

정리 / 03

한 장으로 전체 보기

오늘 구성 전체 — 21장, 6개 섹션, 아홉 스킬

그림 2. 발표 전체 구성 — 앞의 섹션이 뒤의 섹션을 설명한다

쉽게 말하면전체 목차다. 앞 장을 건너뛰면 뒷 장이 왜 있는지 모른다.

020 / 021

정리 / 04

CLOSING

코드는 모델이 짠다.
굴리는 사람은 따로 있다.

AI 엔지니어의 기술 스킬 — 아홉 개를 파이프라인 위에 놓으면 네 덩어리다

"모델은 점점 싸진다. 비싸지는 것은 그 위에 계약과 인프라와 신뢰를 얹는 일이다."

— 그래서 마지막 세 스킬이 앞의 여섯 스킬을 값지게 만든다

nchime.github.ioai-engineer-skills · v1.0.0

021 / 021

CLOSING / 01