딥러닝 핵심 용어 사전

이 부록은 책 전체를 읽다가 다시 돌아와 확인하는 작은 지도다. 어떤 용어는 수학의 언어이고, 어떤 용어는 모델 구조의 이름이며, 또 어떤 용어는 제품을 만드는 실무의 언어다. 하지만 이 단어들은 따로 노는 것이 아니라 하나의 흐름으로 이어진다. 데이터가 숫자로 바뀌고, 모델이 표현을 배우고, 손실을 줄이며, 더 큰 구조로 확장되고, 결국 제품과 시스템으로 연결된다.

먼저 이 사전을 읽는 법

용어를 외우려고 하기보다, 각 단어가 어느 질문에 답하는지 떠올리면 훨씬 잘 정리된다. 예를 들어 신경망, 가중치, 손실 함수, 역전파는 "모델이 어떻게 배우는가"에 대한 단어다. CNN, RNN, 어텐션, 트랜스포머는 "모델이 어떤 구조로 정보를 다루는가"에 대한 단어다. 임베딩, 토큰, LLM, RAG, 파인튜닝은 "생성형 AI를 어떻게 이해하고 활용하는가"에 대한 단어다.

즉, 용어는 사전이면서 동시에 사고의 순서다. 이제 그 순서를 따라가 보자.

학습의 바닥을 이루는 기초 용어

신경망은 입력을 받아 출력으로 바꾸는, 학습 가능한 함수의 집합이다. 이름 때문에 뇌를 그대로 흉내 낸 것처럼 느껴지지만, 실제로는 숫자를 여러 층으로 변환하며 패턴을 찾는 계산 구조라고 이해하는 편이 정확하다.

뉴런은 신경망을 설명할 때 쓰는 가장 작은 계산 단위에 대한 비유다. 입력값에 가중치를 곱하고, 편향을 더한 뒤, 활성화 함수를 통과시켜 다음 층으로 넘긴다. 뇌세포를 닮았다는 의미보다, 작은 계산기들이 연결되어 있다는 그림을 떠올리면 된다.

가중치는 모델이 무엇을 얼마나 중요하게 볼지 결정하는 숫자다. 학습은 결국 이 가중치를 조금씩 바꾸는 과정이다. 어떤 입력이 결과에 큰 영향을 줘야 하면 큰 값이, 거의 영향이 없어야 하면 작은 값이 된다.

편향은 가중치와 함께 사용되는 보정값이다. 모든 입력이 0이어도 모델이 완전히 0만 내놓지 않도록 기준점을 옮겨 준다. 가중치가 기울기라면, 편향은 출발점을 옮기는 장치에 가깝다.

선형 변환은 입력 벡터에 가중치를 곱하고 편향을 더하는 계산이다. 신경망의 대부분은 이 선형 변환을 반복한다. 하지만 선형 변환만 계속 쌓으면 결국 복잡한 비선형 문제를 제대로 표현하지 못한다.

활성화 함수는 선형 계산 뒤에 비선형성을 넣는 함수다. 이 비선형성이 있어야 신경망이 단순한 직선 관계가 아니라 현실의 구불구불한 패턴을 배울 수 있다.

ReLU는 대표적인 활성화 함수로, 0보다 크면 그대로 내보내고 작으면 0으로 만드는 단순한 형태를 가진다. 계산이 빠르고 깊은 신경망에서 학습이 잘 되도록 도와, 현대 딥러닝의 확산에 중요한 역할을 했다.

모델 파라미터는 학습으로 바뀌는 값 전체를 뜻한다. 보통 가중치와 편향을 가리킨다. "이 모델은 파라미터가 많다"는 말은, 그만큼 더 많은 패턴을 담을 수 있지만 계산 비용도 커진다는 뜻이다.

예측은 모델이 입력을 보고 내놓은 출력이다. 분류 문제에서는 확률이나 클래스일 수 있고, 생성 문제에서는 다음 토큰이나 새 이미지일 수 있다.

정답 레이블은 학습 데이터에서 모델이 맞혀야 하는 목표값이다. 고양이 사진이면 "고양이", 스팸 메일이면 "스팸" 같은 식이다. 다만 생성형 AI에서는 사람이 직접 붙인 정답 대신, 데이터 자체에서 다음 토큰을 맞히는 방식으로 배우기도 한다.

손실 함수는 모델의 예측이 얼마나 틀렸는지 숫자로 계산하는 함수다. 손실이 작을수록 예측이 좋다고 본다. 딥러닝 학습은 결국 이 손실을 줄이는 방향으로 파라미터를 조정하는 일이다.

경사하강법은 손실을 줄이기 위해 파라미터를 조금씩 움직이는 최적화 방법이다. 산 꼭대기에서 아래로 내려오듯, 손실이 줄어드는 방향으로 한 걸음씩 이동한다고 생각하면 직관적이다.

학습률은 그 한 걸음의 크기다. 너무 크면 최적점을 지나쳐 흔들리고, 너무 작으면 학습이 지나치게 느려진다. 좋은 학습률은 빠르면서도 안정적인 학습을 만든다.

역전파는 손실이 각 파라미터에 얼마나 영향을 주는지 계산해 뒤에서 앞으로 전달하는 알고리즘이다. 이름만 어렵지, "어디를 얼마나 고쳐야 손실이 줄어드는가"를 효율적으로 계산하는 절차라고 보면 된다.

옵티마이저는 역전파로 얻은 정보를 바탕으로 실제 파라미터를 갱신하는 규칙이다. 가장 기본은 SGD이고, Adam처럼 학습 속도와 안정성을 개선한 방법도 널리 쓰인다.

배치는 한 번의 학습 단계에서 함께 처리하는 데이터 묶음이다. 모든 데이터를 한꺼번에 쓰면 비효율적이므로, 보통 작은 묶음으로 나누어 학습한다.

에폭은 전체 학습 데이터를 한 바퀴 모두 보는 횟수다. 에폭 수가 늘수록 모델은 더 오래 학습하지만, 너무 오래 보면 훈련 데이터를 과하게 외울 수도 있다.

과적합은 훈련 데이터에는 지나치게 잘 맞지만, 처음 보는 데이터에는 성능이 떨어지는 상태다. 시험 문제 답안을 이해하지 않고 외운 학생과 비슷하다.

일반화는 훈련에서 보지 못한 새로운 데이터에서도 잘 작동하는 능력이다. 딥러닝에서 진짜 실력은 훈련 점수가 아니라 일반화 성능으로 드러난다.

정규화는 모델이 훈련 데이터를 과하게 외우지 않도록 제약을 주는 방법을 넓게 가리키는 말이다. 가중치를 너무 크게 만들지 않게 하거나, 표현을 안정화해 더 잘 일반화하게 돕는다.

드롭아웃은 학습 중 일부 뉴런을 무작위로 꺼서 특정 경로에만 과도하게 의존하지 못하게 만드는 정규화 방법이다. 팀 프로젝트에서 특정 사람 한 명에게만 일이 몰리지 않게 하는 장치와 비슷하다.

배치 정규화는 층의 입력 분포를 안정화해 학습을 더 빠르고 안정적으로 만드는 기법이다. 내부 표현이 지나치게 흔들리지 않도록 도와 깊은 네트워크 학습에 도움을 준다.

데이터를 이해하는 핵심 용어

데이터셋은 모델이 배우거나 평가할 때 사용하는 데이터 모음이다. 딥러닝에서는 데이터의 양도 중요하지만, 무엇이 포함되어 있고 무엇이 빠져 있는지가 더 중요할 때가 많다.

특성은 입력 데이터에서 모델이 참고하는 정보다. 전통적 머신러닝에서는 사람이 직접 특성을 설계했지만, 딥러닝에서는 좋은 특성 표현 자체를 모델이 학습하는 경우가 많다.

분포는 데이터가 어떤 패턴과 비율로 나타나는지에 대한 전체적인 모습이다. 실제 서비스 환경의 데이터 분포와 학습 데이터 분포가 다르면 모델 성능이 쉽게 흔들린다.

데이터 증강은 기존 데이터를 변형해 학습 사례를 늘리는 방법이다. 이미지는 뒤집거나 잘라낼 수 있고, 텍스트는 패러프레이즈나 노이즈 추가를 활용할 수 있다. 핵심은 데이터 수를 억지로 늘리는 것이 아니라, 모델이 더 다양한 상황에 익숙해지게 하는 데 있다.

데이터 누수는 학습 과정에서 원래 알면 안 되는 정보가 모델에 새어 들어가는 문제다. 예를 들어 테스트 데이터의 힌트가 훈련에 섞이면, 성능이 좋아 보이지만 실제로는 착시일 수 있다.

편향은 데이터나 모델이 특정 집단, 표현, 상황을 불균형하게 다루는 현상이다. 기술적 문제이면서 동시에 사회적 문제이기도 하다. 데이터가 세상을 공평하게 담지 못하면, 모델도 공평하게 배우기 어렵다.

표현과 벡터의 언어

벡터는 숫자를 나열한 표현이다. 딥러닝에서는 단어, 이미지, 사용자, 상품, 문서처럼 매우 다른 대상을 결국 벡터로 바꾸어 다룬다.

차원은 벡터를 이루는 숫자의 개수다. 차원이 높다고 무조건 좋은 것은 아니지만, 더 풍부한 정보를 담을 가능성은 커진다.

임베딩은 대상을 의미 있는 벡터로 바꾸는 표현 방식이다. 비슷한 의미의 단어, 문장, 이미지가 벡터 공간에서도 가깝게 위치하도록 학습하는 것이 핵심이다.

잠재 공간은 모델이 학습한 내부 표현 공간을 뜻한다. 우리가 직접 이름 붙이기 어려운 특징들이 이 공간 안에 정리되어 있다고 생각하면 된다. 생성 모델은 이 잠재 공간을 움직이며 새로운 샘플을 만들어 낸다.

유사도는 두 벡터가 얼마나 비슷한지 나타내는 척도다. 텍스트 검색, 추천 시스템, 군집화에서 핵심 역할을 한다.

코사인 유사도는 두 벡터의 방향이 얼마나 비슷한지 보는 대표적인 방법이다. 길이보다 방향을 더 중요하게 본다는 점에서, 임베딩 비교에 자주 쓰인다.

대표적인 신경망 구조 용어

CNN은 합성곱 신경망으로, 이미지처럼 공간 구조가 중요한 데이터에 강한 모델이다. 작은 필터를 움직이며 국소적인 패턴을 잡아내고, 이를 점점 더 큰 특징으로 쌓아 올린다.

합성곱은 필터를 입력 위에 슬라이드시키며 특징을 추출하는 연산이다. 모든 위치에서 같은 필터를 재사용하므로, 이미지의 어느 위치에서 나타난 패턴인지보다 패턴 자체에 집중하기 좋다.

필터는 이미지에서 특정 패턴을 찾는 작은 가중치 묶음이다. 처음에는 단순한 모서리나 색 대비를 보고, 깊은 층으로 갈수록 더 복잡한 형태를 포착한다.

풀링은 특징 맵의 크기를 줄이면서 중요한 정보만 남기는 연산이다. 계산량을 줄이고, 위치 변화에 조금 더 강한 표현을 만든다.

RNN은 순서가 있는 데이터를 처리하기 위한 순환 신경망이다. 이전 시점의 정보를 다음 계산에 넘기므로, 문장이나 시계열처럼 앞뒤 맥락이 중요한 데이터에 적합했다.

은닉 상태는 RNN이 지금까지 읽은 정보를 요약해 들고 가는 내부 메모리다. 문제는 이 메모리가 길어질수록 초기 정보를 잘 잃어버릴 수 있다는 데 있다.

장기 의존성 문제는 순서가 긴 데이터에서, 앞부분의 중요한 정보가 뒤까지 제대로 전달되지 않는 문제다. RNN 계열이 긴 문맥에서 약한 이유가 여기에 있다.

LSTM은 장기 의존성 문제를 줄이기 위해 고안된 RNN 변형이다. 정보를 버릴지, 저장할지, 꺼낼지를 조절하는 게이트 구조를 두어 더 긴 문맥을 다루도록 만들었다.

GRU는 LSTM보다 단순한 구조를 가진 순환 모델이다. 성능은 비슷하면서 계산은 더 간결한 경우가 많아 실무에서도 널리 사용되었다.

어텐션은 입력의 모든 부분을 똑같이 보지 않고, 지금 필요한 정보에 더 집중하도록 만드는 메커니즘이다. 중요한 단어는 크게, 덜 중요한 단어는 작게 반영한다고 생각하면 된다.

셀프 어텐션은 같은 입력 안에서 각 토큰이 다른 모든 토큰을 참고해 자신의 표현을 업데이트하는 방식이다. 문장의 앞과 뒤가 서로를 동시에 바라볼 수 있다는 점에서 강력하다.

Query, Key, Value는 어텐션 계산의 핵심 세 요소다. Query는 지금 무엇을 찾는지, Key는 각 정보가 어떤 표식을 갖는지, Value는 실제 전달할 내용을 뜻한다. 모델은 Query와 Key를 비교해 중요도를 정하고, 그 비율만큼 Value를 섞는다.

트랜스포머는 어텐션을 중심으로 설계된 모델 구조다. 순차적으로 처리하는 RNN보다 병렬화가 쉬워 대규모 학습에 유리했고, 결국 현대 생성형 AI의 표준 아키텍처가 되었다.

인코더는 입력을 읽고 의미 있는 표현으로 바꾸는 부분이다. 이해에 강한 구조라고 볼 수 있다.

디코더는 앞서 생성한 내용과 입력 정보를 바탕으로 다음 출력을 만들어 내는 부분이다. 생성에 강한 구조라고 볼 수 있다.

포지셔널 인코딩은 트랜스포머가 토큰의 순서를 알 수 있게 위치 정보를 더하는 방식이다. 어텐션 자체는 순서를 모르기 때문에, 별도의 위치 힌트가 필요하다.

멀티헤드 어텐션은 하나의 시선이 아니라 여러 시선으로 동시에 관계를 보는 방식이다. 어떤 헤드는 문법적 관계를, 어떤 헤드는 의미적 연관을 더 잘 포착할 수 있다.

잔차 연결은 층의 입력을 출력에 더해 정보 손실을 줄이고 깊은 네트워크의 학습을 쉽게 만드는 구조다. 깊게 쌓을수록 학습이 어려워지는 문제를 완화한다.

레이어 정규화는 각 층의 표현을 안정화하는 기법이다. 특히 트랜스포머 계열에서 학습 안정성에 매우 중요하다.

언어 모델과 생성형 AI의 핵심 용어

언어 모델은 앞에 나온 토큰들을 보고 다음 토큰의 확률을 예측하는 모델이다. 목표는 단순해 보이지만, 이 과정을 대규모 데이터로 반복하면 문법, 지식, 문체, 추론 패턴 일부까지 학습하게 된다.

토큰은 언어 모델이 텍스트를 처리하는 최소 단위다. 단어 하나일 수도 있고, 단어 조각이나 문자 조합일 수도 있다. 모델은 문장을 직접 읽는 것이 아니라 토큰의 연속으로 본다.

토큰화는 텍스트를 토큰으로 나누는 과정이다. 같은 문장도 어떤 토크나이저를 쓰느냐에 따라 분해 방식이 달라질 수 있고, 이는 비용과 성능에 모두 영향을 준다.

컨텍스트 윈도우는 모델이 한 번에 참고할 수 있는 토큰 범위다. 길수록 더 긴 문서와 대화를 다룰 수 있지만, 계산 비용도 커진다.

사전학습은 대규모 데이터로 일반적인 패턴을 먼저 학습하는 단계다. 이 단계에서 모델은 세상의 언어 습관을 넓게 익힌다.

자기지도학습은 사람이 별도로 정답을 붙이지 않아도, 데이터 안에서 학습 목표를 만들어 배우는 방식이다. 다음 토큰 예측이 대표적이다.

지시튜닝은 사용자의 요청에 더 잘 반응하도록 모델을 추가 학습하는 과정이다. 사전학습이 언어를 넓게 배우는 단계라면, 지시튜닝은 "어떻게 대답할 것인가"를 다듬는 단계에 가깝다.

선호학습은 사람 또는 시스템의 선호를 반영해 더 바람직한 응답을 하도록 조정하는 방식이다. 단순히 맞는 답을 넘어서, 더 도움이 되고 안전하며 읽기 좋은 답을 만들기 위해 사용된다.

LLM은 대규모 언어 모델을 뜻한다. 단순히 파라미터 수가 많은 모델만을 의미하기보다, 대량의 텍스트로 사전학습되어 폭넓은 언어 능력을 보이는 범용 모델을 가리키는 경우가 많다.

파운데이션 모델은 다양한 다운스트림 작업의 기반이 되는 범용 대형 모델이다. 텍스트뿐 아니라 이미지, 음성, 멀티모달 영역까지 포함하는 더 넓은 개념이다.

인컨텍스트 러닝은 모델 파라미터를 바꾸지 않고도, 프롬프트 안의 설명과 예시만으로 새로운 작업을 수행하게 하는 능력이다. 오늘날 프롬프트 엔지니어링이 중요해진 이유가 여기에 있다.

프롬프트는 모델에게 주는 입력이자 지시문이다. 질문, 배경 설명, 예시, 제약 조건이 모두 포함될 수 있다. 좋은 프롬프트는 모델의 능력을 끌어내고, 나쁜 프롬프트는 모델을 엉뚱한 길로 이끈다.

시스템 프롬프트는 모델의 역할, 말투, 행동 규칙을 정하는 상위 지시다. 제품 수준의 LLM 서비스에서는 이 한 줄, 몇 줄이 결과 품질을 크게 바꾼다.

환각은 모델이 사실이 아닌 내용을 그럴듯하게 만들어 내는 현상이다. 자신감 있게 말한다고 해서 맞는 말은 아니라는 점이 생성형 AI의 가장 중요한 경계선이다.

이미지 생성과 멀티모달의 핵심 용어

생성 모델은 단순히 분류하는 것이 아니라, 데이터와 비슷한 새로운 샘플을 만들어 내는 모델이다. 텍스트, 이미지, 오디오 모두 생성 모델의 대상이 될 수 있다.

GAN은 생성자와 판별자가 경쟁하며 학습하는 구조다. 생성자는 진짜 같은 샘플을 만들고, 판별자는 진짜와 가짜를 구분하려 한다. 이 경쟁을 통해 생성 품질이 올라간다.

확산 모델은 데이터에 점점 노이즈를 섞어 무너뜨리는 과정과, 그 반대로 노이즈에서 원래 구조를 복원하는 과정을 학습하는 모델이다. 오늘날 이미지 생성에서 매우 강력한 성능을 보여 주었다.

노이즈 제거는 확산 모델의 핵심 작업이다. 모델은 무작위한 잡음 속에서 "원래 이미지가 어떤 방향이었는지"를 조금씩 추정한다.

조건부 생성은 아무거나 생성하는 것이 아니라, 텍스트 설명이나 클래스 정보 같은 조건에 맞춰 결과를 만드는 방식이다. 텍스트-이미지 생성이 대표적인 예다.

CLIP은 텍스트와 이미지를 같은 표현 공간에 정렬하는 데 큰 영향을 준 모델 계열이다. 덕분에 "이 문장과 가장 잘 맞는 이미지" 같은 연결이 훨씬 강해졌다.

멀티모달은 텍스트, 이미지, 음성, 영상처럼 서로 다른 형태의 데이터를 함께 다루는 것을 뜻한다. 사람은 원래 여러 감각을 함께 쓰기 때문에, 멀티모달은 AI를 더 자연스러운 방향으로 확장하는 흐름이다.

비전-언어 모델은 이미지와 텍스트를 함께 이해하거나 생성하는 모델이다. 이미지 설명, 시각 질의응답, 화면 이해 같은 작업에 쓰인다.

검색, 지식 연결, 적응의 용어

임베딩 모델은 텍스트나 이미지 같은 입력을 벡터로 바꾸는 모델이다. 생성 모델과 달리 답을 직접 쓰기보다, 의미를 잘 압축해 표현하는 데 초점을 둔다.

벡터 데이터베이스는 임베딩 벡터를 저장하고, 비슷한 벡터를 빠르게 찾아주는 시스템이다. 의미 기반 검색의 기반 기술이라고 할 수 있다.

유사도 검색은 사용자의 질문과 가까운 의미를 가진 문서나 항목을 찾는 방식이다. 키워드가 정확히 같지 않아도 비슷한 의미를 가진 결과를 찾을 수 있다는 점이 강점이다.

RAG는 검색으로 생성 모델을 보강하는 방식이다. 모델이 내부 파라미터에만 의존하지 않고, 외부 문서를 찾아 읽은 뒤 답하게 함으로써 최신성·정확성·근거성을 높이려는 접근이다.

청킹은 긴 문서를 검색하기 좋은 작은 단위로 나누는 작업이다. 너무 짧으면 맥락이 끊기고, 너무 길면 검색 효율과 정확도가 떨어질 수 있다.

인덱싱은 검색을 빠르게 하기 위해 문서와 벡터를 정리해 저장하는 과정이다. RAG의 품질은 모델만이 아니라 인덱싱 설계에도 크게 좌우된다.

재랭킹은 처음 검색된 후보 문서들을 다시 정교하게 순위 매기는 단계다. 대충 넓게 찾고, 다시 촘촘히 고르는 2단계 전략이라고 생각하면 이해하기 쉽다.

파인튜닝은 사전학습된 모델을 특정 도메인이나 작업에 맞게 추가 학습하는 과정이다. 회사 내부 문체에 맞춘 응답, 특정 산업 지식 강화, 분류 성능 개선 등에 사용된다.

전체 파인튜닝은 모델의 대부분 또는 전체 파라미터를 업데이트하는 방식이다. 성능 잠재력은 크지만 비용도 매우 크다.

어댑터는 기존 모델 전체를 바꾸지 않고, 작은 추가 모듈만 학습해 모델을 적응시키는 방식이다. 비용과 효율 사이의 균형점으로 많이 활용된다.

LoRA는 큰 가중치 행렬을 직접 다 바꾸는 대신, 저차원 행렬의 변화만 학습해 효율적으로 파인튜닝하는 기법이다. 적은 자원으로도 꽤 강력한 적응 성능을 낼 수 있어 널리 쓰인다.

프롬프트 엔지니어링은 파라미터를 바꾸지 않고 입력 설계를 통해 더 좋은 출력을 끌어내는 실무 기법이다. 다만 프롬프트만으로 해결할 수 있는 문제와, 파인튜닝이 필요한 문제는 구분해야 한다.

대형 모델과 효율화의 용어

스케일링 법칙은 데이터, 파라미터, 연산량을 늘릴수록 모델 성능이 일정한 경향으로 개선된다는 관찰을 말한다. 현대 AI가 "더 크게, 더 많이"의 방향으로 가속된 중요한 배경이다.

추론은 학습이 끝난 모델을 실제로 사용해 답을 내는 과정이다. 사용자 입장에서는 대부분 이 추론 단계만 보게 된다.

추론 비용은 모델을 서비스할 때 드는 계산 자원과 돈을 뜻한다. 좋은 모델이 항상 좋은 제품이 아닌 이유는, 비용과 지연 시간의 벽이 있기 때문이다.

양자화는 모델 가중치를 더 적은 비트로 표현해 메모리 사용량과 계산 비용을 줄이는 기법이다. 약간의 성능 손실과 큰 효율 개선을 맞바꾸는 경우가 많다.

경량화는 모델 크기와 계산량을 줄여 더 빠르고 저렴하게 만드는 넓은 접근을 말한다. 양자화, 프루닝, 지식 증류 등이 여기에 포함된다.

지식 증류는 큰 모델의 행동을 더 작은 모델이 흉내 내며 배우는 방식이다. 선생님 모델에게서 학생 모델을 만드는 셈이다.

MoE는 전문가 혼합 구조로, 모든 파라미터를 매번 다 쓰지 않고 입력에 따라 일부 전문가만 활성화하는 방식이다. 모델 규모를 크게 늘리면서도 계산 효율을 관리하려는 시도라고 볼 수 있다.

온디바이스 AI는 클라우드 서버가 아니라 스마트폰, PC, 임베디드 장치 같은 사용자 기기에서 직접 모델을 실행하는 방식이다. 지연 시간, 개인정보 보호, 오프라인 사용성 측면에서 매력적이다.

제품과 운영에서 자주 만나는 용어

벤치마크는 모델 성능을 비교하기 위한 표준 평가 문제 모음이다. 다만 벤치마크 점수가 높다고 실제 제품 만족도까지 자동으로 높은 것은 아니다.

자동 평가는 정답 비교나 모델 기반 판정처럼 시스템이 자동으로 점수를 매기는 방식이다. 빠르고 싸지만, 사람이 느끼는 품질을 완전히 대신하지는 못한다.

인간 평가는 실제 사람이 응답의 정확성, 유용성, 자연스러움, 안전성을 판단하는 방식이다. 느리고 비용이 들지만, 생성형 AI에서는 여전히 중요하다.

지연 시간은 사용자가 요청을 보낸 뒤 결과를 받기까지 걸리는 시간이다. 모델 성능이 좋아도 너무 느리면 제품 경험은 나빠진다.

캐싱은 이전에 계산한 결과를 저장해 같은 요청에 더 빠르게 응답하는 방식이다. 비용 절감과 속도 개선에 효과적이다.

스트리밍은 답변 전체가 완성되기 전에 조금씩 보내는 방식이다. 실제 생성 속도는 같아도, 사용자는 더 빠르게 느낄 수 있다.

폴백 모델은 주 모델이 실패하거나 너무 느리거나 비용이 높을 때 대신 사용하는 보조 모델이다. 안정적인 서비스 운영에서 중요하다.

모니터링은 모델 응답 품질, 오류율, 비용, 지연 시간, 안전성 이슈를 지속적으로 관찰하는 작업이다. 모델은 배포로 끝나지 않고, 운영하면서 계속 관리해야 한다.

가드레일은 모델이 위험한 출력이나 정책 위반 응답을 하지 않도록 막는 안전 장치다. 프롬프트 규칙, 분류기, 필터, 정책 엔진 등이 함께 쓰인다.

에이전트 시대의 용어

에이전트는 모델이 단순히 한 번 답변하는 것을 넘어, 목표를 세우고 도구를 사용하며 여러 단계를 거쳐 작업을 수행하는 시스템을 뜻한다. 핵심은 모델 하나가 아니라 루프와 제어 구조다.

툴 유즈는 모델이 계산기, 검색기, 데이터베이스, 코드 실행기 같은 외부 도구를 사용하는 능력이다. 모르는 것은 찾고, 계산이 필요하면 계산하는 쪽이 훨씬 실용적이다.

함수 호출은 모델이 자연어를 직접 실행하는 대신, 정해진 형식으로 도구 호출 요청을 만드는 방식이다. 제품 개발에서는 자유로운 문장보다 이 구조화된 호출이 훨씬 중요하다.

계획은 목표를 여러 단계로 나누는 과정이고, 실행은 실제 도구를 호출하는 단계이며, 관찰은 결과를 읽고 다음 행동을 정하는 단계다. 이 반복 루프가 에이전트의 기본 골격이다.

메모리는 에이전트가 이전 상호작용이나 중요한 사실을 저장하고 나중에 다시 참고하는 기능이다. 하지만 메모리가 많다고 무조건 좋은 것은 아니며, 무엇을 남기고 무엇을 버릴지 설계가 중요하다.

자주 헷갈리는 용어 한 번에 구분하기

머신러닝은 데이터를 통해 규칙을 배우는 방법 전체를 가리키고, 딥러닝은 그중에서도 여러 층의 신경망으로 표현을 학습하는 방법을 뜻한다. 즉, 딥러닝은 머신러닝의 한 갈래다.

모델은 학습된 계산 구조이고, 알고리즘은 그 모델을 학습시키거나 추론하는 절차다. 실무에서는 둘이 섞여 말해지지만, 엄밀히는 구분하는 편이 좋다.

학습은 파라미터를 바꾸는 과정이고, 추론은 이미 학습된 파라미터로 결과를 내는 과정이다. 하나는 훈련, 다른 하나는 실전이다.

임베딩 모델은 의미를 잘 표현하는 데 강하고, 생성 모델은 새로운 출력물을 만드는 데 강하다. 둘은 경쟁 관계가 아니라 자주 함께 쓰인다. 예를 들어 RAG에서는 임베딩 모델이 문서를 찾고, 생성 모델이 답을 쓴다.

RAG는 외부 지식을 검색해 붙이는 방식이고, 파인튜닝은 모델 내부를 바꾸는 방식이다. 하나는 바깥에서 보강하고, 다른 하나는 안쪽을 바꾼다.

트랜스포머는 구조의 이름이고, LLM은 그 구조를 바탕으로 대규모 학습된 언어 모델 범주를 뜻한다. 즉, 트랜스포머가 설계도라면 LLM은 그 설계도로 크게 지은 건물에 가깝다.

이 사전을 한 장의 지도로 묶어 보면

딥러닝의 흐름은 생각보다 단순하다. 먼저 세상을 숫자와 벡터로 바꾼다. 그런 다음 신경망이 가중치를 조정하며 좋은 표현을 배운다. 손실 함수와 역전파는 그 학습을 가능하게 하는 엔진이다. CNN, RNN, 트랜스포머는 서로 다른 종류의 데이터를 다루기 위한 구조적 해법이다. 여기서 더 나아가 언어 모델, 확산 모델, 멀티모달 모델이 만들어졌다.

그리고 현대 AI는 모델 자체에서 끝나지 않는다. 임베딩은 검색과 추천으로 이어지고, RAG는 외부 지식을 연결하며, 파인튜닝과 LoRA는 모델을 목적에 맞게 적응시킨다. 마지막으로 평가, 추론 비용, 가드레일, 에이전트 설계까지 들어오면 비로소 "모델을 쓰는 일"이 "AI 시스템을 만드는 일"로 바뀐다.

용어를 안다는 것은 단어 뜻을 외우는 일이 아니다. 각 단어가 어느 층위의 문제를 다루는지 이해하는 일이다. 그 순간, 신경망에서 파운데이션 모델까지 이어지는 길이 더 이상 낯선 숲이 아니라, 다시 찾아올 수 있는 지도가 된다.