신경망은 무엇인가

신경망을 처음 만날 때 생기는 오해

신경망이라는 말을 처음 들으면 많은 사람이 인간의 뇌를 떠올립니다. 뉴런이 있고, 신호가 흐르고, 무언가 지능적인 일이 벌어질 것 같습니다. 이름만 보면 컴퓨터 안에 작은 뇌를 만들어 넣는 일처럼 느껴지기도 합니다.

하지만 딥러닝에서 말하는 신경망은 인간의 뇌를 그대로 복사한 장치가 아닙니다. 훨씬 단순하게 바라보는 편이 좋습니다.

신경망은 입력을 받아 예측을 내놓는 함수입니다.

여기서 함수라는 말이 중요합니다. 함수는 어떤 값을 넣으면 어떤 값을 내놓는 규칙입니다. 예를 들어 섭씨 온도를 넣으면 화씨 온도를 내놓는 함수가 있을 수 있습니다. 키와 몸무게를 넣으면 건강 지표를 내놓는 함수도 만들 수 있습니다. 사진을 넣으면 고양이인지 강아지인지를 내놓는 함수도 가능합니다.

다만 신경망은 보통 우리가 직접 규칙을 하나하나 정해주지 않습니다. 대신 데이터를 많이 보여주고, 신경망 스스로 규칙에 가까운 계산 방식을 찾아가게 합니다. 그래서 신경망은 단순한 함수이면서 동시에 학습 가능한 함수입니다.

이 한 문장을 기억하면 딥러닝의 많은 개념이 한결 덜 무섭게 느껴집니다.

신경망은 입력을 받아 예측을 만들고, 틀린 만큼 자신을 고쳐가는 학습 가능한 예측 기계다.

이제 이 문장을 천천히 풀어보겠습니다.

입력은 숫자로 들어간다

컴퓨터는 세상을 직접 이해하지 못합니다. 사람에게 사진은 귀여운 고양이지만, 컴퓨터에게 사진은 숫자의 묶음입니다. 사람에게 문장은 의미를 가진 말이지만, 컴퓨터에게 문장은 먼저 숫자로 바뀌어야 계산할 수 있는 대상이 됩니다.

예를 들어 손글씨 숫자 이미지를 생각해봅시다. 우리가 보기에는 종이에 적힌 7입니다. 하지만 컴퓨터 안에서는 작은 칸마다 밝기 값이 들어 있는 표처럼 다뤄집니다. 어떤 칸은 어둡고, 어떤 칸은 밝습니다. 이 밝기 값들이 모여 하나의 입력이 됩니다.

텍스트도 마찬가지입니다. "오늘 날씨가 좋다"라는 문장을 그대로 신경망에 넣을 수는 없습니다. 먼저 단어 또는 더 작은 조각인 토큰으로 나누고, 각 토큰을 숫자로 바꿉니다. 나중에 Transformer와 LLM을 배울 때 보게 될 임베딩도 바로 이 지점에서 등장합니다. 말과 문장을 숫자 벡터로 바꿔야 신경망이 계산할 수 있기 때문입니다.

입력의 형태는 문제마다 다를 수 있습니다. 집값을 예측한다면 집의 면적, 방 개수, 위치 같은 값이 입력이 됩니다. 이미지를 분류한다면 픽셀 값들이 입력이 됩니다. 문장을 분석한다면 단어를 숫자로 바꾼 값들이 입력이 됩니다.

겉모습은 달라도 핵심은 같습니다. 신경망은 숫자로 표현된 입력을 받습니다. 그리고 그 숫자들을 여러 계산 단계를 거쳐 다른 숫자로 바꿉니다. 그 결과가 바로 예측값입니다.

신경망은 입력을 출력으로 바꾸는 길이다

신경망을 하나의 길이라고 상상해봅시다. 길의 출발점에는 입력이 있습니다. 도착점에는 출력이 있습니다. 입력이 이 길을 지나가면서 조금씩 변형되고, 마지막에는 예측값이라는 형태로 나옵니다.

가장 단순한 예를 들어보겠습니다. 어느 학생이 시험에 합격할지 예측하는 모델이 있다고 합시다. 입력은 두 가지입니다. 하루 공부 시간과 최근 모의고사 점수입니다. 출력은 합격 가능성입니다.

처음 입력은 이렇게 생겼을 수 있습니다.

공부 시간: 5시간
모의고사 점수: 72점

신경망은 이 두 값을 그대로 내보내지 않습니다. 내부에서 여러 계산을 합니다. 공부 시간이 중요할 수도 있고, 모의고사 점수가 더 중요할 수도 있습니다. 두 값의 조합이 중요할 수도 있습니다. 신경망은 이런 중요도를 숫자로 가지고 있다가 입력과 섞어 계산합니다. 그리고 마지막에 이런 식의 예측을 내놓습니다.

합격 가능성: 0.81

여기서 0.81은 81% 정도의 가능성을 뜻한다고 볼 수 있습니다. 물론 처음부터 이 예측이 정확한 것은 아닙니다. 처음 만든 신경망은 대부분 엉뚱한 답을 합니다. 공부를 많이 한 학생에게 낮은 확률을 주고, 준비가 부족한 학생에게 높은 확률을 줄 수도 있습니다.

그래서 학습이 필요합니다.

신경망의 중요한 특징은 이 길이 고정되어 있지 않다는 점입니다. 입력에서 출력으로 가는 계산 길 안에는 조절 가능한 숫자들이 들어 있습니다. 이 숫자들을 바꾸면 같은 입력을 넣어도 다른 출력이 나옵니다. 딥러닝에서 모델이 배운다는 말은 결국 이 조절 가능한 숫자들을 더 좋은 방향으로 바꾼다는 뜻입니다.

층은 계산을 나누어 맡는 단계다

신경망에는 보통 여러 개의 층이 있습니다. 층이라는 말도 처음에는 조금 거창하게 들립니다. 하지만 층은 쉽게 말해 입력을 조금 다른 형태로 바꾸는 계산 단계입니다.

요리 과정을 생각해보면 쉽습니다. 밀가루, 물, 소금이 들어오면 먼저 반죽을 만들고, 반죽을 숙성하고, 모양을 잡고, 굽습니다. 각 단계는 재료를 조금씩 다른 상태로 바꿉니다. 처음 재료와 마지막 빵은 전혀 다르게 보이지만, 중간 단계들이 차례로 이어졌기 때문에 가능한 일입니다.

신경망도 비슷합니다. 첫 번째 층은 입력에서 아주 단순한 단서를 찾아낼 수 있습니다. 이미지라면 밝고 어두운 경계, 선의 방향 같은 정보를 볼 수 있습니다. 다음 층은 그런 단서들을 조합해 더 큰 패턴을 만들 수 있습니다. 더 깊은 층에서는 눈, 귀, 바퀴, 글자 모양처럼 더 의미 있는 특징에 가까운 표현이 만들어질 수 있습니다.

물론 신경망이 실제로 "눈"이나 "바퀴"라는 단어를 머릿속으로 떠올리는 것은 아닙니다. 중요한 것은 층을 지날수록 숫자의 표현이 바뀐다는 점입니다. 처음에는 원래 입력에 가까운 숫자였지만, 점점 예측에 도움이 되는 형태로 변합니다.

그래서 신경망의 전체 흐름은 이렇게 볼 수 있습니다.

입력값 → 첫 번째 층 → 두 번째 층 → 세 번째 층 → 출력값

각 층은 입력을 받아 새로운 값을 만들고, 그 값은 다음 층의 입력이 됩니다. 이 과정이 이어지면서 신경망은 단순한 숫자 묶음을 예측에 필요한 정보로 바꾸어 갑니다.

이 책의 뒤쪽에서 배우게 될 MLP, CNN, RNN, Transformer도 모두 이 큰 흐름 위에 있습니다. 구조는 다르지만 핵심은 같습니다. 입력을 받고, 여러 계산 단계를 지나, 출력으로 예측을 만듭니다.

모델, 파라미터, 예측값, 정답값

딥러닝을 이해하려면 몇 가지 단어에 익숙해져야 합니다. 이 단어들은 앞으로 계속 등장합니다. 어렵게 외울 필요는 없습니다. 하나의 예측 상황 안에서 서로 어떤 관계인지 이해하면 됩니다.

예를 들어 손글씨 숫자 분류기를 만든다고 해봅시다. 입력은 손글씨 이미지입니다. 정답은 그 이미지가 실제로 어떤 숫자인지입니다. 모델은 이미지를 보고 숫자를 예측하는 신경망입니다. 파라미터는 모델 내부에서 조절되는 숫자들입니다.

조금 더 구체적으로 보면 다음과 같습니다.

• 모델은 입력을 받아 예측값을 만드는 전체 계산 구조입니다.

• 파라미터는 모델 안에서 학습을 통해 바뀌는 숫자입니다.

• 예측값은 모델이 내놓은 답입니다.

• 정답값은 데이터가 알려주는 실제 답입니다.

손글씨 3 이미지가 있다고 합시다. 모델은 이미지를 보고 "이건 8일 가능성이 높다"고 예측할 수 있습니다. 그러면 예측값은 8에 가까운 결과이고, 정답값은 3입니다. 모델이 틀렸습니다.

이때 우리는 모델에게 이렇게 말할 수 있습니다.

"방금 답은 틀렸어. 이 이미지는 8이 아니라 3이야."

하지만 컴퓨터는 사람처럼 말로 혼나고 깨닫지 않습니다. 대신 틀린 정도를 숫자로 계산합니다. 그 숫자가 나중에 배울 손실입니다. 손실이 크면 많이 틀린 것이고, 손실이 작으면 덜 틀린 것입니다. 학습의 목표는 이 손실을 줄이는 것입니다.

여기서 중요한 연결 고리가 생깁니다.

입력값을 모델에 넣는다
→ 모델이 예측값을 만든다
→ 예측값과 정답값을 비교한다
→ 틀린 정도를 계산한다
→ 파라미터를 조금 고친다

이 반복이 바로 딥러닝 학습의 기본 흐름입니다.

파라미터는 모델의 기억이 아니다

파라미터를 처음 배울 때 흔히 생기는 오해가 있습니다. "모델이 데이터를 외운다면, 파라미터는 데이터가 저장된 기억 창고일까?"라는 생각입니다.

물론 큰 모델은 학습 데이터의 일부를 외우는 것처럼 보일 때도 있습니다. 하지만 좋은 신경망의 핵심은 단순 암기가 아닙니다. 파라미터는 개별 데이터를 그대로 저장하는 상자가 아니라, 입력을 어떻게 해석하고 어떤 예측으로 바꿀지 정하는 조절 손잡이에 가깝습니다.

라디오의 주파수 조절기를 떠올려봅시다. 손잡이를 조금 돌리면 잡음이 커지기도 하고, 어떤 방송이 또렷하게 들리기도 합니다. 신경망의 파라미터도 비슷합니다. 값이 조금 바뀌면 모델의 예측이 바뀝니다. 학습은 수많은 손잡이를 조금씩 돌려가며 더 정확한 예측이 나오도록 맞추는 과정입니다.

처음에는 손잡이들이 거의 무작위 위치에 있습니다. 그래서 예측도 엉망입니다. 하지만 데이터를 하나씩 또는 묶음으로 보면서, 틀린 방향을 확인하고, 손잡이를 조금씩 조정합니다. 이 과정을 아주 많이 반복하면 모델은 점점 그럴듯한 예측을 하게 됩니다.

여기서 "조금씩"이라는 표현이 중요합니다. 신경망은 보통 한 번에 완벽해지지 않습니다. 틀리고, 고치고, 다시 틀리고, 다시 고칩니다. 수많은 작은 수정이 쌓여 점점 나아집니다. 딥러닝은 마법처럼 답을 알아내는 기술이 아니라, 많은 계산과 반복을 통해 좋은 파라미터를 찾아가는 기술입니다.

분류, 회귀, 생성은 같은 뿌리에서 나온다

신경망은 다양한 문제에 쓰입니다. 사진 속 동물이 고양이인지 강아지인지 맞히는 데도 쓰이고, 내일의 매출을 예측하는 데도 쓰이며, 문장을 이어 쓰거나 이미지를 만들어내는 데도 쓰입니다. 겉으로 보면 전혀 다른 일처럼 보입니다.

하지만 안쪽을 들여다보면 기본 흐름은 놀라울 정도로 비슷합니다. 입력을 받고, 모델이 예측을 만들고, 정답 또는 목표와 비교하고, 파라미터를 고칩니다.

분류 문제는 여러 선택지 중 하나를 고르는 문제입니다. 손글씨 숫자 이미지가 들어왔을 때 0부터 9까지 중 어떤 숫자인지 맞히는 일이 대표적입니다. 이때 모델의 출력은 보통 각 숫자일 가능성입니다. 예를 들어 0일 가능성 0.01, 1일 가능성 0.02, 3일 가능성 0.80처럼 나올 수 있습니다.

회귀 문제는 숫자를 예측하는 문제입니다. 집의 면적과 위치, 지어진 연도 등을 보고 집값을 예측하는 일이 여기에 속합니다. 분류처럼 선택지를 고르는 것이 아니라 약 5억 2천만 원처럼 연속적인 숫자를 내놓습니다.

생성 문제는 새로운 데이터를 만들어내는 문제입니다. 문장을 보고 다음 단어를 예측하거나, 짧은 설명을 보고 이미지를 만드는 일이 여기에 포함됩니다. 생성이라는 말 때문에 완전히 다른 기술처럼 느껴질 수 있지만, 많은 생성 모델도 기본적으로는 "다음에 올 가능성이 높은 것"을 예측하는 방식으로 학습합니다. LLM이 문장을 이어가는 과정도 이 관점에서 이해할 수 있습니다.

문제의 모양은 달라도 신경망의 기본 역할은 같습니다. 입력을 받아 출력으로 바꾸는 것입니다. 다만 어떤 출력을 원하느냐가 다릅니다. 분류는 종류를 출력하고, 회귀는 숫자를 출력하고, 생성은 다음 데이터 또는 새로운 데이터를 출력합니다.

이렇게 보면 딥러닝 모델들이 하나의 가족처럼 보이기 시작합니다. CNN은 이미지를 잘 다루도록 만든 신경망이고, RNN은 순서가 있는 데이터를 다루기 위해 고안된 신경망이며, Transformer는 Attention을 중심으로 긴 문맥과 관계를 더 효과적으로 다루도록 만든 신경망입니다. 모두 출발점은 같습니다. 입력을 예측으로 바꾸는 학습 가능한 함수입니다.

예측하고, 틀리고, 고친다

딥러닝 학습의 핵심은 아주 단순한 반복입니다.

예측한다 → 틀린 정도를 계산한다 → 조금 고친다 → 다시 예측한다

사람이 자전거를 배우는 과정과 비슷합니다. 처음부터 균형을 완벽하게 잡는 사람은 거의 없습니다. 핸들을 너무 왼쪽으로 꺾기도 하고, 페달을 밟는 힘이 불안정하기도 합니다. 넘어질 뻔한 경험을 통해 몸이 조금씩 조정됩니다. 다음에는 덜 흔들리고, 그다음에는 조금 더 멀리 갑니다.

신경망도 처음에는 잘 모릅니다. 입력을 보고 아무렇게나 예측합니다. 그 예측이 정답과 얼마나 다른지 확인합니다. 그리고 내부 파라미터를 아주 조금 수정합니다. 이 수정은 아무 방향으로 하는 것이 아닙니다. "어느 파라미터가 오차에 얼마나 영향을 주었는가"를 계산해, 손실을 줄이는 방향으로 움직입니다. 이 원리를 더 깊게 들어가면 경사하강법과 역전파가 등장합니다.

아직 수식을 몰라도 괜찮습니다. 지금은 큰 그림만 잡으면 됩니다.

모델은 예측합니다. 예측이 틀리면 손실이 생깁니다. 손실을 줄이기 위해 파라미터를 고칩니다. 그리고 다시 예측합니다. 이 반복이 쌓이면 모델은 점점 데이터의 패턴을 더 잘 반영하게 됩니다.

딥러닝의 많은 기술은 사실 이 반복을 더 잘하기 위한 장치입니다. 손실 함수는 틀린 정도를 잘 재기 위한 도구입니다. 경사하강법은 파라미터를 어느 방향으로 고칠지 정하는 방법입니다. 역전파는 많은 파라미터 중 어떤 값이 오차에 얼마나 영향을 주었는지 효율적으로 계산하는 방법입니다. 학습률, 배치, 에폭, 최적화 알고리즘도 모두 이 반복을 안정적이고 빠르게 만들기 위해 등장합니다.

그러니 앞으로 낯선 용어를 만나더라도 이 질문으로 돌아오면 됩니다.

"이 개념은 예측하고, 틀린 만큼 고치는 과정 중 어디에 있는가?"

이 질문은 딥러닝을 길 잃지 않고 따라가게 해주는 좋은 나침반이 됩니다.

신경망은 규칙을 직접 쓰지 않는 방식이다

전통적인 프로그래밍에서는 사람이 규칙을 작성합니다. 예를 들어 스팸 메일을 걸러내는 프로그램을 만든다고 합시다. 우리는 "무료", "당첨", "긴급" 같은 단어가 많이 들어 있으면 스팸일 가능성이 높다고 규칙을 만들 수 있습니다. 하지만 스팸 메일은 계속 바뀝니다. 어떤 메일은 교묘하게 단어를 바꾸고, 어떤 정상 메일도 비슷한 단어를 포함할 수 있습니다.

규칙을 사람이 전부 쓰는 방식은 금방 한계에 부딪힙니다. 세상은 너무 복잡하고 예외가 많기 때문입니다.

신경망은 접근 방식이 다릅니다. 사람이 모든 규칙을 직접 쓰는 대신, 많은 예시를 줍니다. 정상 메일과 스팸 메일을 보여주고, 모델이 그 차이를 구분하는 데 도움이 되는 계산 방식을 찾아가게 합니다. 즉, 사람이 규칙을 코드로 쓰는 대신, 모델이 데이터에서 규칙에 가까운 패턴을 학습합니다.

이 차이를 간단히 표현하면 이렇습니다.

전통적인 프로그래밍: 입력 + 사람이 쓴 규칙 → 출력
딥러닝: 입력 + 정답 예시 → 학습된 규칙을 가진 모델

물론 신경망이 언제나 더 좋은 것은 아닙니다. 규칙이 명확한 문제라면 직접 프로그래밍하는 편이 더 간단하고 안전할 수 있습니다. 하지만 이미지, 음성, 자연어처럼 규칙을 사람이 일일이 쓰기 어려운 영역에서는 신경망이 강력한 힘을 발휘합니다. 고양이 얼굴을 구분하는 규칙을 말로 완벽히 쓰기는 어렵지만, 수많은 고양이 사진을 보여주면 모델은 구분에 필요한 패턴을 점점 배울 수 있습니다.

이것이 딥러닝이 강력해진 이유입니다. 사람에게 쉬운 일이 컴퓨터에게는 어려울 수 있고, 사람이 규칙으로 설명하기 어려운 일을 데이터로 학습시킬 수 있기 때문입니다.

신경망이 실제로 배우는 것

그렇다면 신경망은 무엇을 배울까요? 답은 파라미터입니다. 조금 더 정확히 말하면, 신경망은 입력을 좋은 예측으로 바꾸기 위한 파라미터 값을 배웁니다.

처음에는 파라미터가 적절하지 않습니다. 그래서 입력을 넣어도 출력이 엉뚱합니다. 하지만 학습을 반복하면서 파라미터가 바뀝니다. 파라미터가 바뀌면 같은 입력에 대한 출력도 달라집니다. 어느 순간부터 모델은 훈련 데이터에서 자주 나타나는 패턴을 반영하기 시작합니다.

예를 들어 숫자 7 이미지를 많이 본 모델은 위쪽의 가로획과 아래로 내려가는 대각선 모양이 함께 나타날 때 7일 가능성이 높다고 판단하는 방향으로 파라미터를 조정할 수 있습니다. 강아지와 고양이를 분류하는 모델은 귀 모양, 눈의 위치, 털의 질감 같은 다양한 시각적 단서를 조합하게 될 수 있습니다. 텍스트 모델은 단어들이 어떤 맥락에서 함께 나타나는지, 어떤 표현 뒤에 어떤 단어가 자연스러운지에 대한 통계적 패턴을 배울 수 있습니다.

여기서 "통계적 패턴"이라는 표현은 차갑게 들리지만, 딥러닝의 놀라운 능력은 바로 이 패턴들이 층을 지나며 점점 풍부한 표현으로 바뀐다는 데 있습니다. 단순히 단어 빈도를 세는 것에서 끝나지 않고, 문장 안의 관계와 맥락을 숫자 공간 안에 담아낼 수 있습니다. 나중에 배울 임베딩과 Attention은 이 흐름을 이해하는 데 중요한 열쇠가 됩니다.

신경망은 정답을 보장하지 않는다

신경망을 예측 기계라고 부르면 한 가지 조심해야 할 점이 있습니다. 예측 기계는 언제나 맞히는 기계가 아닙니다. 신경망은 데이터에서 배운 패턴을 바탕으로 가장 그럴듯한 답을 내놓습니다. 그래서 데이터가 부족하거나, 데이터가 편향되어 있거나, 훈련 때 보지 못한 상황이 나오면 틀릴 수 있습니다.

예를 들어 눈 오는 날의 도로 사진을 거의 본 적 없는 자율주행 모델은 눈길 상황을 잘 이해하지 못할 수 있습니다. 특정 말투의 문장만 많이 본 텍스트 모델은 다른 문화권의 표현을 어색하게 처리할 수 있습니다. 훈련 데이터에 잘못된 정답이 섞여 있으면 모델도 잘못된 방향으로 배울 수 있습니다.

이 점은 매우 중요합니다. 신경망은 똑똑해 보이지만, 결국 자신이 본 데이터와 학습 방식의 영향을 받습니다. 그래서 좋은 모델을 만들려면 구조만 중요한 것이 아닙니다. 좋은 데이터, 적절한 손실 함수, 안정적인 학습 과정, 꼼꼼한 검증이 함께 필요합니다.

앞으로 딥러닝을 배운다는 것은 단순히 더 복잡한 모델 이름을 외우는 일이 아닙니다. 모델이 어떤 입력을 받는지, 어떤 예측을 내놓는지, 어떤 기준으로 틀림을 계산하는지, 어떻게 파라미터를 고치는지 이해하는 일입니다. 이 관점이 잡히면 복잡해 보이는 모델도 하나씩 분해해서 볼 수 있습니다.

아주 작은 신경망을 머릿속으로 그려보기

마지막으로 아주 작은 신경망을 상상해봅시다. 입력은 두 개입니다. 하나는 공부 시간, 다른 하나는 수면 시간입니다. 출력은 내일 시험에서 좋은 점수를 받을 가능성입니다.

입력: 공부 시간, 수면 시간
출력: 좋은 점수를 받을 가능성

이 신경망 안에는 조절 가능한 숫자들이 있습니다. 처음에는 공부 시간을 얼마나 중요하게 볼지, 수면 시간을 얼마나 중요하게 볼지 잘 모릅니다. 그래서 대충 예측합니다.

어떤 학생의 실제 결과를 봅니다. 모델은 30%라고 예측했는데 실제로는 좋은 점수를 받았습니다. 모델이 너무 낮게 본 것입니다. 그러면 모델은 공부 시간과 수면 시간이 예측에 어떻게 작용했는지 되돌아보고, 다음에는 비슷한 입력에서 조금 더 높은 가능성을 내도록 파라미터를 조정할 수 있습니다.

다른 학생의 경우 모델은 90%라고 예측했는데 실제로는 점수가 좋지 않았습니다. 이번에는 너무 높게 본 것입니다. 모델은 다시 파라미터를 조정합니다.

이 과정을 수많은 데이터에 대해 반복하면 모델은 조금씩 감을 잡습니다. 공부 시간이 아주 부족하면 가능성이 낮아질 수 있고, 공부 시간이 충분해도 수면 시간이 너무 부족하면 결과가 나빠질 수 있다는 식의 패턴을 배울 수 있습니다. 단순한 예지만, 여기에는 딥러닝의 핵심 구조가 모두 들어 있습니다.

입력이 있습니다. 모델이 있습니다. 파라미터가 있습니다. 예측값이 있습니다. 정답값이 있습니다. 틀린 정도가 있습니다. 그리고 파라미터를 고치는 반복이 있습니다.

이 작은 그림이 앞으로 배울 모든 신경망의 출발점입니다.

복잡한 모델도 결국 같은 질문으로 돌아온다

나중에 우리는 CNN으로 이미지를 다루고, RNN으로 순서 데이터를 이해하고, Transformer로 문장 속 단어들의 관계를 계산하게 됩니다. 그때 모델 구조는 훨씬 복잡해 보일 것입니다. 층도 많아지고, 파라미터도 많아지고, 텐서의 모양도 다양해집니다.

하지만 겁먹을 필요는 없습니다. 아무리 큰 모델이라도 기본 질문은 같습니다.

무엇을 입력으로 받는가?
어떤 계산을 거치는가?
무엇을 예측하는가?
정답과 얼마나 다른가?
어떤 파라미터를 어떻게 고치는가?

Transformer도 마찬가지입니다. LLM도 마찬가지입니다. 거대한 언어 모델은 엄청난 규모의 신경망이지만, 그 뿌리에는 여전히 입력을 받아 예측을 만들고, 틀린 만큼 고치는 과정이 있습니다. 문장을 이해하는 듯 보이는 능력도, 다음 토큰을 예측하는 학습 과정에서 출발합니다.

그러므로 신경망을 이해하는 첫걸음은 복잡한 수식을 외우는 것이 아닙니다. 신경망을 학습 가능한 예측 함수로 바라보는 것입니다. 입력은 여러 층을 지나 출력이 됩니다. 출력은 정답과 비교됩니다. 틀린 만큼 파라미터가 조정됩니다. 이 반복이 쌓이면 모델은 데이터 속 패턴을 점점 더 잘 잡아냅니다.

이제 다음 질문으로 넘어갈 준비가 되었습니다.

신경망 안에서 실제로 조정되는 숫자들은 무엇일까요? 입력이 들어왔을 때 어떤 숫자가 얼마나 영향을 주고, 어떤 값이 예측을 밀어 올리거나 낮출까요? 그 답을 찾기 위해 다음에는 뉴런, 가중치, 편향을 살펴보겠습니다.