이미지, 텍스트, 시계열 데이터

어떤 모델을 써야 할지 고민할 때 초심자는 종종 알고리즘 이름부터 떠올린다. CNN을 써야 하나, Transformer를 써야 하나, 아니면 그냥 XGBoost로도 되는 걸까. 그런데 더 먼저 봐야 할 것은 모델 이름이 아니라 데이터의 생김새다. 데이터가 어떻게 의미를 담고 있는지, 무엇이 가까운 정보이고 무엇이 먼 정보인지, 순서가 중요한지 위치가 중요한지부터 읽어야 한다.

같은 신경망이라는 큰 가족 안에 있어도 이미지, 텍스트, 시계열은 서로 성격이 다르다. 이미지에서는 픽셀의 공간적 배치가 의미를 만들고, 텍스트에서는 단어의 순서와 문맥이 뜻을 바꾼다. 시계열에서는 값 자체만큼이나 언제 나온 값인지가 중요하다. 그래서 데이터 유형이 바뀌면 전처리도, 모델 구조도, 평가 방식도 함께 바뀐다.

이 장에서는 세 가지 데이터를 따로따로 외우기보다, 문제의 모양을 읽는 법을 중심으로 살펴보자. 그러면 새로운 데이터가 나타나도 당황하지 않고, 왜 어떤 모델이 잘 맞는지 스스로 설명할 수 있게 된다.

데이터 유형을 읽는 세 가지 질문

새로운 데이터셋을 받았을 때는 먼저 세 가지를 묻는 것이 좋다.

첫째, 가까운 정보끼리 묶여 의미를 만드는가. 이미지에서 옆 픽셀은 서로 강하게 연결되어 있다. 텍스트에서도 바로 앞뒤 단어가 문맥을 만든다. 시계열에서는 직전 시점과 최근 구간이 중요할 때가 많다.

둘째, 순서나 위치를 바꾸면 의미가 달라지는가. 강아지 사진의 귀가 아래로 내려가면 전혀 다른 모습이 된다. 문장에서 단어 순서를 바꾸면 뜻이 틀어진다. 시계열에서 1월 다음에 2월이 오는 것과 12월 다음에 1월이 오는 것은 같은 숫자라도 전혀 다른 맥락이다.

셋째, 같은 패턴이 다른 위치에 나타나도 같은 의미인가. 이미지에서는 모서리가 왼쪽 위에 있든 오른쪽 아래에 있든 모서리라는 사실은 비슷하다. 텍스트에서는 같은 표현도 앞뒤 문맥에 따라 뜻이 달라진다. 시계열에서는 같은 상승 패턴도 월요일 아침인지, 연휴 직전인지에 따라 해석이 달라질 수 있다.

이 세 질문에 대한 답이 모델 선택의 힌트가 된다. 데이터의 구조를 먼저 이해하면, 모델은 훨씬 덜 신비롭게 보인다.

이미지 데이터: 픽셀은 혼자 의미를 갖지 않는다

이미지를 표 데이터처럼 한 줄로 펴서 생각하면 금방 이상해진다. 고양이 사진은 224×224 픽셀이라면 수만 개 숫자의 집합이지만, 그 숫자를 그냥 긴 벡터로 늘어놓는 순간 공간 구조가 약해진다. 실제로는 서로 이웃한 픽셀들이 함께 선, 모서리, 질감, 형태를 만든다. 이미지의 의미는 픽셀 하나가 아니라 픽셀들의 배치에서 나온다.

이 때문에 이미지에서는 완전연결층만으로 시작하는 것보다 합성곱 기반 모델이 훨씬 자연스럽다. 합성곱은 작은 필터를 이미지 위로 미끄러뜨리며 같은 종류의 국소 패턴을 찾는다. 쉽게 말해 작은 돋보기를 들고 여기저기 훑으면서 가장자리나 줄무늬, 점 같은 신호를 찾는 방식이다. 이런 구조는 지역 패턴을 효율적으로 잡고, 같은 패턴이 다른 위치에 나타나도 비교적 잘 인식한다.

처음 층은 단순한 선과 경계에 반응하고, 그다음 층은 질감과 모서리 조합을 보고, 더 깊은 층은 눈 모양, 바퀴 형태, 제품의 윤곽처럼 더 큰 구조를 포착한다. 직전 장에서 배운 표현 학습이 이미지에서 특히 강력하게 드러나는 이유가 여기에 있다.

실무에서 이미지 문제를 만났을 때는 데이터 양을 먼저 봐야 한다. 수백만 장이 있는 대기업 프로젝트가 아니라면, 처음부터 거대한 비전 모델을 새로 학습하는 일은 대개 비효율적이다. 그래서 많이 쓰는 전략이 전이학습이다. 이미 대규모 이미지 데이터로 학습된 모델을 가져와 마지막 층만 바꾸거나, 일부 층만 미세조정해 내 문제에 맞추는 방식이다. 데이터가 적을수록 이 출발점의 가치가 커진다. ImageNet 같은 대규모 이미지 데이터로 학습된 모델이 여전히 강력한 이유도 여기에 있다.¹

예를 들어 불량 검수용 제품 이미지 분류를 만든다고 해 보자. 스크래치, 찍힘, 정상 여부를 나누는 문제다. 이때 매번 처음부터 모델을 키우기보다 사전학습된 비전 모델을 기반으로 조금만 조정하면 훨씬 적은 데이터로도 빠르게 성능을 끌어올릴 수 있다. 마치 그림을 한 번도 본 적 없는 사람에게 가르치는 것이 아니라, 이미 수많은 사물을 본 사람에게 우리 제품 사진만 새로 보여 주는 것과 비슷하다.

물론 이미지 문제라고 무조건 CNN만 떠올릴 필요는 없다. 최근에는 Vision Transformer 계열도 널리 쓰인다. 중요한 것은 이름이 아니라, 이미지의 공간 구조를 존중하는 모델을 택하는 일이다. 그리고 데이터 양, 연산 비용, 추론 속도, 라벨 품질까지 함께 봐야 한다.

이미지 전처리는 모델보다 먼저 분위기를 만든다

이미지 모델 성능은 종종 모델 구조보다 입력 관리에서 크게 갈린다. 같은 사진이라도 크기, 밝기, 색 분포, 촬영 각도, 배경이 제각각이면 모델은 쓸데없는 차이에 흔들리기 쉽다.

그래서 이미지 전처리는 대개 입력 크기 맞추기, 정규화, 데이터 증강으로 이어진다. 크기를 맞추는 것은 모델이 일정한 크기의 입력을 받게 하기 위함이다. 정규화는 픽셀 값의 스케일을 안정화해 학습을 돕는다. 데이터 증강은 회전, 자르기, 좌우 반전, 색 변화 같은 변형으로 학습 데이터를 조금 더 다양하게 보이게 만든다. 다만 여기에도 상식이 필요하다. 숫자 6과 9를 구분하는 문제에서 이미지를 뒤집으면 오히려 라벨을 망가뜨릴 수 있다. 의료 영상에서는 좌우 방향이 중요한데 무심코 반전하면 위험하다.

즉, 전처리는 만능 옵션이 아니라 도메인에 맞춘 설계다. 좋은 이미지 전처리는 데이터의 본질은 지키고, 불필요한 흔들림만 줄인다.

텍스트 데이터: 단어가 아니라 문맥이 의미를 바꾼다

텍스트는 겉보기에는 단어들의 나열이지만, 실제 의미는 순서와 문맥에서 나온다. 같은 단어라도 어디에 놓였는지에 따라 뜻이 달라진다. 예를 들어 좋다라는 단어가 들어 있어도 정말 좋다와 좋다기보단 무난하다의 감정은 다르다. 인간은 이런 차이를 자연스럽게 읽지만, 모델에게는 이 차이를 숫자로 바꿔 알려 줘야 한다.

텍스트 처리의 첫 단계는 토큰화다. 문장을 어떤 단위로 쪼갤지 정하는 과정이다. 단어 단위로 자를 수도 있고, 자주 쓰이는 조각인 서브워드 단위로 나눌 수도 있다. 한국어처럼 조사와 어미 변화가 풍부한 언어에서는 이 단계가 특히 중요하다. 같은 문장을 어떻게 쪼개느냐에 따라 모델이 보는 입력 자체가 달라지기 때문이다.

그다음은 벡터화다. 모델은 글자를 그대로 이해하지 못하므로, 토큰을 숫자 벡터로 바꿔야 한다. 이때 가장 단순한 방법이 BoW와 TF-IDF다. 특정 단어가 얼마나 등장했는지, 그리고 그 단어가 전체 문서에서 얼마나 드문지 같은 정보를 써서 문서를 벡터로 만든다. 이 방식은 빠르고, 어떤 단어가 예측에 기여했는지 해석하기도 쉽다. 고객 리뷰 분류, 문의 유형 자동 분류, 간단한 스팸 탐지 같은 문제에서는 지금도 매우 강한 기준선이다.

하지만 이 방식은 문맥을 깊이 이해하는 데 한계가 있다. 배터리가 오래간다와 배터리가 오래가지 않는다에서 핵심 차이는 오래와 않는다의 관계인데, 단어 빈도만으로는 충분히 잡기 어렵다. 이런 문제에서 강한 것이 임베딩과 사전학습 언어모델이다. 임베딩은 단어나 토큰을 의미적으로 가까운 위치에 놓는 벡터 표현이고, 문맥 임베딩은 같은 단어도 문장 속 역할에 따라 다른 표현을 만든다. 그래서 문맥이 중요한 감성 분석, 의도 분류, 요약, 질의응답 같은 문제에서 훨씬 유리한 경우가 많다.

여기서 중요한 감각은 이것이다. 텍스트 분류는 단어를 많이 아는 게임이 아니라, 어떤 표현이 어떤 맥락에서 쓰였는지 읽는 게임에 가깝다. 그래서 토큰화, 임베딩, 문맥 반영 정도가 성능을 좌우한다.

텍스트에서는 간단한 기준선이 여전히 강하다

요즘은 텍스트 문제라고 하면 곧바로 거대한 언어모델을 떠올리기 쉽다. 하지만 모든 텍스트 문제가 LLM을 필요로 하지는 않는다. 오히려 짧고 형식이 뚜렷한 문장 분류에서는 TF-IDF와 선형 모델, 혹은 가벼운 트리 기반 모델이 놀랄 만큼 잘 버티는 경우가 많다.

예를 들어 전자상거래 문의를 배송, 환불, 교환, 상품문의로 분류하는 문제를 생각해 보자. 문장 길이가 짧고, 자주 등장하는 핵심 단어가 분명하다면 무거운 모델보다 가벼운 모델이 더 빠르고 설명하기 쉬울 수 있다. 반대로 긴 상담 기록에서 숨은 불만을 찾아내거나, 문장 전체의 뉘앙스를 파악해야 하는 문제라면 문맥 임베딩과 사전학습 언어모델이 빛난다.

결국 텍스트 모델 선택도 문제의 모양을 읽는 일이다. 문장 의미가 주로 키워드에 있나, 아니면 문맥과 조합에 있나. 문장이 짧고 규칙적인가, 길고 복합적인가. 라벨이 충분한가, 적은가. 이 질문들에 답하면 과한 모델과 부족한 모델을 구분하기 쉬워진다.

시계열 데이터: 값보다 순서가 먼저다

시계열은 표 데이터처럼 열과 행으로 저장되더라도 성질은 다르다. 핵심은 순서다. 어제, 오늘, 내일이 섞이면 의미가 무너진다. 그래서 시계열을 다룰 때 가장 먼저 버려야 할 습관이 무작위 섞기다.

매출, 전력 사용량, 센서 진동, 서버 응답 시간 같은 시계열에서는 미래 정보가 과거로 새어 들어가면 안 된다. 그런데 일반적인 지도학습 감각대로 데이터를 무작위로 섞어 학습·검증·테스트를 나누면, 모델이 미래 패턴을 미리 엿본 상태가 될 수 있다. 이것이 데이터 누수다. 시계열에서는 모델 선택보다 분리 방식이 더 먼저 중요해지는 이유다.

시계열 문제를 풀 때는 대개 과거 구간을 보고 미래를 맞히는 구조를 만든다. 이 과정에서 추세, 계절성, 지연값, 변동성 같은 시간 구조를 반영해야 한다. 추세는 전체적으로 오르거나 내리는 흐름이고, 계절성은 주기적으로 반복되는 패턴이다. 지연값은 직전 값이나 몇 시간 전 값 같은 과거 관측치이고, 변동성은 얼마나 요동치는지에 대한 정보다. 시계열 모델은 결국 이런 시간의 흔적을 읽는 기계다.

간단한 문제에서는 굳이 복잡한 딥러닝이 없어도 된다. 최근 7일 판매량, 같은 요일의 과거 값, 이동평균, 휴일 여부, 기온 예보 같은 특성을 만들어 트리 기반 모델이나 MLP를 쓰는 방식도 매우 실용적이다. 반면 긴 문맥, 복잡한 다변량 상호작용, 장기 의존성이 중요하면 CNN, RNN, Transformer 계열이 더 유리할 수 있다. 최근 공개된 시계열 라이브러리와 벤치마크를 보면 예측뿐 아니라 결측치 보정, 이상 탐지, 분류까지 다양한 작업에 MLP, CNN, RNN, 트리 기반 모델, Transformer, 파운데이션 모델이 함께 쓰이고 있다.²

여기서 중요한 사실은 시계열에 정답 모델은 없다는 점이다. 데이터 길이, 샘플 수, 다변량 여부, 실시간 요구, 해석 가능성 요구가 달라지면 좋은 선택도 달라진다.

시계열은 예측만 하는 데이터가 아니다

시계열이라고 하면 많은 사람이 곧바로 수요 예측이나 주가 예측을 떠올린다. 하지만 실무에서는 그보다 더 넓게 쓰인다. 센서 로그로 설비 이상을 찾을 수도 있고, 웨어러블 데이터로 활동 유형을 분류할 수도 있으며, 빠진 구간을 보정할 수도 있다.

예를 들어 공장 설비의 진동 데이터를 생각해 보자. 미래 값을 맞히는 일도 중요하지만, 정상 패턴에서 벗어나는 순간을 빨리 감지하는 것이 더 중요할 수 있다. 병원 모니터링 데이터에서는 결측치 보정이 먼저 필요할 수도 있다. 스포츠 센서 데이터에서는 특정 동작을 분류하는 일이 핵심일 수 있다. 즉, 시계열이라는 데이터 형식은 같아도 목표가 바뀌면 입력 구성과 평가 방식이 크게 달라진다.

그래서 시계열 모델을 고를 때는 먼저 이 질문을 해야 한다. 우리는 미래 숫자를 맞히려는가, 현재 상태를 분류하려는가, 비정상을 찾으려는가, 빠진 값을 채우려는가. 같은 망치를 들고 모든 문제를 못처럼 보면 실무는 금방 꼬인다.

시계열 평가에서 가장 위험한 함정은 미래를 본 모델이다

시계열 평가에서는 실제 운영 상황을 흉내 내야 한다. 과거 데이터로 학습하고, 그 뒤 시점의 데이터를 검증하고, 더 뒤의 데이터를 테스트해야 한다. 필요하면 여러 구간으로 창을 굴리며 평가하는 롤링 검증도 쓴다. 핵심은 언제나 같다. 예측 시점에서 실제로 알 수 있었던 정보만 써야 한다.

예를 들어 내일 전력 수요를 예측하는 모델을 만든다고 해 보자. 학습 단계에서 이미 내일 이후의 평균값으로 스케일링을 하거나, 전체 기간 통계량으로 특징을 만들면 조용한 누수가 생긴다. 눈에 잘 띄지 않지만 결과는 비정상적으로 좋아진다. 시계열에서 놀라울 정도로 높은 성능을 봤다면, 먼저 천재 모델을 의심하기보다 누수를 의심하는 편이 안전하다.

시계열 파운데이션 모델은 왜 더 어려운가

이미지와 텍스트에서는 사전학습 모델이 너무나 자연스럽다. 인터넷에 이미지와 텍스트가 엄청나게 많고, 형식도 비교적 정리되어 있기 때문이다. 그런데 시계열은 사정이 다르다. 산업 설비, 금융, 의료, 교통, 에너지 데이터는 분야마다 단위도 다르고, 수집 주기와 노이즈 특성도 다르다. 게다가 공개하기 어려운 경우가 많다. 그래서 범용 시계열 파운데이션 모델을 만드는 가장 큰 장애물은 고품질의 다양한 대규모 데이터를 모으기 어렵다는 점이다.¹

그렇다고 가능성이 없는 것은 아니다. 최근에는 TimesFM, Chronos, Moirai 같은 범용 시계열 모델 흐름이 빠르게 커지고 있고, 제로샷 예측이나 적은 데이터 미세조정 같은 방식도 실험되고 있다.² 또 흥미로운 방향으로는 시계열을 텍스트처럼 토큰화하거나, 아예 이미지로 바꿔 비전 모델의 사전학습 능력을 빌려오는 시도도 있다. VisionTS는 시계열을 이미지처럼 변환해 사전학습된 비전 모델을 활용하는 예를 보여 주는데, 이는 시계열 데이터 부족 문제를 다른 모달리티의 풍부한 사전학습으로 우회하려는 발상이라는 점에서 매우 흥미롭다.¹

실무 관점에서 보면 결론은 현실적이다. 시계열에서도 사전학습은 점점 중요해지고 있지만, 아직은 이미지나 텍스트만큼 범용성이 매끈하지 않다. 그래서 당분간은 범용 모델을 그대로 가져다 쓰기보다, 도메인 데이터로 미세조정하거나 문제에 맞는 표현 변환을 함께 고민하는 전략이 더 자주 쓰일 가능성이 크다.

데이터가 부족할 때 합성 데이터는 보조 바퀴가 될 수 있다

현실 프로젝트에서는 늘 데이터가 모자란다. 불량 사진은 적고, 희귀 이상 패턴은 더 적고, 장애 로그는 평소에는 거의 쌓이지 않는다. 그래서 생성 모델을 이용해 데이터를 보강하려는 시도가 많다.

특히 텍스트-시계열 생성이나 합성 시계열 생성은 희소 데이터 보완, 클래스 불균형 완화, 멀티모달 학습 지원 같은 면에서 가능성을 보여 주고 있다. 최근 연구는 자연어 설명으로 원하는 길이의 시계열을 생성하는 시도까지 내놓고 있다.³ 의료 분야의 합성 시계열 연구에서도 데이터 부족, 불균형, 결측치 보정, 프라이버시 보호 같은 목적이 반복해서 등장한다.⁴

하지만 여기에는 늘 단서가 붙는다. 합성 데이터는 원본 데이터를 대체하는 만능 재료가 아니다. 생성기가 실제 분포를 잘못 배웠다면, 현실에는 없는 패턴을 그럴듯하게 만들어 낼 수 있다. 더 무서운 경우는 원래 있던 편향이나 오류를 더 강하게 복제하는 것이다. 그래서 합성 데이터는 원본을 대신하는 것이 아니라, 보완하는 재료로 검증하며 써야 한다. 실제 데이터만으로 학습한 모델과, 합성 데이터를 섞어 학습한 모델을 비교하고, 성능뿐 아니라 왜곡 여부와 개인정보 위험까지 함께 봐야 한다.⁴

쉽게 말해 합성 데이터는 부족한 훈련장의 허수아비일 수는 있어도, 실제 경기를 완전히 대신할 수는 없다.

결국 모델 선택은 데이터 유형과 운영 조건의 합이다

여기까지 오면 중요한 사실이 하나 보인다. 데이터 유형에 따라 잘 맞는 모델은 달라지지만, 최종 선택은 데이터 유형만으로 끝나지 않는다. 운영 조건이 함께 들어온다.

이미지에서는 정확도가 조금 더 높은 거대한 모델보다, 모바일에서 즉시 돌아가는 가벼운 모델이 더 좋은 선택일 수 있다. 텍스트에서는 최신 언어모델보다 TF-IDF 기반 분류기가 응답 속도와 비용 면에서 훨씬 실용적일 수 있다. 시계열에서는 Transformer가 멋져 보여도, 지연 특성과 롤링 평균 몇 개를 넣은 부스팅 모델이 더 안정적일 수 있다.

그래서 실무자는 이렇게 생각해야 한다. 이 데이터는 어떤 구조로 의미를 담고 있는가. 그 구조를 가장 자연스럽게 읽는 모델은 무엇인가. 그리고 그 모델이 우리 서비스의 속도, 비용, 설명 가능성, 유지보수 조건에 맞는가.

모델은 시험 문제를 푸는 존재가 아니라 제품 안에서 일하는 부품이다. 그래서 좋은 모델 선택은 논문 순위표를 외우는 일이 아니라, 데이터의 모양과 운영의 현실을 한 장의 설계도로 겹쳐 보는 일이다.

이 장의 핵심 정리

이미지는 공간 구조가 중요하므로 인접 픽셀의 지역 패턴을 잘 읽는 모델이 유리하다. 그래서 합성곱 기반 모델과 사전학습 비전 모델의 가치가 크다.

텍스트는 토큰화, 벡터화, 문맥 반영이 핵심이다. BoW와 TF-IDF는 빠르고 해석이 쉬운 강한 기준선이고, 문맥 의미가 중요한 문제에서는 문맥 임베딩과 사전학습 언어모델이 더 강력하다.

시계열은 순서 자체가 정보이므로 무작위 분할이 위험하다. 추세, 계절성, 지연값, 변동성 같은 시간 구조를 반영해야 하며, 평가는 늘 과거로 학습하고 미래를 맞히는 방식이어야 한다.

또한 시계열은 예측만의 영역이 아니다. 분류, 결측치 보정, 이상 탐지까지 폭넓게 쓰이며, 문제 성격에 따라 MLP, CNN, RNN, 트리 기반 모델, Transformer, 파운데이션 모델이 각기 다른 장단점을 가진다.

마지막으로 사전학습과 생성 모델은 강력한 도구지만 자동 정답은 아니다. 이미지와 텍스트에서는 사전학습이 이미 기본 전략이 되었고, 시계열에서도 빠르게 중요해지고 있다. 다만 범용성의 한계와 데이터 부족 문제를 이해하고, 미세조정과 검증을 함께 설계해야 한다.

다음 장에서는 이 흐름을 한 단계 더 밀고 나가 보자. 대규모 언어모델은 이 세상 어디쯤에 놓여 있으며, 왜 생성형 AI 시대에도 머신러닝의 기본기가 여전히 중요한지 살펴본다.

참고

¹VisionTS: Building Superior Forecasting Models from Images

²Time-Series-Library: A Library for Advanced Deep Time Series Models for General Time Series Analysis

³T2S: High-resolution Time Series Generation with Text-to-Series Diffusion Models

⁴A review on generative AI models for synthetic medical text, time series, and longitudinal data