ACT: 행동을 덩어리로 배우는 Transformer

지난 장에서 우리는 ALOHA가 왜 중요한 하드웨어 플랫폼이 되었는지 보았습니다. 하지만 좋은 몸만으로는 로봇이 일을 배우지 못합니다. 사람의 시연을 어떻게 학습 규칙으로 바꿀 것인가, 바로 그 지점에서 ACT가 등장합니다.

ACT는 이름만 보면 어려워 보이지만, 핵심 질문은 의외로 단순합니다. 로봇이 왜 한 스텝씩 따라 하다가 자꾸 흔들리고 망가질까? 그리고 그 흔들림을 어떻게 줄일 수 있을까? ALOHA 계열에서 ACT가 중요한 이유는, 이 질문에 아주 실용적인 답을 내놓았기 때문입니다. 특히 양손 조작처럼 조금만 틀어져도 바로 실패하는 작업에서 그 효과가 더 또렷하게 드러납니다.

한 걸음씩 맞히는 정책이 왜 불안한가

모방학습의 가장 기본적인 형태는 행동 복제입니다. 사람이 시연한 장면을 보고, 같은 상황에서 같은 행동을 내도록 정책을 훈련하는 방식입니다. 겉으로 보면 자연스럽습니다. 이미지와 로봇 관절 상태를 입력으로 주고, 다음 순간의 관절 명령이나 그리퍼 명령을 출력하게 만들면 될 것 같기 때문입니다.

문제는 현실의 로봇 제어가 시험지처럼 한 번만 답을 쓰고 끝나는 일이 아니라는 데 있습니다. 로봇은 한 번 움직이고, 그 결과가 다음 입력이 되고, 그 입력을 바탕으로 또 움직입니다. 즉, 자기 예측의 결과를 다시 자기가 떠안는 구조입니다.

여기서 작은 오차가 생깁니다. 예를 들어 배터리를 슬롯에 넣는다고 해 봅시다. 사람 시연에서는 손목이 살짝 기울어진 채 전진했고, 그다음 순간에는 미세하게 방향을 보정하며 밀어 넣었습니다. 그런데 학습된 정책이 첫 스텝에서 손목 각도를 아주 조금만 다르게 내도, 다음 카메라 화면은 시연 데이터에서 보던 모습과 이미 달라집니다. 그러면 정책은 익숙하지 않은 장면에서 답을 내야 하고, 오차는 더 커집니다. 그다음 스텝에서는 더 어색한 자세가 되고, 결국 배터리는 입구를 비껴가거나 걸려 버립니다.

이것이 누적 오차입니다. 한 번의 작은 실수가 다음 입력을 바꾸고, 바뀐 입력이 또 다른 실수를 부르는 식으로 오차가 연쇄 반응처럼 불어나는 현상입니다.

분포 이탈은 왜 생기는가

이 문제를 조금 더 정확히 말하면 분포 이탈이라고 부를 수 있습니다. 훈련할 때 정책은 주로 사람이 잘한 상태들을 봅니다. 시연 데이터는 대체로 안정적이고, 손의 위치도 적절하고, 물체도 크게 어긋나 있지 않습니다. 하지만 실제 실행 때는 정책이 직접 만든 상태를 보게 됩니다. 거기에는 어설픈 접근, 약간 틀어진 정렬, 예상보다 빠른 손동작 같은 것이 섞입니다.

쉽게 말해, 훈련 시간에는 늘 잘 정리된 길만 걸었는데 실전에서는 처음 보는 골목으로 조금씩 들어가게 되는 셈입니다. 처음 한두 걸음은 괜찮아 보이지만, 양손 조작에서는 이 작은 벗어남이 매우 치명적입니다. 한 손이 물체를 받쳐 주는 타이밍이 반 박자만 늦어도 다른 손의 밀기 동작이 의미를 잃고, 그리퍼가 물체를 살짝 비껴 잡는 순간 이후 동작 전체가 흔들립니다.

그래서 표준 행동 복제는 정적인 장면에서는 잘 되는 것처럼 보여도, 접촉이 많고 순서가 중요한 작업에서는 갑자기 무너질 때가 많습니다. 정책이 멍청해서가 아닙니다. 매 순간 한 걸음만 맞히는 방식 자체가, 긴 작업을 하다 보면 점점 불리해지는 구조이기 때문입니다.

ACT의 출발점: 다음 한 점이 아니라 짧은 문장을 예측하자

ACT의 핵심 아이디어는 여기서 나옵니다. 행동을 한 스텝씩 찍지 말고, 짧은 구간으로 묶어서 예측하자는 것입니다. 이것이 액션 청킹, 즉 행동 청킹입니다.

사람이 컵을 집어 옮길 때를 떠올려 보면 이해가 쉽습니다. 우리는 매 0.02초마다 "이제 손목을 0.3도 돌릴까, 말까"를 의식적으로 결정하지 않습니다. 대체로 더 큰 단위로 움직입니다. 컵 쪽으로 손을 뻗고, 손가락을 오므려 잡고, 들어 올려 옮기고, 내려놓는 식입니다. 물론 그 안에는 세밀한 조정이 들어가지만, 행동의 조직 원리는 한 점이 아니라 짧은 덩어리에 가깝습니다.

ACT는 로봇에게도 이 관점을 적용합니다. 현재 관측을 보고 다음 한 스텝만 내는 대신, 앞으로 이어질 여러 스텝의 행동 시퀀스를 한 번에 예측합니다. 그러면 정책은 "지금 이 찰나에 뭘 할까"만 고민하는 것이 아니라, "이 장면이라면 앞으로 짧은 구간 동안 어떤 흐름으로 움직여야 하지?"를 생각하게 됩니다.

이 차이는 큽니다. 한 스텝 예측은 늘 눈앞의 떨림에 민감합니다. 반면 청크 단위 예측은 짧은 미래의 구조를 함께 보게 만듭니다. 양손 로봇이 케이블 타이를 끼우거나 뚜껑을 잡고 비트는 작업을 할 때는, 각 손의 역할이 몇 스텝에 걸쳐 연결되어 있어야 합니다. ACT는 바로 그 연결성을 더 잘 보존합니다.

유효 horizon을 줄인다는 말의 뜻

여기서 자주 나오는 표현이 유효 horizon입니다. 말이 어렵지만 뜻은 간단합니다. 로봇이 스스로 안정적으로 계획하고 버텨야 하는 시간이 얼마나 긴가를 가리키는 말이라고 생각하면 됩니다.

표준 행동 복제에서는 정책이 매 스텝마다 다시 방향을 잡아야 합니다. 긴 작업일수록 스스로 버텨야 하는 판단 횟수가 많아지고, 그만큼 흔들릴 기회도 많아집니다. 마치 아주 긴 문장을 한 글자씩 받아쓰는데 매 글자마다 작은 오타가 섞이는 상황과 비슷합니다. 처음에는 티가 안 나도 뒤로 갈수록 문장이 망가집니다.

ACT는 이 긴 구간을 여러 개의 짧은 행동 묶음으로 나눕니다. 그러면 정책은 매 스텝마다 완전히 새로 출발하는 대신, 한 번 예측한 짧은 행동 계획을 따라가며 움직일 수 있습니다. 즉, 매 순간 즉흥적으로 흔들리기보다 짧은 미래에 대한 일관된 의도를 유지하게 됩니다.

그래서 액션 청킹은 사실상 로봇이 매번 감당해야 하는 의사결정의 길이를 줄여 줍니다. 이것이 유효 horizon을 줄인다는 뜻입니다. 긴 작업 전체를 한꺼번에 완벽하게 통제하라는 대신, 조금 더 다루기 쉬운 짧은 구간들로 나누어 안정적으로 이어 붙이게 만드는 것입니다.

양손 작업에서는 이 효과가 더 큽니다. 두 팔이 협응해야 하는 순간에는 각 손이 따로따로 반응하면 어색해집니다. 하지만 짧은 시퀀스를 함께 예측하면, 한 손은 지지하고 다른 손은 삽입하는 식의 역할 분담이 하나의 덩어리 안에서 정렬됩니다. 그래서 동작이 덜 끊기고, 덜 떨리고, 덜 즉흥적이 됩니다.

Transformer가 왜 잘 맞는가

ACT의 뒤에 붙는 Transformer는 단지 유행하는 모델 이름이 아닙니다. 행동 청킹과 잘 어울리는 구조적 이유가 있습니다.

Transformer는 본래 시퀀스를 다루는 데 강합니다. 문장에서 단어들이 앞뒤 관계를 가지듯, 로봇의 행동도 시간적 관계를 가집니다. 손을 먼저 뻗고, 그다음 그리퍼를 닫고, 그다음 들어 올리는 식으로 순서가 중요합니다. 특히 양손 조작에서는 왼팔과 오른팔의 타이밍까지 얽힙니다. 이런 상황에서 Transformer는 각 시점의 행동이 다른 시점과 어떤 관계를 가지는지 함께 보며 시퀀스를 만들 수 있습니다.

ACT에서는 보통 현재의 시각 정보와 로봇 상태를 바탕으로, 앞으로의 행동 시퀀스를 생성하도록 구성합니다. 카메라 이미지는 지금 장면에 물체가 어디 있는지, 어떤 자세로 놓여 있는지 알려 줍니다. 관절 상태는 두 팔이 현재 어떤 자세로 서 있는지, 이미 얼마나 회전했는지, 그리퍼가 열려 있는지 닫혀 있는지 같은 몸의 내부 상태를 알려 줍니다. 그리고 Transformer는 이 정보를 합쳐서 앞으로 이어질 행동의 흐름을 만들어 냅니다.

중요한 것은 이 구조가 단순히 "이미지 보고 다음 숫자 하나 맞히기"보다 훨씬 풍부한 문제를 풀게 만든다는 점입니다. 정책은 지금 한 장면만 반응하는 것이 아니라, 시각 정보와 몸 상태를 바탕으로 짧은 행동 문장을 써 내려가는 셈입니다.

이미지, 관절 상태, 행동 시퀀스를 함께 다룬다는 것

이 장의 핵심 가운데 하나는 ACT가 서로 다른 종류의 정보를 한 모델 안에서 자연스럽게 다룬다는 점입니다.

먼저 이미지는 외부 세계를 보여 줍니다. 물체의 위치, 테이블 위 배치, 두 손과 대상 사이의 상대적 거리, 작업의 진행 정도가 여기 담깁니다. ALOHA 같은 플랫폼에서는 여러 시점의 카메라가 들어갈 수 있는데, 이는 한쪽 시야에서 가려지는 정보를 다른 시야가 보완하게 해 줍니다.

다음으로 관절 상태는 로봇 자신의 몸감각에 가깝습니다. 같은 장면이라도 팔이 어디까지 뻗어 있는지, 손목이 얼마나 꺾여 있는지, 그리퍼가 어느 정도 닫혀 있는지는 이미지 만으로는 모호할 수 있습니다. 특히 접촉 직전이나 삽입 순간처럼 정밀한 제어가 필요한 구간에서는 이 내부 상태가 매우 중요합니다.

마지막으로 행동 시퀀스는 정책이 만들어야 할 출력입니다. 여기서 중요한 것은 출력이 한 점이 아니라 여러 스텝이라는 사실입니다. 모델은 지금 장면을 보고 짧은 미래의 운동 계획을 한 번에 예측합니다. 이때 각 시점의 행동은 서로 독립적인 숫자 묶음이 아니라, 하나의 흐름을 이루는 문장처럼 다뤄집니다.

이렇게 보면 ACT는 세 가지를 연결합니다. 밖에서 보이는 것, 몸 안에서 느끼는 것, 앞으로 이어질 움직임입니다. 로봇 행동 학습에서 이 세 축이 한자리에 모이는 순간, 정책은 단순 반사 신경보다 훨씬 구조적인 행동을 배울 수 있습니다.

왜 잠재변수가 필요한가

그런데 여기서 또 하나의 문제가 남습니다. 사람의 시연은 한 가지 정답만 있지 않습니다. 같은 컵을 집어도 어떤 사람은 조금 높게 접근하고, 어떤 사람은 옆에서 들어갑니다. 병뚜껑을 돌릴 때도 누군가는 먼저 단단히 잡고 천천히 비틀고, 누군가는 짧게 힘을 준 뒤 다시 자세를 고칩니다. 둘 다 성공한 시연일 수 있습니다.

만약 모델이 이런 다양한 시연을 하나의 평균으로만 배우면 어떤 일이 생길까요. 가장 그럴듯한 중간값을 내려고 하다가 오히려 이상한 동작이 나올 수 있습니다. 왼손은 높게 들어가려 하고 오른손은 낮게 지지하려 하는 식으로, 실제 누구도 하지 않은 어정쩡한 평균 행동이 나올 위험이 있습니다.

ACT는 이 문제를 완화하기 위해 CVAE 스타일의 잠재변수를 사용합니다. 어렵게 들리지만 직관은 간단합니다. 겉으로는 비슷한 과제라도, 그 안에 여러 수행 스타일이 숨어 있을 수 있으니 그 다양성을 압축해 표현하자는 것입니다.

훈련할 때 모델은 시연 전체를 보며, 이 시연이 어떤 스타일의 행동이었는지를 잠재변수에 담으려 합니다. 어떤 시연은 빠르고 과감하고, 어떤 시연은 느리지만 안정적일 수 있습니다. 어떤 시연은 왼손이 주도권을 쥐고, 어떤 시연은 오른손이 먼저 정렬을 맞출 수도 있습니다. 잠재변수는 이런 차이를 하나의 보이지 않는 요약 정보처럼 들고 갑니다.

그러면 Transformer는 현재 이미지와 관절 상태만 보는 것이 아니라, "이번에는 이런 스타일의 시연을 재현하고 있다"는 힌트까지 함께 받아 행동 시퀀스를 만듭니다. 결과적으로 서로 다른 성공 경로들이 평균에 뭉개지지 않고, 여러 가능한 해결책으로 유지되기 쉬워집니다.

CVAE가 시연 다양성을 흡수한다는 말의 진짜 의미

여기서 "다양성을 흡수한다"는 표현은 대충 뭉뚱그린다는 뜻이 아닙니다. 오히려 반대입니다. 제각각인 시연을 그대로 섞어 버리면 정책은 헷갈립니다. 하지만 잠재변수를 통해 그 차이를 구조적으로 설명하면, 모델은 혼란 대신 패턴을 보게 됩니다.

예를 들어 양손으로 작은 부품을 끼우는 작업에서 어떤 시연은 먼저 왼손으로 부품을 단단히 고정한 뒤 오른손이 삽입하고, 다른 시연은 오른손이 위치를 잡는 동안 왼손이 마지막에 눌러 줄 수도 있습니다. 표면적으로는 둘 다 성공 사례지만, 시점별 행동만 보면 서로 꽤 다릅니다. 잠재변수는 이런 차이를 "이 시연은 이런 방식의 해법"이라고 요약하는 역할을 합니다.

이 덕분에 모델은 서로 다른 시연을 억지로 평균내지 않고, 각각의 내부 일관성을 보존한 채 배울 수 있습니다. 로봇이 실제 실행에서 조금 다른 초기 자세를 만나더라도, 여러 스타일 가운데 맞는 흐름을 택할 여지가 생깁니다. 양손 조작에서 이 점은 특히 중요합니다. 두 팔의 협응은 정답 하나로 고정되기보다, 상황에 따라 몇 가지 안정적인 패턴을 가질 수 있기 때문입니다.

소량 시연으로도 성과가 나왔던 이유

이제 중요한 질문으로 넘어가 봅시다. 왜 ACT는 비교적 적은 시연만으로도 정밀한 양손 조작에서 인상적인 성과를 낼 수 있었을까요.

첫째, 행동을 청크로 예측하기 때문에 학습해야 할 구조가 더 선명해집니다. 한 스텝씩 맞히는 방식에서는 아주 미세한 센서 잡음이나 순간적인 카메라 차이에도 출력이 요동치기 쉽습니다. 반면 짧은 시퀀스를 예측하면, 모델은 잡음보다 행동의 흐름에 더 주목하게 됩니다. 적은 데이터에서도 "이 장면 다음에는 대체로 이런 움직임이 이어진다"는 패턴을 잡기 쉬워집니다.

둘째, 양손 작업에 필요한 시간적 협응을 더 직접적으로 학습합니다. 소량의 시연이라도, 한 청크 안에는 두 손이 언제 잡고 언제 밀고 언제 멈추는지에 대한 관계가 담깁니다. 즉, 데이터 한 개가 전달하는 정보량이 커집니다. 단일 스텝 라벨 수가 늘어서가 아니라, 하나의 시연이 가진 구조적 힌트가 더 잘 보존되기 때문입니다.

셋째, CVAE 스타일 잠재변수가 적은 데이터에서 생기기 쉬운 모순을 줄여 줍니다. 시연 수가 많지 않을수록 사람마다 다른 습관이 더 두드러지게 보일 수 있습니다. 이때 모든 시연을 한 가지 정답으로 누르려 하면 모델이 애매한 평균으로 흐르기 쉽습니다. 잠재변수는 서로 다른 성공 전략을 분리해 이해하도록 도와주기 때문에, 적은 시연에서도 학습이 덜 혼란스러워집니다.

넷째, ALOHA의 데이터 자체가 비교적 질이 높았다는 점도 중요합니다. ACT는 마법이 아닙니다. 좋은 원격조작으로 모은 안정적인 시연이 있었기에, 그 안의 패턴을 잘 압축할 수 있었습니다. 즉, ALOHA가 좋은 행동 데이터를 공급하고, ACT가 그 데이터를 덜 흔들리게 배우는 방식으로 소비한 셈입니다. 하드웨어와 알고리즘이 서로 맞물린 결과라고 보는 편이 정확합니다.

ACT는 '더 똑똑한 모델'이 아니라 '더 나은 문제 설정'이다

ACT를 이해할 때 흔히 빠지는 오해가 있습니다. Transformer를 썼으니 성능이 좋아졌다고 생각하는 것입니다. 물론 모델 구조의 힘도 있습니다. 하지만 더 본질적인 변화는 문제를 어떻게 정의했는가에 있습니다.

한 스텝 예측 문제로 놓고 보면, 로봇은 너무 자주 흔들립니다. 사람 시연의 시간적 구조가 잘려 나가고, 양손 협응은 매 순간의 숫자 예측으로 쪼개집니다. ACT는 이 문제를 행동 청킹으로 다시 묶었습니다. 그리고 시연마다 다른 해법은 잠재변수로 흡수했습니다. 그 결과 정책은 단순한 반사 기계가 아니라, 짧은 행동 구간을 일관되게 이어 가는 시퀀스 모델이 되었습니다.

그래서 ACT의 진짜 가치는 "복잡한 모델을 썼다"가 아니라 "로봇 행동이라는 대상을 더 그럴듯한 단위로 잘랐다"는 데 있습니다. 로봇에게 필요한 것은 종종 더 큰 신경망이 아니라, 행동을 보는 더 좋은 관점입니다.

ALOHA 계열에서 ACT가 특별히 중요했던 이유

ALOHA가 저비용 양손 원격조작으로 좋은 시연을 모을 수 있게 했다면, ACT는 그 시연을 실제 성능으로 바꾸는 데 핵심적인 다리 역할을 했습니다. 양손 조작은 조금만 흔들려도 실패하고, 접촉이 많아 분포 이탈의 대가가 큽니다. 따라서 단순 행동 복제로는 아슬아슬한 성공에 머무르기 쉬웠습니다.

ACT는 바로 그 약점을 찔렀습니다. 짧은 행동 덩어리를 한 번에 내게 해서 정책의 떨림을 줄이고, 시각 정보와 관절 상태를 함께 엮어 양손 협응을 더 잘 보게 만들고, 잠재변수로 시연 다양성까지 흡수했습니다. 그 결과 ALOHA 계열은 단순한 데이터 수집 플랫폼을 넘어, 소량의 양질 시연으로도 정밀 작업을 배울 수 있는 실험 체계가 되었습니다.

이 점은 로봇 AI 전체에도 중요한 메시지를 줍니다. 좋은 데이터가 중요하다는 말은 맞습니다. 하지만 좋은 데이터만으로 충분하지는 않습니다. 그 데이터를 로봇이 버티기 쉬운 형태로 바꿔 주는 학습 알고리즘이 함께 필요합니다. ALOHA와 ACT의 결합은 바로 그 사실을 상징적으로 보여 준 사례입니다.

다음 질문은 데이터 파이프라인이다

이제 그림이 조금 선명해졌습니다. ALOHA는 좋은 행동 데이터를 모으는 몸을 만들었고, ACT는 그 데이터를 덜 흔들리게 배우는 방법을 제시했습니다. 그렇다면 다음에 궁금해지는 것은 자연스럽습니다. 실제 연구 현장에서는 시연을 어떻게 모으고, 카메라와 관절 정보를 어떻게 기록하고, 어떤 방식으로 정리하고 학습에 넣을까요?

로봇이 사람의 손놀림을 배운다는 말은 멋지지만, 그 뒤에는 꽤 현실적인 공정이 숨어 있습니다. 결국 행동 지능은 모델의 수식만이 아니라, 데이터를 다루는 파이프라인 전체에서 만들어집니다. 다음 장에서는 바로 그 공정을 따라가 보겠습니다.