Reinforcement learning for quantum error correction: 오류 신호로 하드웨어를 보정하다

양자컴퓨터의 과제는 오류를 한 번 줄이는 데서 끝나지 않는다. 아날로그 제어가 시간에 따라 드리프트하면 정밀하게 보정된 프로세서의 성능도 달라질 수 있기 때문이다. Reinforcement learning for quantum error correction은 오류 교정 과정에서 생성되는 신호를 재사용해 물리적 제어 매개변수를 지속적으로 조정하는 접근이다.

오류 교정과 캘리브레이션은 왜 함께 필요한가

양자 오류 교정은 반복적인 오류 검출을 통해 연속적인 아날로그 오류를 ‘오류’ 또는 ‘오류 없음’이라는 이진 사건으로 변환한다. 다만 오류 교정이 실용적으로 작동하려면 물리 게이트 오류율을 약 10⁻³~10⁻²의 임계값보다 충분히 낮게 유지해야 한다.¹

이 역할을 하는 것이 캘리브레이션이다. 캘리브레이션은 양자 시스템의 제어 매개변수를 정밀하게 조정해 물리 게이트 오류율을 임계값 아래로 낮춘다. 문제는 보정 이후에도 드리프트가 발생한다는 점이다. 기존 실험에서는 이를 바로잡기 위해 오류 교정 실행을 중단하고 시스템을 간헐적으로 재보정했다.¹

논리 스왑이나 코드 변형을 이용해 연속적으로 보정할 수도 있지만, 회로 실행 시간과 하드웨어 면적, 운용 복잡성이 늘어난다. 따라서 핵심 과제는 오류 교정을 멈추거나 큰 추가 부담을 지지 않고 제어 상태를 유지하는 것이다.¹

검출 사건을 학습 신호로 바꾸다

오류 교정 회로의 ‘검출기’는 오류가 없을 때 측정값들의 전체 패리티가 결정적으로 정해지는 측정 집합이다. 이 패리티가 뒤집히는 ‘검출 사건’은 회로의 특정 시공간 영역에서 오류가 발생했음을 나타낸다.¹

불완전한 캘리브레이션도 이러한 검출 사건을 만든다. 강화학습 제어는 검출 사건을 학습 신호로 재사용해 물리적 제어 매개변수를 조정한다. 디코더가 발생한 오류로부터 논리 상태를 복구한다면, 강화학습은 오류를 유발하는 하드웨어 제어 상태 자체를 개선하는 역할을 맡는다.¹

성과를 읽는 세 가지 기준

Nature에 게재된 연구에서 강화학습 제어는 Willow 초전도 프로세서의 오류 교정 코드가 지닌 논리적 안정성을 3.5배 높였다. 전문가가 먼저 보정한 상태에서 강화학습으로 미세 조정했을 때도 논리 오류율이 추가로 20% 낮아졌다.¹²

이 결과는 다음 세 가지 기준으로 해석할 수 있다.

1. 논리 오류가 실제로 줄었는가
   표면 코드의 논리 오류율은 오류 교정 주기 1,000회당 1회 미만으로 측정됐다.¹

2. 기존 보정을 대체하는가, 보완하는가
   결과는 강화학습이 전문가 캘리브레이션을 없애기보다, 그 위에서 성능을 유지하고 미세 조정하는 도구가 될 가능성을 보여준다.

3. 규모가 커져도 학습이 가능한가
   수백 개 큐비트와 수만 개 제어 매개변수를 사용한 수치 시뮬레이션에서는 필요한 강화학습 반복 횟수가 시스템 크기와 무관했다.¹ 이는 확장 가능성을 뒷받침하지만, 실제 대규모 하드웨어에서도 같은 특성이 유지되는지는 별도로 검증해야 한다.

결국 3.5배라는 단일 수치보다 중요한 것은 자동 보정의 지속성과 확장성이다. 장시간 계산을 중단하지 않고 드리프트를 추적하면서 논리 오류율을 낮출 수 있는지가 이 접근의 실용성을 판단하는 핵심 기준이다.

요약: Reinforcement learning for quantum error correction의 핵심은 오류를 사후 복구 대상으로만 보지 않고, 양자 하드웨어를 지속적으로 안정화하는 학습 신호로 활용하는 데 있다.

¹Reinforcement learning control of quantum error correction

²Towards a quantum computer that learns from its errors