구글의 AI 하드웨어 TPUv4와 광학적으로 재구성한 AI 네트워크

TPU는 구글이 개발한 AI 전용칩이다. 딥러닝에 필요한 행렬연산 (매트릭스 연산) 을 빠르게 처리하기 위해 최적화되어 있다.

이미지 : TPUv4의 모습

그런데 얼마 전 이 TPU로 네트워크를 구축하고, 이를 광학적으로 재구성가능할 수 있게한 AI 네트워크를 선보였다. (Optically Reconfigurable AI Network)

이 네트워크를 활용하면 여러 개의 TPU칩을 연결하고 이 구성을 빛을 이용하여 바꿀 수 있다. OCS(광학 회로 스위칭)를 통해 여러 개의 칩을 직접 연결할 수 있다. 이를 통해 데이터를 효율적으로 공유하고 전력 소비를 낮출 수 있다.

구글의 시스템은 64개의 랙과 4096개의 연결된 칩으로 구성된다. TPUv4 칩 4개가 장착된 보드는 액체 냉각을 사용한다고 한다.

TPUv4는 3에 비해 최대 FLOPS를 두 배 이상 늘렸다고 한다. FLOPS는 "Floating Point Operations Per Second"의 약자로 초당 부동소수점 연산의 횟수를 나타낸다. 컴퓨터나 특정 하드웨어의 성능을 측정하는 단위 중 하나이며 병렬 처리 장치의 계산 능력을 나타낼 때 사용하는 단위이다.

그리고 구글은 TPUv5의 정보 공개를 앞두고 있다.

Nvidia의 A100등 GPU 시리즈와 경쟁을 하지 않을까 싶다. photon 을 활용해서 전력을 줄이는 것은 연구자들 사이에서 많이 이야기 되던 것인데, 빛으로 네트워크를 구성하고 바꾸는건 실용적이면서 참신한 것 같다. 기존의 전기 스위치 대신 광학 회로 스위칭으로 AI 훈련 클러스터의 성능을 향상시키고 전력소모를 줄일 수 있는 방법이다.

얼마 전 sam altman이 외치던게 생각난다. "중요한건 FLOPS야!"

구글 : "내 칩은 내가 만들어 쓴다."

논문 출처 : https://arxiv.org/ftp/arxiv/papers/2304/2304.01433.pdf

참고 : Google Details TPUv4 and its Crazy Optically Reconfigurable AI Network