메타의 메가바이트란? 토큰 단위가 아닌 바이트 단위로 대용량 처리

현재 LLM은 토크나이저를 사용하고 있다. 문자를 하나의 패턴으로 인식하고 이에 대해 토큰을 부여하는 방식이다. 하지만 메가바이트는 텍스트, 이미지, 오디오를 바이트 수준(예를 들어 문자)에서 처리하는 방식으로 동작한다.

이 아키텍처는 병렬 계산을 향상시킬 수 있고 계산 비용을 크게 줄일 수 있다. 메가바이트는 거의 100만 바이트의 시퀀스를 처리할 수 있다고 한다.

Meta AI팀은 MegaByte가 Transformer 모델의 전통적인 토크나이저를 대체할 수 있는 잠재력을 가지고 있다고 이야기하고 있다.

생각

LLM에서 토큰 개념이 없어지는 날이 올까요? 토큰 개념이 없어지고 데이터를 대용량으로 처리할 수 있게 된다면 많은 변화가 있을것 같습니다. 책, 팟캐스트, 동영상을 그냥 통째로 넣고 처리를 할 수 도 있으니깐요. 특히 이미지나 동영상 같은 멀티 모달에 더 유리할 것 같네요.