Falcon LLM - 라마 기반이 아닌 새로운 LLM 모델

Technology Innovation Institute 라는 곳에서 만든 파운데이션 모델입니다. 40B (400억개)의 파라미터를 가지고 있습니다. 오랜만에 라마를 기반으로 하지 않은 모델이 나온것 같네요.

AWS의 384개의 GPU로 2개월간 트레이닝을 했다고 합니다.

라이센스가 좀 독특한데 상업용 사용을 하려면 신청을 해야 하고 수익이 1백만 달러가 넘을 때 로열티를 내는 방식으로 사용할 수 있다고 합니다. 1백만 달러가 넘으면 10%를 로열티로 내는 방식으로 보입니다. 최근 아파치2 라이센스로 로열티가 없는 방식으로 변경됐다고 합니다.

Falcon LLM

허깅페이스의 open llm 리더 보드를 보면 LLM의 벤치마크 테스트를 볼 수 있는데 점수로는 llama-65b를 제쳤네요.

Open LLM Leaderboard - Hugging Face

TII는 UAE에 있는 기관이라고 합니다.