FlexOlmo는 조직들이 데이터 공유 없이 협업하여 LLM을 훈련할 수 있도록 합니다.
- FlexOlmo는 Allen Institute for AI에서 개발한 시스템으로, 데이터 공유 없이 조직들이 협력하여 언어 모델을 훈련할 수 있도록 합니다.
- 규제가 많은 산업에서 조직들은 가치 있는 데이터를 가지고 있으나 외부에 공유할 수 없습니다. FlexOlmo는 각 전문가를 로컬 데이터셋으로 독립적으로 훈련하여 다양한 전문가를 혼합하는 접근 방식을 사용합니다.
- 데이터 소유자는 민감한 데이터를 안전하게 보관하면서 훈련된 모델 가중치만 공유하므로 데이터 유출 위험을 최소화합니다.
- FlexOlmo는 민감한 데이터 통제가 필요한 상황에 적합하며, 데이터 소스는 애플리케이션에 따라 활성화되거나 비활성화될 수 있습니다.
- 연구자들이 뉴스 전문가를 제거한 테스트에서 뉴스 관련 작업의 성능이 떨어졌지만 다른 영역의 결과는 안정적이었습니다.
- 최종 모델은 370억 개의 매개변수를 가지고 200억 개가 활성화됩니다.
- FlexOlmo는 31개의 작업에서 테스트되었으며, 평균적으로 공공 데이터로만 훈련된 모델보다 41% 향상된 성능을 보여주었습니다.
- FlexOlmo는 민감한 데이터가 있는 조직을 위해 차별적 프라이빗 훈련을 지원하며, 공식적인 프라이버시 보장을 제공합니다.
- 데이터 소유자는 훈련된 모델 가중치만을 공유하므로 데이터 유출 위험이 0.7%에 불과합니다.
4the-decoder.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.