메타 라마 3.1 공개 - GPT-4o, Claude 3.5 Sonnet 등과 경쟁할 수 있는 가장 큰 오픈 모델
메타에서 라마 3.1 405B를 공개했다. 4050억개의 파라미터로 가장 큰 LLM 이다. 405B와 함께 업그레이드 된 8B, 70B를 같이 내놓았다. 컨텍스트 길이는 사람들의 추측대로 128K로 늘어났다. 성능은 GPT-4o 및 Claude Sonnet 3.5와 전혀 비교해도 손색이 없을 정도이다. 또한 다국어를 지원한다.
Llama 3.1 405B 모델은 GPT-4o 등 폐쇄형 모델보다 약 50% 적은 비용으로 동작할 수 있어 경제적이다.
또한 Llama Stack 이라는 인터페이스를 만들기 위해 노력하는 것 같다. 이를 통해 개발자들이 커스텀 에이전트나 에이전틱 행동을 만드는 것을 돕는다.
AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud, Snowflake 등 많은 파트너사들과 함께 에코시스템을 지원한다.
Llama 3.1 405B는 미국에서 왓츠앱을 통해 사용하거나 meta.ai 에서 사용할 수 있다. 이 서비스들은 아직 한국에서 지원하지 않는다.
대신 여러 클라우드 업체와 협력하고 있으니 API 등을 활용해 이용할 수 있다.
테스트 해보려면 허깅챗에서 8비트 양자화 모델을 사용하면 된다. HuggingChat
LLama 3.1
라마의 새로운 세대가 모델링에 있어 새로운 패러다임을 제시할 수 있다. 합성 데이터(synthetic data generation)나 모델 증류(model distillation) 기법을 발전시켰다.
개발자들이 405B를 포함하여 나온 결과를 다른 모델들을 향상시키는데 사용할 수 있다.
오픈소스의 취지에 걸맞게 다음과 같은 사이트에서 다운로드 받을 수 있다. Llama 3.1 와 Llama 3.1 - a meta-llama Collection 이다.
8B와 70B도 업그레이드 되었다. 128K 컨텍스트 길이는 긴 형태의 텍스트 요약, 여러 언어를 구사하는 에이전트와 코딩 어시스턴트를 구현하는데 좋다.
모델 평가
150개의 벤치마크 데이터셋을 활용해 성과가 측정되었다. 405b 플래그십 모델의 경우 GPT-4, GPT-4o, Claude 3.5 Sonnet 과 같은 최신 파운데이션 모델과 경쟁할 수 있을 정도이다.
15개의 측정 항목 중 7개 항목에서 최고 성능을 기록했다. 다른 SOTA 모델들의 최고 성능과도 큰 차이를 보이지 않는다.
또한 작은 모델들은 동급의 개방형 및 폐쇄형 모델에 대해 경쟁력이 있다.
거의 대부분의 영역에서 이기고 있다.
모델 구조
405B를 15조 토큰으로 훈련했다. 16000개의 H100 GPU를 사용했다.
또한 16비트 (BF16) 를 8비트 (FP8)으로 양자화하여 단일 노드 서버에서 돌릴 수 있도록 했다.
라마 시스템
안정성을 높이기 위해 다국어 안전 모델인 라마 가드 3를 탑재했다. 또한 프롬프트 인젝션 필터인 프롬프트 가드도 적용했다.
라마 시스템의 구성 요소 구현은 아직 분산되어 있다. 그래서 meta는 구성 요소의 인터페이스를 더 잘 정의하기 위해 Github에 Llama Stack에 대한 의견 요청 (Request for comment, RFC)를 요청한다. Llama stack 은 툴체인 컴포넌트 (파인 튜닝, 데이터 합성), 에이전틱 애플리케이션을 위한 표준을 제공하려는 노력이다. 이렇게 인터페이스를 구축하여 생태계 전반에 채택되어 상호 운용성을 제공하는 것을 목표로 한다.
사용해 보기
나의 경우 azure ai 스튜디오를 통해 사용.
한글의 데이터도 비교적 잘 처리한다.
If Jane has 23 cats and I have 2 cats, and then Jane gives me 5 cats, how many more cats does Jane have than I?
정답입니다. 좀 더 어려운 문제를 해볼까요?
Rhonda has 12 marbles more than Douglas. Douglas has 6 marbles more than Bertha. Rhonda has twice as many marbles as Bertha has. How many marbles does Douglas have?
Let's denote the number of marbles Bertha has as x.
Rhonda has twice as many marbles as Bertha, so Rhonda has 2x marbles.
Douglas has 6 marbles more than Bertha, so Douglas has x + 6 marbles.
Rhonda has 12 marbles more than Douglas, so 2x = x + 6 + 12.
Simplifying the equation, we get 2x = x + 18.
Subtracting x from both sides, we get x = 18.
So Bertha has 18 marbles, Rhonda has 36 marbles, and Douglas has 18 + 6 = 24 marbles.
The answer is 24.
정답입니다.
make a digital product and its marketing description.
Sure! Here is a digital product and its marketing description:
Product Name: "Dreamscape Planner"
Product Type: Digital Planner and Goal Setting Tool
Description: Unlock your full potential with the Dreamscape Planner, a comprehensive digital planner and goal setting tool designed to help you achieve your dreams and live a more fulfilling life.
With the Dreamscape Planner, you'll be able to:
Clarify your values and passions
Set and prioritize your goals
Create a personalized vision board
Break down big goals into actionable steps
Track your progress and celebrate your successes
Reflect and adjust your plan as needed
This beautifully designed digital planner includes:
12 monthly spreads with space for notes and reflection
4 quarterly review sections to track your progress
20+ templates for goal setting, vision boarding, and mind mapping
A comprehensive guide to getting started with your planner
Marketing Description:
"Are you tired of feeling stuck and unsure of how to achieve your dreams? Do you struggle to stay organized and focused on your goals? The Dreamscape Planner is here to help. This powerful digital tool is designed to help you clarify your vision, set achievable goals, and take consistent action towards making your dreams a reality.
With its beautiful design and intuitive layout, the Dreamscape Planner is the perfect tool for anyone looking to take control of their life and achieve their goals. Whether you're a busy professional, a stay-at-home parent, or an entrepreneur, this planner is designed to help you succeed.
So why wait? Download the Dreamscape Planner today and start living the life you've always dreamed of!"
Target Audience: Women and men aged 25-45, interested in personal development, goal setting, and productivity.
Pricing: $29.99 (digital download)
Additional Features:
Instant download and access to the planner
Compatible with iPad, iPhone, and computer
Can be printed out for those who prefer a physical planner
Free updates and bonuses for customers
I hope this helps! Let me know if you have any questions or if you'd like me to elaborate on any of the features.
굉장히 상세하게 마케팅 설명을 적어주네요.
이번에는 한글로 프롬프트를 해보겠습니다.
하나의 디지털 제품을 만들고 마케팅 설명을 써줘. 응답은 한글로.
디지털 제품: "Dream Journal Ultimate"
마케팅 설명:
당신의 꿈을 기록하고 분석하여 잠재된 능력을 깨닫는 데 도움이 되는 혁신적인 디지털 제품입니다. "Dream Journal Ultimate"은 사용자 친화적인 인터페이스와 고급 분석 기능을 제공하여 사용자가 자신의 꿈을 쉽게 기록하고 관리할 수 있도록 도와줍니다.
기능:
사용자 맞춤형 꿈 일기장: 사용자가 자신의 꿈을 기록하고 사진, 비디오, 오디오 파일을 첨부할 수 있습니다.
고급 분석 기능: AI 기반의 분석 기능으로 사용자의 꿈을 분석하여 반복되는 주제, 상징, 감정을 파악합니다.
맞춤형 추천: 사용자의 꿈을 분석하여 관련된 책, 영화, 음악을 추천합니다.
커뮤니티 기능: 사용자가 다른 사용자와 꿈을 공유하고 토론할 수 있습니다.
" Dream Journal Ultimate"을 사용하면 당신의 잠재된 능력을 깨닫고 인생의 목표를 달성할 수 있습니다. 지금 다운로드하여 당신의 꿈을 기록하고 분석하세요!
한글의 경우도 잘 다루는 편입니다.
참고
메타 블로그 : Introducing Llama 3.1: Our most capable models to date
마크저커버그의 공개 서한 : Open Source AI Is the Path Forward | Meta
