스탠포드 The AI Awakening - 1주차 요약

The AI Awakening: Implications for the Economy and Society

이 강의는 각 세션마다 AI, 경제학, 정부, 산업 분야의 저명한 연사들을 초청하여 다양한 주제를 탐구합니다. 예를 들어, 구글 전 CEO 에릭 슈미트, 버클리 교수 로라 타이슨, Scale AI 설립자 알렉스 왕, OpenAI의 미라 무라티, Anthropic 공동 설립자 잭 클락 등 다양한 전문가들이 자신의 통찰과 경험을 공유합니다.

강의의 주요 내용

이 강의는 "AI 각성"이라는 제목으로, 스탠퍼드 디지털 경제 연구소 소장인 에릭 브린졸프슨 교수가 주관하는 인공지능(AI)과 디지털 경제에 관한 강의입니다. 이 강의는 인공지능이 경제와 사회에 미치는 영향을 탐구하고, 앞으로의 변화를 준비하는 데 목적을 두고 있습니다. 원래 스탠퍼드 대학의 대학원 수업으로 개발된 이 강의는 경제학(Econ 295)과 컴퓨터 과학(CS 323) 과목으로 공동 등록되었으며, 다양한 학문적 배경을 가진 학생들에게 큰 인기를 끌었습니다.

1. AI와 미래의 일자리: AI가 일자리와 고용에 미치는 영향에 대해 논의합니다.

2. 디지털 경제 측정: 디지털 경제의 성장을 측정하고 분석하는 방법을 다룹니다.

3. 디지털 플랫폼과 사회: 디지털 플랫폼이 사회에 미치는 영향을 탐구합니다.

4. 기술적 기반: 기초 모델과 대형 언어 모델의 기술적 기반을 설명합니다.

5. 모델 편향성과 설명 가능성: AI 모델의 편향성과 설명 가능성에 대해 논의합니다.

6. AI의 지리정치적 함의: AI가 국제 정치와 경제에 미치는 영향을 분석합니다.

7. 일이 없는 세상: 미래의 일에 대한 새로운 비전을 제시합니다.

1주차 - Gen AI의 기술적 기초

연사 : Jack Clark(Anthropic의 공동 설립자), Mira Murati(OpenAI의 CTO), Alexandr Wang(Scale AI의 설립자)

Jack Clark

생성 AI의 발전

생성 AI는 많은 데이터를 학습하여 확률 분포를 모델링하고, 이전에 본 적 없는 데이터를 생성할 수 있습니다. 이러한 모델은 순차 데이터에서 장기 의존성을 캡처하여 더 나은 예측을 수행합니다. 예를 들어, 2018년에 도입된 트랜스포머 아키텍처는 생성 AI의 큰 발전을 가능하게 했습니다. 이를 통해 GPT-2와 GPT-3 같은 대형 모델이 등장하게 되었으며, 이 모델들은 인간과 구별할 수 없는 출력물을 생성하는 능력이 크게 향상되었습니다​​.

트랜스포머 아키텍처는 병렬 처리를 통해 대규모 데이터 학습을 가능하게 하며, 이는 모델의 성능을 크게 향상시킵니다. 예를 들어, GPT-2는 15억 개의 파라미터를 가지고 있었으나, GPT-3는 1750억 개의 파라미터를 가지고 있어 훨씬 더 복잡한 언어 모델링을 수행할 수 있습니다. 이러한 발전은 AI의 언어 처리 능력을 크게 향상시켰으며, 이는 다양한 응용 분야에서 큰 잠재력을 가지고 있습니다.

Jack Clark와 AI 안전 및 정책

Jack Clark는 AI 안전 및 연구 회사인 Anthropic의 공동 창립자입니다. 이전에는 OpenAI의 정책 디렉터로서 AI 정책 개발에 기여했으며, Bloomberg에서 신경망 기자로 활동한 경험이 있습니다. 그는 또한 Import AI라는 AI 뉴스레터를 운영하고 있으며, 스탠포드의 AI Index에서 공동 의장을 맡고 있습니다. Jack은 AI의 최근 발전에 대해 이야기하며, 이러한 발전이 AI 안전과 연구에 미치는 영향을 강조했습니다​​. 그는 특히 AI 기술이 사회에 미치는 영향과 이를 관리하는 방법에 대해 깊은 관심을 가지고 있으며, AI 정책 개발의 중요성을 강조했습니다.

언어 모델의 독특한 관점: ALIENS

Jack Clark는 AI 언어 모델을 이해하는 데 있어 'ALIENS'라는 독특한 관점을 제시했습니다. 이는 언어 모델, 특히 ChatGPT와 GPT-4가 인간과는 다른 방식으로 현실을 예측하고 처리하는 기계임을 강조하는 개념입니다. AI 시스템은 인간과 다른 방식으로 데이터와 패턴을 이해하고 처리합니다. 예를 들어, DeepMind의 강화 학습 에이전트가 인간보다 더 나은 방식으로 플라즈마를 제어한 사례를 들며, AI 시스템이 인간이 할 수 없는 방식으로 최적화를 수행할 수 있음을 강조했습니다​​. 이러한 관점은 AI 시스템의 한계와 가능성을 이해하는 데 중요한 시사점을 제공합니다.

Claude와 다른 언어 모델의 비교

Claude는 ChatGPT와 유사한 언어 모델로, 각기 다른 성격을 가지고 있습니다. 예를 들어, Claude는 같은 문장을 입력했을 때 공화당과 민주당 관점에서 다른 반응을 보일 수 있습니다. 이는 언어 모델이 다양한 컨텍스트와 이데올로기적 틀을 반영할 수 있는 능력을 보여줍니다​​. 이러한 특성은 언어 모델이 인간의 언어와 사고를 모방하는 능력을 향상시키는 데 중요한 역할을 합니다. 또한, Claude는 유머를 생성할 수 있는 능력과, 위험한 요청에 대해 윤리적으로 대응하는 모습을 시연했습니다. 이는 AI 시스템이 때때로 예측하지 못한 방식으로 작동할 수 있음을 보여줍니다.

시각적 예시와 AI의 발전

AI의 시각적 예시는 AI 기술의 발전을 시각적으로 이해하는 데 큰 도움이 됩니다. 2015년에는 매우 낮은 품질의 이미지 생성에서 시작해, 2022년의 DALL-E2 시스템과 같은 높은 품질의 이미지 생성을 가능하게 한 발전 과정을 설명했습니다. 초기에는 매우 낮은 품질의 이미지에서 시작했지만, 현재는 고품질의 이미지 생성이 가능하게 되었습니다​​. 예를 들어, 2015년에는 32x32 픽셀의 매우 낮은 해상도의 이미지가 생성되었으나, 2022년에는 두 테디베어가 스팀펑크 스타일로 화학 세트를 가지고 노는 장면을 매우 정밀하게 생성할 수 있게 되었습니다. 이러한 발전은 AI의 시각적 인식 능력이 급격히 향상되었음을 보여줍니다.

Mira Murat

OpenAI와 Mira Murati의 기여

Mira Murati는 OpenAI의 최고 기술 책임자(CTO)로, OpenAI의 핵심 목표는 인공지능(Artificial Intelligence, AI)이 인류 전체에 이익을 가져오는 것입니다. OpenAI는 2015년에 설립된 AI 연구 및 배포 회사로, 인공지능 기술을 통해 인간의 삶을 향상시키기 위해 노력해왔습니다. OpenAI는 ChatGPT, DALL-E, Codex와 같은 혁신적인 AI 애플리케이션을 개발했습니다. 이러한 애플리케이션은 자연어 처리(NLP), 이미지 생성, 코드 자동화 등 다양한 분야에서 AI의 가능성을 보여주고 있습니다​​.

강화 학습의 발전

강화 학습은 AI 기술의 중요한 부분을 차지하며, Atari 게임에서 시작해 전략 게임, 최신 GPU 설계에 이르기까지 다양한 분야에서 큰 성과를 내고 있습니다. 2013년에는 DeepMind가 Atari 게임을 플레이할 수 있는 AI 시스템을 개발했으며, 2016년에는 세계 최고의 바둑 기사인 이세돌을 이긴 AI 시스템을 선보였습니다. 2019년에는 OpenAI와 DeepMind가 Dota 2와 Starcraft와 같은 전략 게임에서 인간을 능가하는 AI 시스템을 개발했습니다. 2020년에는 미국 공군 조종사가 시뮬레이터에서 강화 학습으로 훈련된 AI에 패배하는 사례도 있었습니다​​. 이러한 사례들은 강화 학습의 놀라운 발전을 보여줍니다.

Alexandr Wang

인공지능과 인간의 협력: AI의 발전과 그 원리

인공지능(AI)의 발전은 인간의 데이터와 상호작용을 통해 이루어집니다. 이 과정에서 데이터 중심 인프라를 제공하는 Scale AI의 CEO인 알렉산드르 왕(Alexandr Wang)은 AI 모델을 개선하는 데 있어 인간의 피드백을 활용하는 기법인 RLHF(인간 피드백을 통한 강화 학습)의 중요성을 강조합니다​​. 이는 AI가 단순히 다음 단어를 예측하는 것 이상의 언어 이해와 작업 수행 능력을 갖추게 하기 위해서입니다.

AI의 실제 적용 사례

예를 들어, GPT-4는 반려동물의 질병을 진단하는 보조 도구로 사용되었고, 시각 장애인을 위한 Be My Eyes 프로젝트에서는 이미지 설명을 제공하여 가상 지원을 확대하는 데 기여했습니다​​. 이러한 사례들은 AI가 인간의 능력을 보완하고 확장할 수 있는 잠재력을 보여줍니다.

데이터와 학습의 중요성

AI 모델의 능력은 인간이 생성한 데이터에 의해 결정됩니다. AI 모델은 자체적으로 지식을 생성할 수 없으며, 방대한 데이터를 통해 학습합니다​​. 예를 들어, OpenAI는 많은 개발자를 고용하여 RLHF를 통해 코드 모델을 개선하고 있습니다. 이는 모델의 성능 향상을 위해 인간과 AI의 협력이 필수적임을 보여줍니다.

미래를 예측하는 '미지의 미지수'

미래의 AI 발전은 예측할 수 없는 돌파구에 의해 좌우됩니다. 최근의 AI 혁신은 대부분의 예상을 뛰어넘었으며, 이는 인간의 창의성과 끈기에서 비롯됩니다​​. 예를 들어, ChatGPT의 등장과 같은 혁신은 AI 기술이 일상 생활에 널리 보급되는 계기가 되었습니다.

효율적인 학습 방법과 RLHF

자기 지도 학습은 비효율적인 학습 방법으로 간주되지만, 대량의 데이터를 사용하여 기본적인 이해를 제공합니다. 반면, RLHF와 같은 기법은 인간의 피드백을 통합하여 모델을 더욱 효율적으로 개선합니다​​. 이는 모델이 스스로 데이터를 생성하고 학습하는 과정을 통해 더 나은 성능을 발휘하게 합니다.

예측에서 이해로: GPT 모델의 발전

OpenAI는 다음 단어를 예측하는 단순한 작업에서 시작하여 언어 이해와 추론 능력을 갖춘 모델로 발전시켰습니다. 예를 들어, GPT-2와 GPT-3는 주어진 예제의 수에 따라 성능이 향상되었으며, GPT-4는 다양한 시험에서 높은 점수를 기록했습니다​​. 이러한 발전은 AI가 더 복잡한 문제를 해결하고 인간과 상호작용하는 데 중요한 역할을 할 수 있음을 시사합니다.