LLM 워크플로우와 에이전트: Apache Airflow 시작하기

Apache Airflow 소개

• Apache Airflow에서 LLM을 다루기 위한 SDK 제공
• Pydantic AI 기반의 SDK로 데코레이터 기반 태스크 사용
• @task.llm, @task.llm_branch, @task.agent 확장 사용

시작하기

• 로컬 환경에서 예제를 실행하기 위한 방법 제공
• Airflow 인스턴스 설치 및 실행 예시 제공
• Astro CLI 설치 방법 안내
• 패키지와 필요한 종속성을 설치하는 방법 안내

기능

• @task.llm: 텍스트를 처리하기 위해 언어 모델 호출
• @task.agent: 사용자 정의 도구를 활용한 다중 단계 AI 논리 오케스트레이션
• 자동 출력 파싱: 함수 타입 힌트를 사용해 LLM 출력 파싱 및 검증
• @task.llm_branch: LLM의 출력을 기반으로 DAG의 제어 흐름 변경
• 다양한 모델 지원: OpenAI, Anthropic, Gemini 등

설계 원칙

• Airflow의 taskflow 패턴을 따르는 세 가지 데코레이터 제공
• 각 데코레이터에 대해 함수 입력을 LLM 입력으로 변환하는 번역 함수 제공

동기

• 점점 증가하는 AI 워크플로우의 유연한 오케스트레이션 필요성
• 10년 이상 신뢰받아온 Airflow의 강력한 기능 활용

예제

• DAG에서 LLM 호출 (Airflow의 커밋 요약)
• 구조화된 출력과 함께 LLM 호출 (@task.llm 사용)
• @task.agent를 사용한 에이전트 호출 (깊이 있는 연구 에이전트)
• @task.llm_branch를 사용한 DAG 제어 흐름 변경 (지원 티켓 라우팅)

향후 작업

• SDK의 기능 확장 및 개발 진행 계획