타입 제한 코드 생성과 언어 모델
- 제목: Type-Constrained Code Generation with Language Models
- 대형 언어 모델(LLMs)은 코드 생성에서 많은 성공을 거두었으나, 종종 컴파일되지 않는 출력을 생성함.
- 다음 토큰 추론 절차가 코드의 형식적 측면을 모델링하지 않아 발생하는 문제를 해결하기 위해 제한된 디코딩 접근이 유망함.
- 제한된 디코딩은 도메인 특화 언어 또는 범용 프로그래밍 언어의 구문적 특성을 처리하는 데만 적용되어 왔음.
- LLM이 자주 타입 오류가 있는 코드를 생성하는데, 이는 구문 범위 밖에 있으며 적절히 제한하기 어려움.
- 이를 해결하기 위해 타입 시스템을 활용하여 코드 생성을 안내하는 타입 제한 디코딩 접근을 소개함.
- 새로운 접두 자동자와 생활 가능한 타입 탐색을 개발하여 LLM이 생성한 코드의 타입 적절성을 강제하는 방법을 제공함.
- 단순 타입 언어를 기반으로 한 접근법을 형식화하고, TypeScript에 확장하여 실용성을 입증함.
- HumanEval 및 MBPP 데이터셋 평가에서 컴파일 오류를 절반 이상 줄이고 다양한 크기와 모델 계열에 대한 기능적 정확성을 향상시킴.
- 이 접근법은 타입 시스템의 공식 규칙을 적용하여 LLM 코드 생성에 대한 일반성과 효과성을 입증함.
4arxiv.org링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.