llm 0.34: Markdown 로그로 응답 속도까지 확인한다
LLM은 원격 API와 로컬 모델을 하나의 인터페이스에서 다루는 CLI 도구이자 파이썬 라이브러리다. 프롬프트와 응답을 SQLite에 저장할 수 있어 이전 작업을 검색하고 분석하는 데도 활용된다.1
2026년 9월 2일 공개된 llm 0.34는 새로운 모델 지원보다 로그의 관찰성, 조회 성능, 오류 처리의 안정성을 개선하는 데 초점을 맞췄다.2 모델을 실행하는 것뿐 아니라 응답 속도를 측정하고 문제를 진단하는 과정까지 간결해진 업데이트다.
응답 시간을 로그에서 바로 비교
llm logs --usage의 Markdown 출력에는 응답 시간이 밀리초와 사람이 읽기 쉬운 형식으로 함께 표시된다. llm logs --short에도 duration_ms 필드가 추가됐다.2
덕분에 별도의 측정 코드를 작성하지 않고도 모델이나 설정별 지연 시간을 비교할 수 있다. 비용과 토큰 사용량에 응답 속도까지 결합해 확인할 수 있으므로, 실제 운영 환경에 적합한 모델을 선택하기가 쉬워진다.
긴 대화와 플러그인 처리 성능 개선
llm logs는 긴 대화 기록을 조회할 때 반복되는 메시지와 모델 조회 결과를 캐시하도록 변경됐다. 같은 정보를 계속 조회하는 작업을 줄여 로그 처리 성능을 크게 개선했다.2
동적으로 생성되는 OpenAI 옵션 클래스도 캐시한다. 데이터 검증에 사용하는 Pydantic 클래스를 반복해서 만들지 않기 때문에 llm-openrouter 같은 플러그인의 불필요한 작업도 줄어든다.2
오류는 짧고 명확하게, 추출은 더 안정적으로
잘못된 스키마 DSL을 llm prompt --schema에 전달하면 파이썬 트레이스백 대신 정리된 CLI 오류가 표시된다. 사용자는 내부 예외를 해석하지 않고도 입력 문제를 빠르게 파악할 수 있다.2
llm --extract는 CRLF 줄바꿈을 사용하는 응답에서도 펜스 코드 블록을 인식한다. 또한 monotonic_ulid()는 시스템 시계가 뒤로 이동하더라도 단조 증가 특성을 유지한다.2 자동화 과정에서 발생할 수 있는 경계 조건을 보완한 안정성 개선이다.
여러 기여자가 제공한 버그 수정도 이번 릴리스에 포함됐다.2 개별 변경은 작아 보일 수 있지만, 로그 분석과 CLI 기반 자동화를 자주 사용하는 환경에서는 진단 시간과 반복 처리 비용을 함께 줄여준다.
요약: llm 0.34는 Markdown 로그에 응답 시간을 추가하고, 긴 대화와 플러그인의 반복 처리를 줄이며, CLI 오류와 코드 추출의 안정성을 높였다. 업그레이드 후에는 duration_ms로 모델별 지연 시간을 비교하고 긴 로그의 조회 성능이 개선됐는지 확인해볼 만하다.
1LLM: A CLI utility and Python library for interacting with Large Language Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.