개인 AI 에이전트는 이메일, 일정, 문서, 메모처럼 민감한 데이터를 다룹니다. 하지만 많은 시스템은 여전히 핵심 추론을 클라우드 모델에 의존합니다. OpenJarvis가 주목받는 이유는 이 기본값을 바꾸려 하기 때문입니다. 개인 AI를 클라우드 서비스가 아니라, 사용자의 기기에서 실행되는 시스템으로 다시 설계합니다.
OpenJarvis는 무엇인가
OpenJarvis는 온디바이스 개인 AI 에이전트를 만들기 위한 오픈소스 프레임워크입니다. 관련 논문은 2026년 5월 16일 arXiv에 제출됐고, 식별자는 2605.17172입니다.1
이 프로젝트의 핵심은 개인 AI를 하나의 거대한 프롬프트나 단일 모델로 보지 않는다는 점입니다. OpenJarvis는 개인 AI 시스템을 다음 5개 구성 요소로 나눕니다.1
Intelligence
Engine
Agents
Tools & Memory
Learning
각 구성 요소는 타입이 지정된 명세(spec)로 표현되며, 각 프리미티브는 독립적으로 편집 가능한 필드로 설계됩니다.1 즉, 모델만 바꾸는 접근이 아니라 실행 엔진, 에이전트 구조, 도구, 메모리, 학습 루프까지 함께 조정할 수 있는 구조입니다.
왜 단순한 “로컬 실행” 이상인가
로컬 모델을 클라우드 중심 에이전트에 그대로 끼워 넣는다고 해서 좋은 개인 AI가 되는 것은 아닙니다. OpenJarvis 논문은 클라우드 모델을 로컬 모델로 단순 교체할 경우, 개인 AI 작업에서 정확도가 25~39%포인트 하락한다고 설명합니다.1
그래서 OpenJarvis는 온디바이스 실행을 단순한 배포 방식이 아니라 시스템 설계 문제로 다룹니다. 평가 기준도 정확도 하나에 머물지 않습니다. OpenJarvis는 정확도, 비용, 지연시간을 기준으로 스택을 측정할 수 있게 합니다.1
개인 AI에서는 이 균형이 중요합니다. 가장 강한 모델을 쓰는 것만이 답이 아닐 수 있습니다. 자주 호출되는 작업이라면 비용이 낮아야 하고, 개인 데이터가 오가는 작업이라면 실행 위치와 데이터 통제권도 판단 기준이 됩니다.
Spec search: 클라우드는 보조하고, 실행은 로컬에서
OpenJarvis의 흥미로운 설계 중 하나는 LLM 기반 spec search입니다. 검색 단계에서는 클라우드 프론티어 모델이 명세 수정안을 제안할 수 있습니다.1 다만 모든 수정이 반영되는 것은 아닙니다. OpenJarvis는 성능이 후퇴하지 않는 수정만 수용합니다.1
중요한 점은 최종 명세가 추론 시점에는 온디바이스에서 실행된다는 것입니다.1 다시 말해 클라우드를 완전히 배제하기보다, 최적화와 탐색의 보조 도구로 활용하고 실제 개인 AI 사용의 중심은 로컬 기기에 두는 방식입니다.
이 구조는 현실적입니다. 당장 모든 작업을 로컬 모델만으로 처리하기 어렵더라도, 반복적으로 쓰는 개인 AI 워크플로는 점차 기기 안으로 옮길 수 있습니다.
어디에 먼저 적용할 수 있을까
OpenJarvis는 Ollama와 함께 로컬 모델 실행을 지원하며, 설치 후 jarvis 명령으로 시작할 수 있습니다.2 GitHub 저장소에는 아침 브리핑, 로컬 문서 기반 리서치, 코드 에이전트 같은 프리셋도 제공됩니다.3
실제로 볼 때 핵심 질문은 “클라우드를 완전히 없앨 수 있는가”가 아닙니다. 더 실용적인 질문은 “어떤 작업을 로컬 기본값으로 옮길 수 있는가”입니다.
우선 적합한 영역은 다음과 같습니다.
개인 문서 검색
일정과 메일 요약
반복 업무 자동화
로컬 파일 기반 리서치
호출 빈도가 높고 비용 민감도가 큰 작업
이런 작업은 데이터 민감도가 높거나 반복 호출이 많기 때문에, 로컬 실행의 장점이 더 분명해집니다.
OpenJarvis가 보여주는 변화
OpenJarvis의 의미는 하나의 도구 출시를 넘어섭니다. 개인 AI의 경쟁 기준이 “어떤 모델을 쓰는가”에서 “어디서 실행되는가”, “얼마나 빠르고 저렴한가”, “사용자가 데이터를 얼마나 통제할 수 있는가”로 넓어지고 있음을 보여줍니다.
클라우드 모델은 여전히 강력합니다. 하지만 개인 AI가 일상 업무와 민감한 데이터에 더 깊이 들어올수록, 모든 것을 클라우드로 보내는 방식은 점점 더 신중하게 검토될 것입니다. OpenJarvis는 그 대안으로 로컬 우선 개인 AI의 구조를 제안합니다.
1[2605.17172] OpenJarvis: Personal AI, On Personal Devices
2OpenJarvis: a local-first personal AI is now available to run with Ollama
3GitHub - open-jarvis/OpenJarvis: Personal AI, On Personal Devices
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.