AI 에이전트가 사용자를 대신해 수십 번의 웹 검색을 수행하고 정보를 종합하는 환경에서 가장 큰 병목은 검색 엔진의 응답 속도입니다. AI 검색 전문 기업 Perplexity는 이 문제를 해결하기 위해 자체 검색 및 순위 지정 엔진인 Perplexity Photon을 공개하고 모든 프로덕션 트래픽에 적용했습니다12.
Rust 언어로 처음부터 재설계된 Perplexity Photon은 기존 엔진의 고질적인 지연 시간 문제를 해결하며, 검색 인프라의 응답 속도와 서버 운영 효율성을 획기적으로 개선했습니다12. 동시에 개발자용 Perplexity Search API에 새로 추가된 Fast Search 모드의 핵심 기반으로 작동합니다13. 이번 변화가 구체적으로 어떤 기술적 구조 전환을 거쳤는지, 지연 시간 단축 뒤에 숨은 품질 트레이드오프와 실제 도입 시 판단 기준은 무엇인지 자세히 짚어봅니다.
기존 스택의 한계와 Perplexity Photon의 기술적 원리
Perplexity가 이전에 사용하던 검색 엔진 스택은 오픈소스 엔진을 포크하여 운영하는 방식이었습니다12. 하지만 데이터 규모가 계속 확장되면서 전체 인덱스가 메인 메모리(RAM) 용량을 초과했고, 디스크에서 데이터를 불러오는 과정에서 상시적인 페이지 폴트(Page fault)가 발생해 응답 지연을 유발했습니다2. 특히 주기적인 인덱스 병합 작업이 실행될 때마다 상위 99% 응답 지연 시간(p99 latency)이 기존 약 800ms에서 1.2초까지 치솟는 현상이 10분에서 15분간 지속되었습니다2. 장애 발생 시 신규 노드를 동기화하는 데 일주일 이상이 소요되는 운영상 부담도 컸습니다2.
Perplexity Photon은 이러한 고질적 성능 병목을 극복하기 위해 Rust 기반으로 독자 개발되었습니다12. 기술적 핵심은 인덱스 생성 및 병합 과정을 실시간 검색 요청 경로에서 완전히 분리한 점입니다2. 인덱스 빌드는 전용 노드에서 독립적으로 진행되며, 완성된 인덱스는 객체 스토리지에 저장된 후 서빙 노드 그룹으로 순차 배포됩니다2. 서빙 노드는 과거 검색 로그를 기반으로 웜업(Warmup) 단계를 거친 뒤 트래픽을 넘겨받기 때문에 인덱스 업데이트 중 발생하는 지연 시간 급증이 사라졌습니다2.
엔진 내부 알고리즘 및 데이터 구조 또한 하드웨어 효율을 최대로 끌어올리도록 설계되었습니다2.
포맷 인지 역인덱스(Format-aware inverted index): 단어별 문서 리스트의 길이에 따라 인라인 저장, 갈로핑(Galloping) 검색 알고리즘, 비트맵 방식을 다르게 적용하고 자주 함께 읽히는 리스트를 디스크에 인접 배치했습니다2.
압축된 순위 기록: 각 문서의 단어 빈도와 위치 정보를 엘리아스-파노(Elias-Fano) 인코딩으로 압축하여, 전체 레코드를 디코딩하지 않고도 빠르게 순위 점수를 계산합니다2.
비동기 일괄 I/O: 리눅스의 io_uring 인터페이스와 메모리 캐시를 결합하여 디스크 읽기 요청을 일괄 처리하고 대기 시간을 중첩시켰습니다2.
예산 기반 후보 선택: WAND 계열 알고리즘으로 문서별 점수 상한을 먼저 계산해, 자격 미달 후보를 사전에 제외함으로써 쿼리당 계산량을 제한했습니다2.
이러한 고도화를 통해 Perplexity Photon은 이전 서빙 노드 대비 약 20% 적은 수의 장비로 동일 트래픽을 처리하면서도, 문서당 약 2.5배 더 많은 데이터를 다룰 수 있게 되었습니다2.
지연 시간 12배 단축 성과와 검색 품질의 트레이드오프
Perplexity 발표에 따르면, 프로덕션 검색 엔진 레이어에서 Perplexity Photon의 p99 지연 시간은 기존 약 800ms에서 65ms로 단축되어 약 12배 이상의 속도 향상을 이루었습니다12.
이 엔진을 기반으로 제공되는 Perplexity Search API의 Fast Search 모드는 단일 검색 API 호출 기준 중앙값(p50) 160ms, 상위 95%(p95) 230ms 이하의 속도로 결과를 반환합니다23. 공개된 6개 벤치마크 평가 결과, Fast Search 모드는 연산량을 절감하여 작업당 모델 및 검색 비용을 기본 설정 대비 68% 줄이는 것으로 나타났습니다2.
| 측정 항목 | 기본 설정 (Default preset) | Fast Search 모드 | 차이 및 변화 조건 |
|---|---|---|---|
| API 지연 시간 (p50 / p95) | - | 160ms / 230ms | 단일 API 호출 기준23 |
| 프로덕션 엔진 p99 지연 시간 | 약 800ms | 약 65ms | Perplexity Photon 엔진 레이어 측정12 |
| 작업당 추정 비용 절감률 | 기준점 | 68% 절감 | 6개 공개 벤치마크 모델+검색 비용 기준2 |
| 관련성 점수 (Relevance DCG) | 2.45 | 2.21 | -0.24점 하락 (내부 평가 기준)2 |
| 정답 포함 비율 (Answer availability) | 59.6% | 56.7% | -2.9%p 감소 (내부 평가 기준)2 |
그러나 속도 최적화 과정에서 계산 자원을 줄인 만큼 검색 품질 측면의 트레이드오프가 명확히 존재합니다. Perplexity의 내부 회수 평가 데이터에 따르면, 관련성 평가 지표인 Relevance DCG 점수는 기존 2.45에서 2.21로 0.24점 하락했습니다2. 또한 검색 결과 내에 정답 정보가 포함된 비율(Answer availability) 역시 59.6%에서 56.7%로 2.9%p 감소했습니다2.
공개 벤치마크 종합 점수에서는 이러한 회수 품질 감소에도 불구하고 최종 작업 성공률이 크게 떨어지지 않았는데, 이는 검색 엔진 하단에 위치한 LLM(대형 언어 모델)의 추론 능력이 약간 부족한 검색 결과를 어느 정도 보완했기 때문입니다2. 다만 모호한 질의나 고급 재순위화(Reranking) 과정이 없는 단순 워크로드에서는 회수 품질 저하가 최종 결과물에 직접적인 영향을 미칠 수 있습니다2.
워크로드별 도입 판단 기준과 실무 검증 가이드
Perplexity Photon 기반의 Fast Search 모드는 모든 검색 환경을 무조건 대체하는 만능 솔루션은 아닙니다. 빠른 응답 속도가 최우선인 작업과 정교한 검색 결과가 필요한 작업을 구분하여 적용해야 합니다2.
다음과 같은 워크로드에서는 Fast Search 모드가 매우 유용합니다.
복잡한 에이전트 루프 및 멀티홉(Multi-hop) 연구: AI 에이전트가 단일 과제를 해결하기 위해 십수 번 이상의 검색을 연쇄적으로 호출하는 경우, 지연 시간과 비용의 누적을 대폭 줄여줍니다2.
자율 브라우징 및 넓은 범위의 데이터 수집: 모델이 수많은 웹페이지를 탐색하며 스스로 정보를 필터링하고 종합하는 워크로드에 적합합니다2.
별도의 재순위화(Reranker) 모델을 갖춘 RAG 시스템: 검색 엔진이 반환한 초기 후보군을 하단의 전용 재순위화 모델이 재정렬하는 구조라면, 회수 단계의 품질 감소를 충분히 보완할 수 있습니다2.
반면, 아래와 같은 조건에서는 기존 기본 설정(Default preset)을 유지하는 것이 유리합니다.
단일 호출 중심의 고가치 질의: 한 번의 검색으로 정확한 정답과 풍부한 맥락을 확보해야 하는 유저 직면 인터페이스2.
모호하거나 엄격한 인용이 필요한 질의: 출처의 정확도가 높아야 하며 정보 누락이 치명적인 법률, 의료, 학술 관련 검색 워크로드2.
개발팀이 Fast Search 모드 전환을 검토할 때에는 단순한 단일 API 요청 속도(ms)만 측정해서는 안 됩니다. 전체 에이전트 작업 단위(End-to-End)에서 p50, p95, p99 지연 시간 변화를 파악하고, 수집된 전체 토큰 수, 인용 정확도, 그리고 성공적인 과제 완료당 총 비용을 종합적으로 평가하는 실무 테스트를 먼저 수행하는 것이 권장됩니다2.
Perplexity Photon은 AI 검색 인프라가 단순한 오픈소스 재활용을 넘어, 저연차 레이턴시와 높은 동시성을 위해 저기능 시스템 언어로 직접 설계되는 기술적 전환점을 보여줍니다12. 빠른 속도와 비용 효율성이 가져오는 이점을 명확히 이해하고 검색 품질과의 트레이드오프를 서비스 특성에 맞게 조정하는 것이 성공적인 도입의 핵심입니다2.
참고
2Perplexity's Photon Slashes Search Latency by 12x for AI Agents | AlphaSignal
3Introducing Fast Search in the Perplexity Search API - Announcements - Perplexity API Platform Forum
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.