차등 프라이버시(Differential Privacy, DP)는 데이터에 한 사람의 정보가 추가되거나 바뀌어도 분석 결과가 크게 달라지지 않도록 제한하는 수학적 프라이버시 기준입니다. 하지만 실제로는 “이 알고리즘이 정말 주어진 DP 보장을 만족하는가”를 판단하는 일이 쉽지 않습니다. 민감도 계산, 노이즈 보정, 알고리즘의 가정과 증명 흐름까지 함께 확인해야 하기 때문입니다.
DPrivBench는 바로 이 판단 능력을 평가하는 벤치마크입니다. LLM에게 주어진 가정 아래 특정 함수나 알고리즘이 명시된 차등 프라이버시 보장을 만족하는지 묻습니다.1 따라서 단순히 DP 용어를 알고 있는지보다, 조건을 읽고 보장이 성립하는지 추론할 수 있는지를 봅니다.
DPrivBench가 평가하는 것: 공식 암기가 아니라 보장 검증
DPrivBench의 문제는 자연어와 LaTeX 형식으로 제공됩니다.2 이는 실제 논문, 기술 문서, 알고리즘 명세에서 DP 보장을 검토하는 방식과 가깝습니다.
핵심 설계 의도는 단순한 패턴 매칭을 어렵게 만드는 것입니다. DPrivBench는 폭넓은 DP 주제, 다양한 난이도, 단축 추론 방지라는 세 가지 원칙을 따릅니다.1 즉, LLM이 익숙한 공식이나 표현을 떠올리는 데 그치지 않고, 문제의 가정과 함수의 민감도, 노이즈 크기, 알고리즘 구조를 실제로 따져보는지 확인하려는 벤치마크입니다.
이 점에서 DPrivBench는 “LLM이 차등 프라이버시를 설명할 수 있는가”보다 더 실용적인 질문을 던집니다. “LLM이 주어진 DP 보장을 검증하는 데 도움이 될 만큼 정확하게 추론하는가”가 핵심입니다.
Category 1: 기본 메커니즘에서 추론의 기초를 본다
DPrivBench는 두 개의 트랙으로 구성됩니다. 첫 번째인 Category 1은 기본 차등 프라이버시 메커니즘을 다룹니다. 총 588개 문항이며, 6개 주제마다 98개 문항이 포함됩니다.2
Category 1의 주제는 다음과 같습니다.2
라플라스 메커니즘
Gaussian GDP
Gaussian zCDP
지수 메커니즘
Laplace Report-Noisy-Max
Permute-and-Flip
이 트랙의 초점은 비교적 명확합니다. 함수의 민감도를 계산하고, 그 민감도에 맞는 노이즈가 적용됐는지 판단하는 것입니다. 예를 들어 어떤 함수가 특정 민감도를 갖는다고 할 때, 해당 메커니즘이 요구되는 프라이버시 보장을 만족할 만큼 충분한 노이즈를 추가하는지 확인해야 합니다.
데이터 레코드도 이러한 검증 작업에 맞춰 구조화되어 있습니다. Category 1 문항에는 question_id, question, label, function_id, function, function_sens 같은 필드가 포함됩니다.2 즉, LLM이 문제 설명만 읽는 것이 아니라 함수와 민감도 정보를 바탕으로 판단해야 하는 형태입니다.
Category 2: 연구 수준 알고리즘을 읽고 판단한다
Category 2는 더 높은 난이도의 트랙입니다. 연구 문헌에서 가져온 LaTeX 기반 알고리즘 수준 문항으로 구성되며, 총 125개 문항을 포함합니다.2
이 트랙에서는 단일 메커니즘의 공식만으로 답하기 어렵습니다. 알고리즘이 어떤 가정을 두고 있는지, 여러 단계가 어떻게 결합되는지, 각 단계의 프라이버시 손실이 전체 보장과 어떻게 연결되는지를 살펴야 합니다. 따라서 Category 2는 실제 연구 논문에 제시된 DP 알고리즘을 검토하는 상황에 더 가깝습니다.
Category 1이 민감도와 노이즈 보정 같은 기초 추론을 평가한다면, Category 2는 알고리즘 수준의 조건 해석과 보장 검증 능력을 평가합니다. 두 트랙을 함께 보면 LLM이 기본 메커니즘을 다루는 수준에 머무르는지, 아니면 복잡한 DP 알고리즘까지 검토할 수 있는지 구분할 수 있습니다.
DPrivBench를 실무적으로 읽는 법
DPrivBench의 가치는 단순한 점수 비교에만 있지 않습니다. 이 벤치마크는 프라이버시 검증 자동화에서 LLM을 어디까지 신뢰할 수 있는지 판단하는 기준을 제공합니다.
실무 관점에서는 LLM을 최종 판정자로 두기보다 보조 도구로 사용하는 편이 안전합니다. 예를 들어 다음과 같은 용도로 활용할 수 있습니다.
함수의 민감도 계산 후보를 제안하기
노이즈 보정이 의심되는 지점을 표시하기
알고리즘 설명에서 필요한 가정이 빠졌는지 점검하기
DP 보장 검토 과정에서 사람이 확인해야 할 부분을 정리하기
DPrivBench가 던지는 메시지는 분명합니다. LLM이 차등 프라이버시 개념을 설명할 수 있다는 것과, 실제 보장을 안정적으로 검증할 수 있다는 것은 다릅니다. DPrivBench는 그 차이를 측정하기 위한 벤치마크이며, LLM을 프라이버시 검증 워크플로에 넣을 때 필요한 현실적인 기준점을 제공합니다.
1DPrivBench: Benchmarking LLMs' Reasoning for Differential Privacy
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.