퍼플렉시티 Perplexity 검색증강생성 RAG비교 --(2)

검색증강생성 RAG 기술이 파운데이션 모델의 환각 듬뿍 담긴 답변을 해결하고, 토큰도 절약하고, 정확한 답변만을 골라서 해줄 것으로 기대하고있다.

물론 벡터임베딩의 폐해로 근거리가 가까운 키워드를 선택해서 엉뚱한 답변을 하는게 당연하다고 생각되지만, 파운데이션 모델이 스스로 모른다고하기 창피해서 사실조차 아닌 내용으로 상상력이 너무 뛰어난 답변을 만들어서 하는게 제일 문제이긴하다.

보통 RAG를 지원하는 방법, 툴을 만들어 연결해서 여러 번의 검증용 데이터를 사용하여 사실을 검증한다는 방식은 cohere의 command-r 모델을 통해 소개했다.

검색증강생성 RAG 기술의 대표처럼 이용하는 퍼플렉시티도 이전 기회때 API 코딩 기법을 잠깐 한번 소개했는데, 2024년 올해 SK텔레콤은 퍼플렉시티와 협정을 맺어 SKT 천만 고객 모두에게 곧 퍼플렉시티의 프로버전 라이선스를 일괄 제공하려고 하는 움직임이 있다. SKT 고객은 검색증강생성 RAG 기술을 바로 체험하며, 사용해 볼 수 있겠다. 필자는 검색증강생성 RAG 기술을 구현할 프로버전 사용자용 API 키를 제공해주는걸 원한다.

퍼플렉시티 2번째 시간에서는 cohere 모델 RAG 테스트에 사용했던 답변들로 비교해보려 한다.

맨 우측 2개 더보기 버튼을 누르면

글의 인용은 밑에 표시된다

일단 퍼플렉시티 프롬프트창에 아이브 안유진에 대해서 물어봤다.

나무위키, 티스토리 블로그, 위키피디아, 유튜브등 여러 소스에 대한 인용이 상단에 번호와 함께 표시된다.

아이브의 리더이자 메인보컬인 안유진은 다음과 같은 특징을 가지고 있습니다:

- 뛰어난 가창력: 넓은 음역대와 안정적인 발성으로 듣기 편안한 음색을 가지고 있다. 고음까지 소화할 수 있는 실력을 보유하고 있다. [3] 이건 티스토리 참조

- 탁월한 춤 실력: 긴 팔다리와 부드러운 춤선으로 안무를 시원하고 정확하게 소화해낸다. 다양한 그룹의 안무도 잘 소화한다.[2] 이건 나무위키 참조

- 리더십과 배려심: 나이에 비해 어른스러운 모습을 보이며, 멤버들을 잘 챙기고 이끌어 나가는 모습을 보인다.[2] 이건 나무위키 참조

- 다재다능한 올라운더: 보컬, 댄스, 랩, 비주얼, 예능 등 다방면에서 두각을 나타내는 멤버이다.[5]

이건 아이돌덕후에서 참조

- 강아지 같은 매력: 강아지와 관련된 다양한 별명을 가지고 있으며, 밝고 장난스러운 성격을 가지고 있다.[3]

종합적으로 안유진은 아이브의 핵심 멤버로서 뛰어난 실력과 리더십, 그리고 귀여운 매력을 겸비한 멤버라고 할 수 있다.[1][2][3][4][5]

일종의 종합 평가

Citations:

[1] https://namu.wiki/w/%EC%95%88%EC%9C%A0%EC%A7%84

[2] https://namu.wiki/w/%EC%95%88%EC%9C%A0%EC%A7%84/IZ%2AONE%20%ED%99%9C%EB%8F%99

[3] https://salem090.tistory.com/entry/%EC%95%84%EC%9D%B4%EB%B8%8C-%EC%95%88%EC%9C%A0%EC%A7%84

[4] https://ko.wikipedia.org/wiki/%EC%95%88%EC%9C%A0%EC%A7%84

[5] https://blog.naver.com/rokas885699/222871290859

인터넷 검색이 필요한 질문을 해봅니다.

아이브 리더도 누구인지 알아야하고, (장원영은 센터다!)

리더의 키도 검색해야하는 복합검색을 통한 응용 질문인

아이브 안유진의 키는 몇cm이지?

라는 질문에 여러군데 출처를 조사해서 173cm라는 정답을 바로 도출한다.

그런데, 나무위키, 유튜브등 전세계 지식기반 소스들을 뒤지는 인터넷 검색을 이렇게 빨리 한다고? 미리 인덱싱 안해놓으면 구글도 이렇게 빨리 찾지는 못할거 같은데...

cohere 모델 테스트때 "아이브 리더가 소속된 전 걸그룹 이름은 뭐야?" 라는 검색 질문처럼 동일한 질문을 여러 번 반복해서 계속 시험해보면 항상 <한국경제>만 검색하고, 참조하는 모습을 보여준다.

왜 그럴까? 물론 데이터가 검색되는 신문사는 중간에 동아일보도 있긴하다.

이건 이미 cohere측이 웹서칭 커스텀 커넥터용으로 <한국경제> 뉴스 페이지등을 웹 크롤링해서 특정 키워드 (안유진, 아이브, 리더)들에 대한 벡터임베딩 작업까지 다 해놨다는 뜻으로 볼 수도 있다.

벡터임베딩DB에서 해당 키워드가 들어간 벡터 검색을 해서 바로 답변을 찾아낸거겠지....

cohere의 경우는 웹서칭 1부터 9까지 참조했던 내용들을 JSON 파라미터 형태로 전부 일일이 제공해준다.

내용물을 다양한 방식으로 검증하고, 분석해볼 수 있다. 웹서칭 8~9개 결과값들을 입력 토큰으로 파운데이션 모델에게 먹이기 때문에 토큰값이 어마어마한 수준인 38,640 토큰이니 68,900 토큰등으로 빌링 옵션(billing)으로 찍히게된다.

cohere 커맨드R 모델에서도 걸그룹 <여자친구> 각 멤버들의 MBTI를 검색하라고하면 웹서칭 결과에 BTS 정국, 지민등의 멤버들의 MBTI 참조값이 여러 번 등장하는등 검색 신뢰도에서 문제가 생길만한 점이 보이긴한다.

BTS가 세계적으로 더 유명한 그룹이니 MBTI 조사에 대한 영문 버전등이 더 와이드하게 퍼져있었을거다. 참조 소스 보면 홍콩의 폰 액서서리 업체가 나오기도 한다. 벡터검색DB에 근사값으로 BTS의 MBTI가 필연적으로 등장할 수밖에 없다.

퍼플렉시티에 이미 해체된 걸그룹인 <여자친구>의 MBTI에 대해서 물어보았다.

신비는 가요프로에서 1등을 하면 다른 멤버들이 다 엉엉 우는동안 혼자 활짝 웃고있는 등 다른 MBTI를 가졌기에 비교하기도 좋아보인다.

일단 그룹 해체후 MBTI등이 방송에 소개될만한 멤버는 비비지 멤버들로 참조할 소스가 적어졌고, 보통 5년전인 2019년 조사결과등이 나오는등 데이터가 계속 신빙성이나 신뢰도가 희박해지고 있다.

사람은 성격도 바뀌기마련이다. MBTI가 혈액형처럼 바뀌지않고, 고정될 수는 없을것이다.

아래는 첫번째 검색 결과이다.

참조 소스에서

나무위키는..... 엇? 르세라핌이다???

퍼플렉시티도 마치 BTS 사례같은 전철을 밟는거같다.

참조소스 2번은 비비지의 엄지를 선택했다. 원래 나무위키에서 여자친구(아이돌) 항목의 엄지는 MBTI 검사 결과 INFJ 유형과 INFP 유형이 둘다 모두 나왔다.

이후 여타 방송에서는 계속 INFJ로 소개하는 것을 보아 본인은 INFJ에 더 가깝다고 생각하는 듯 하다는 코멘트가 추가로 달려있다.

이번시험에 사용한 퍼플렉시티는 일반 무료버전 형태로 프로버전도 아니고, 미스트랄 7B등 오픈소스 모델들을 조합해서 답변을 생성하는 거라 추론이 Claude3 OPUS처럼 정교하지않을 수 있다.

프로버전을 구독해야 비로소 GPT-4V나 Claude3 모델의 추론을 제공해주므로 한번 더 검증 테스트가 필요하긴하다.

나무위키, 위키피디아등은 계속 해마다 유저들에 의해서 최신 정보가 업데이트가 되기때문에 GPT-4 모델도 <gpt-4-turbo-2024-04-09> 처럼 새 모델이 나올 때마다 나무위키나 위키피디아를 새로 웹크롤링하고, 미세조정 학습을 하지않으면 아무리 좋은 RAG기술을 써도 응답에 오류가 섞여 나올 가능성이 있어 보인다.

벡터임베딩도 비용이 만만치않기때문에 ollama같은 로컬PC 모델에서 비용을 적게 들이고, 특정 도메인 영역(의료, 법률 , 재무 등)에 대한 데이터소스들에 대한 벡터임베딩을 수행해서 특정 도메인전용 벡터DB를 잘 만들어 두는 방법도 RAG기술을 잘 사용하는 방법 중 하나가 될 것이다.

UCA수퍼컴아카데미

ulsancoding.com

교육문의: 052-708-0001