감정 프롬프트 - LLM에게 감정적으로 호소하면 결과를 향상시킬 수 있다.
최근 발표된 논문(https://arxiv.org/pdf/2307.11760.pdf)에서 감정 프롬프트가 LLM의 성과를 향상시킬 수 있는 것으로 나타났다.
질문을 할 때 "내 경력에 매우 중요하다. (This is very important to my career)"와 같이 감정적으로 호소하는 프롬프트를 덧붙였을 때 작업의 성능이 8% 개선됐다고 한다.
내 생각
ChatGPT와 같은 LLM을 사용할 때 한 가지 유용한 지침이 있다. 그건 바로 "LLM이 성공할 수 있도록 도와라"이다. LLM 자체는 사실 방향성이 없다. 그래서 LLM 자체가 성공하도록 인간이 지침을 내려야 한다. instruction으로 사람이 방향을 주어야 하는 것이다. 예를 들어서 최선을 다하고 포기하지마라는 지침을 주면 LLM이 더 노력하게 된다.
감정 프롬프트도 이런 맥락에서 성능을 개선하는 것 같다. LLM 자체가 사람이 쓴 글을 바탕으로 학습이 되었기 때문에 어느 정도 감정이 반영된 것을 반영한다고 볼 수 있다. 예를 들어 "나 이 지식이 필요해 알려줄래?" 라는 질문과 "나 지금 이 지식이 정말 절실하게 필요한 상황인데 알려줄래?"의 질문에 대한 대답은 사람이 쓴 텍스트에서도 달랐을 것이다. 그렇기 때문에 이런 감정적인 요소가 들어가면 벡터 공간에서 찾아가는 위치도 다를 것이다.
그렇다고 모든 프롬프트에 감정적인 호소를 할 필요는 없을 것 같다. 하지만 나의 상황을 잘 녹여서 프롬프트를 쓴다면 더 좋은 결과를 낼 수 있다. 나도 많이 체험 했는데 문제 상황이 생겼을 때 그런 상황을 반영한 프롬프트를 쓰면 답을 더 잘 찾을 수 있었다. (지금 이게 해결이 안되는데 도와줘. 중요한 일이야.)
논문 요약
연구 배경 및 목적: 이 연구는 대규모 언어 모델(LLMs)이 감정적 자극을 이해하고 반응할 수 있는지를 탐구합니다. 연구팀은 다양한 LLMs를 사용하여 45가지 작업에 대한 자동 실험을 수행하고, 이를 통해 LLMs가 감정적 지능을 갖고 있으며 이를 감정적 프롬프트("EmotionPrompt")로 향상시킬 수 있다는 것을 보여줍니다. 예를 들어, 기존 프롬프트에 감정적 요소를 추가한 다음 "두 입력 문장에서 입력 단어가 같은 의미를 가지는지 판단하라."로 체크하는 것입니다. 예를 들어 "내 경력에 매우 중요하다"는 감정적 요소가 있습니다.
감정적 자극 디자인: 감정적 자극은 세 가지 잘 알려진 심리학적 현상에서 영감을 받아 설계되었습니다. 이들은 자기 모니터링(Self-monitoring), 사회인지 이론(Social Cognitive Theory), 인지 감정 조절(Cognitive Emotion Regulation)입니다. 이러한 감정적 자극에는 "답을 쓰고 답에 대한 확신 점수를 0-1 사이로 주세요", "이것은 내 경력에 매우 중요합니다"와 같은 구문이 포함됩니다.
표준 실험 및 결과: 표준 실험은 Instruction Induction 및 BIG-Bench 데이터셋의 45개 작업으로 구성되었으며, 이는 LLM의 다양한 인지 능력을 평가하는 데 도움이 됩니다. EmotionPrompt는 모든 LLM에서 Instruction Induction 작업의 성능을 8% 개선하고 BIG-Bench 작업에서 115% 개선하는 것으로 나타났습니다. 또한, EmotionPrompt는 few-shot 학습 설정에서 zero-shot 설정보다 더 큰 개선을 보였습니다.
인간 연구: 이 연구에서는 106명의 참가자를 대상으로 EmotionPrompt의 효과를 평가하기 위해 인간 연구를 수행했습니다. 이 연구는 LLM의 생성적 능력을 평가하고 성능, 진실성, 책임감의 측면에서 EmotionPrompt의 효과를 조사했습니다.
진실성과 정보성: EmotionPrompt는 TruthfulQA 벤치마크에서 진실성과 정보성 측면에서 모든 평가 모델의 성능을 향상시켰습니다. 평균적으로 진실성은 19%, 정보성은 12% 향상되었습니다.
추가 연구: 연구팀은 EmotionPrompt가 작동하는 이유, 더 많은 감정적 자극의 효과, 가장 효과적인 감정적 자극, EmotionPrompt의 성능에 영향을 미치는 요인들에 대한 추가 연구를 수행하였습니다
