여태까지 프롬프트에 대해 알게 된 것 - context, cot

대부분은 지시문 + 맥락으로 처리됨. (Instruction = 알고리즘, context = 데이터)

CoT는 중간 추론 단계를 넣어주는 기술임. AI에 사람의 추론을 더해 문제를 해결할 수 있음. 예를 들어 특정 문제를 해결하고 있지 못할 때 해당 문제를 해결할 수 있는 추론 과정을 더해줌으로써 막힌 부분을 풀어나감. 반대로 AI의 추론을 나의 사고 과정에 더해 문제를 해결할 수 있음. (인간 반, 인공지능 반)

대부분은 이 context랑 cot로 왠만한 문제는 해결할 수 있는 것 같다.

prefill 도 많이 쓰는데 결국 인공지능(LLM)이 이어 말하기 이기 때문에 내가 원하는 앞부분만 주석이나 약간의 코드 또는 문장을 넣고 완성 시킨다. (예: 깃허브 코파일럿)

물론 하다보면 어느 정도의 breakthrough를 하지 못하는 상황이 있다. 이 때는 새로운 신경회로를 연결하는 능력이 없이는 돌파하기 힘들듯. 경사하강법에 의한 최적화가 원리이기 때문이다. 결국 일반화 -> 특수화에서 새로운 방식을 발견해야 한다. 그 특수화를 하는 방법이 현재로서는 context와 cot이다. 나중에는 작은 모델이 앞에 하나 있어 강화학습과 비슷한 방식으로 새로운 신경망을 연결할지도 모른다. 그 때까지는 RAG나 파인튜닝으로 버텨야 하는건가? ㅎㅎ