Chain-of-Thought (CoT) prompting

Chain-of-Thought (CoT) prompting

Chain-of-Thought (CoT) prompting은 여러 단계의 추론 과정을 생성하도록 유도하여 언어 모델의 추론 능력을 향상시키는 기법입니다. 아래는 CoT prompting의 예시와 장단점에 대한 설명입니다.

예시:

문제: "3 x 4 + 5는 얼마인가요?"

• CoT prompting을 사용한 답변:

"한 단계씩 생각해봅시다."
"먼저 3과 4를 곱합니다. 그러면 12가 됩니다."
"다음으로 12에 5를 더합니다. 그러면 17이 됩니다."
"따라서 답은 17입니다."

문제: "한국에서 가장 높은 산은 어디인가요?"

• CoT prompting을 사용한 답변:

"한 단계씩 생각해봅시다."
"먼저 한국에서 유명한 산을 생각해봅시다. 지리산, 설악산, 금강산 등이 있습니다."
"그 중에서 가장 높은 산을 찾아보면 됩니다."
"한국에서 가장 높은 산은 한라산입니다."

이 예시에서는 CoT prompting을 사용하여 지리적인 문제를 해결합니다. 한국에서 가장 높은 산을 찾기 위해서는 먼저 가능한 후보 산들을 생각해봐야 합니다. 그리고 그 중에서 가장 높은 산을 찾아야 합니다. 이렇게 CoT prompting을 사용하면 모델이 문제를 해결하는 데 필요한 중간 단계를 생성하도록 유도하여 추론 능력을 개선할 수 있습니다.

CoT prompting의 장점은 복잡한 문제를 중간 단계로 분해하여 추론에 필요한 계산을 할당할 수 있으며, 생성된 중간 단계는 모델의 추론 과정을 이해하고 검증하는 데 도움이 됩니다. 또한 생성된 중간 단계는 새로운 지식을 학습하거나 기존의 지식을 수정하는 데 활용될 수 있습니다. 반면에, 생성된 중간 단계가 항상 정확하거나 일관되지 않을 수 있고, 생성된 중간 단계가 너무 많거나 적을 수 있습니다. 또한 생성된 중간 단계가 문제와 관련 없거나 불필요할 수 있습니다.

 

Midjourney prompt: cherry blossom