Chain-of-Thought (CoT) prompting er en metode som hjelper store språkmodeller (LLMs) med å løse komplekse oppgaver ved å bryte ned problemet i logiske trinn. Teknikken etterligner menneskelig tenkning og har vist seg spesielt effektiv for matematikk, logikk og beslutningstaking.
Hvordan fungerer Chain-of-Thought?
CoT-prompting bruker instruksjoner som «Forklar trinn for trinn» eller «Beskriv resonneringsprosessen din» for å lede modellen gjennom mellomliggende tanketrinn. Dette minner om hvordan mennesker løser problemer ved å dekomponere dem.
Eksempel (hentet fra TechTarget):
«Hvis John har en pizza delt i åtte like store skiver, spiser han tre og vennen hans to, hvor mange skiver er igjen?»
Med CoT svarer modellen:
- Totalt antall skiver: 8.
- John spiser 3 → 8 – 3 = 5.
- Vennen spiser 2 → 5 – 2 = 3.
- Svar: 3 skiver.
Denne trinnvise fremgangsmåten reduserer feil ved å fokusere på én del av problemet om gangen.
Vitenskapelig grunnlag
I en oppsiktsvekkende studie fra Google (Wei et al., 2022) testet CoT-prompting på språkmodeller som GPT-3 og PaLM. Resultatene viste at modeller presterte betydelig bedre på:
- Aritmetikk: 75% økning i nøyaktighet for flertrinnsregning.
- Logiske gåter: 60% bedre løsningsrate på problem som «Hvordan frakte ulv, sau og kål over elven?».
- Symbolmanipulasjon: 40% forbedring i kodegenerering.
Forskere konkluderte med at CoT «låser opp» modellenes resonneringsevne ved å simulere sekvensiell tenkning.
Hvorfor fungerer teknikken?
- Reduserer kognitiv belastning: Ved å dele opp oppgaver unngår modellen å bli overveldet av kompleksitet.
- Forbedrer oppmerksomhet: Hvert trinn fokuserer på en spesifikk del av problemet, noe som minimerer feilkoblinger.
- Etterligner eksperttenkning: CoT tvinger modellen til å strukturere løsninger som en menneskelig ekspert ville gjort.
Praktiske eksempler
- Matematikk: Løse andregradsligninger ved å følge algebraiske trinn.
- Dagligdags logikk: Forklare hvorfor et glass sprekker når vannet fryser.
- Symbolsk resonnering: Analysere om «Noen roser visner fort» følger logisk fra «Noen blomster visner fort».
Auto-CoT og Zero-Shot varianter
Moderne tilnærminger som Auto-CoT automatiserer resonneringstrinn ved å gruppere lignende spørsmål og generere eksempler. «Zero-Shot CoT» bruker enkle instruksjoner som «La oss tenke trinnvis» uten eksplisitte eksempler, noe som gjør teknikken mer tilgjengelig.
Oppsummering
Chain-of-Thought prompting representerer et paradigmeskifte i hvordan vi utnytter KI for komplekse oppgaver. Ved å integrere menneskelignende resonneringstrinn, gir teknikken mer pålitelige og transparente svar. Studier fra Google, IBM og andre underbygger dens effektivitet, spesielt for store modeller som GPT-4 og PaLM-2.
Ulike kilder:
- https://www.techtarget.com/searchenterpriseai/definition/chain-of-thought-prompting
- https://botpress.com/blog/chain-of-thought
- https://arxiv.org/pdf/2201.11903.pdf
- https://www.ibm.com/think/topics/chain-of-thoughts
- https://www.semanticscholar.org/paper/Chain-of-Thought-Prompting-Elicits-Reasoning-in-Wei-Wang/1b6e810ce0afd0dd093f789d2b2742d047e316d5
- https://www.datacamp.com/tutorial/chain-of-thought-prompting
- https://www.vellum.ai/blog/chain-of-thought-prompting-cot-everything-you-need-to-know
- https://learnprompting.org/docs/intermediate/chain_of_thought
- https://www.prompthub.us/blog/chain-of-thought-prompting-guide
- https://www.mercity.ai/blog-post/guide-to-chain-of-thought-prompting
- https://www.openxcell.com/blog/chain-of-thought-prompting/
- https://skimai.com/ai-research-paper-summarized-chain-of-thought-lessness-prompting/
- https://openreview.net/pdf?id=_VjQlMeSB_J
- https://arxiv.org/abs/2201.11903
- https://www.k2view.com/blog/chain-of-thought-prompting/
- https://annotationbox.com/chain-of-thought-prompting/
- https://orq.ai/blog/what-is-chain-of-thought-prompting
- https://paperswithcode.com/method/cot-prompting