Ghid pentru dezvoltatori pentru îndemnarea la lanțul de gânduri

Acasă » Piton » Ghid pentru dezvoltatori pentru îndemnarea la lanțul de gânduri

Îndemnarea la lanțul de gânduri (CoT) a trecut de la a fi o curiozitate în cercetare la unul dintre cele mai practice instrumente pe care dezvoltatorii le au la dispoziție pentru a determina modelele lingvistice mari să raționeze cu adevărat, în loc să ghicească doar cel mai probabil cuvânt următor. Prin solicitarea explicită a modelului să precizeze pașii intermediari, se obține o performanță mult mai bună la sarcinile matematice, logice și de luare a deciziilor, obținând în același timp o pistă transparentă pe care o puteți depana și audita.

Dacă construiți aplicații bazate pe LLM, agenţi sau copiloți și tot emiți doar solicitări pas cu pas, ratezi multă calitate. În acest ghid axat pe dezvoltatori, vom analiza ce este Lanțul Gândurilor, de ce funcționează, principalele variante (zero-shot, few-shot, Auto-CoT, auto-consistență, Arborele Gândurilor, de la cel mai puțin la cel mai mult, multimodal), cum se compară cu înlănțuirea prompturilor și cum se poate integra și monitoriza în sisteme reale folosind instrumente moderne.

De la răspunsul direct la raționamentul explicit

Majoritatea solicitărilor pe care oamenii le trimit unui master în masterat sunt „single shot”: pui o întrebare, modelul oferă un răspuns, fără întrebări, fără a arăta niciun raționament. Pentru ceva de genul „Ce culoare are cerul?”, este în regulă: modelul returnează pur și simplu „Cerul este albastru”. Nu există o structură vizibilă, nicio logică intermediară, doar o propoziție finală care sună corect.

Îndemnul la lanțul de gândire inversează acest tipar spunându-i modelului să narate pașii de raționament pe care îi urmează. Întrebați „De ce pare cerul albastru? Gândiți pas cu pas” și modelul ar putea desluși conceptul de „albastru”, ar putea vorbi despre modul în care lumina soarelui interacționează cu atmosfera, ar putea menționa împrăștierea Rayleigh și abia apoi ar putea afirma că lungimile de undă mai scurte ale razelor albastre sunt împrăștiate în toate direcțiile, astfel încât cerul ne apare albastru.

Tehnic vorbind, nu modifici ponderile modelului și nici nu îi oferi cunoștințe noi; modifici formatul calculului pe care i-l ceri să îl efectueze. În loc să comprimi analiza, raționamentul, calculul și răspunsul într-o singură trecere înainte, îi permiți să transmită o secvență de gânduri intermediare care se construiesc spre o concluzie.

În practică, acest lucru poate fi la fel de simplu ca adăugarea unei instrucțiuni precum „arată-ți raționamentul pas cu pas” sau „hai să rezolvăm sistematic” la sfârșitul solicitării. Această mică adăugire încurajează modelul să dezvăluie lanțul de stări intermediare care duc la rezultatul final, în loc să sară direct la un răspuns care doar pare plauzibil.

CoT facilitează, de asemenea, observabilitatea dramatic. Când modelul este greșit, adesea poți identifica pasul exact în care logica sa a deraiat, în loc să te holbezi la un număr greșit misterios sau la o decizie incorectă fără nicio explicație.

Decalajul dintre potrivirea tiparelor și raționamentul real

Masteranzii în drept sunt incredibil de buni la potrivirea tiparelor, deoarece sunt în esență mașini de probabilitate gigantice antrenate pe cantități uriașe de text. Întreabă-l: „Ce este mai greu, un kilogram de pene sau un kilogram de plumb?” și un model modern a văzut acest tipar de întrebări capcană de sute sau mii de ori; răspunde cu încredere că ambele cântăresc la fel.

Dar când pui o întrebare care necesită mai multe operații legate între ele, performanța se poate degrada rapid. Exemplu clasic: „Dacă 5 mașini au nevoie de 5 minute pentru a realiza 5 obiecte, cât timp le-ar lua 100 de mașini pentru a realiza 100 de obiecte?” Multe modele vor halucina cu răspunsul intuitiv, dar greșit, dacă nu sunt îndrumate cu atenție.

Problema principală nu este, de obicei, lipsa cunoștințelor, ci lipsa structurii. Raționamentul în mai mulți pași necesită implicit ca modelul să jongleze cu mai multe operații în secvență: să înțeleagă textul, să identifice ce se întreabă, să facă legătura cu relații sau formule relevante, să efectueze calcule și să formuleze un răspuns. Dacă ceri un răspuns imediat, practic îi ceri să comprime întregul flux de lucru într-o singură acțiune.

Îndemnarea la lanțul de gânduri îi oferă modelului „spațiu de gândire” prin transformarea acelei secvențe implicite în text explicit. Cercetările realizate de Google și alții au arătat că, atunci când le ceri modelelor să „își arate munca”, acuratețea la sarcinile de aritmetică, raționament de bun simț și manipulare simbolică crește considerabil în comparație cu răspunsurile directe.

Un experiment deosebit de frapant: atunci când cercetătorii au pus întrebări de matematică pentru clasele primare GPT-3, au răspuns corect la sub 20% dintre întrebări, cu sugestii simple. Când au schimbat pur și simplu solicitarea pentru a solicita un raționament intermediar, precizia a depășit 50%, iar adăugarea auto-consistenței a dus-o la mijlocul anilor '70. Aceleași ponderi, același model - doar o modalitate mai inteligentă de a pune întrebarea.

Tipuri principale de îndemnuri la lanțul de gândire

Dezvoltatorii au dezvoltat o serie de variante de CoT pentru a echilibra precizia, costul și complexitatea implementării. Veți vedea variante precum CoT cu zero lovituri, CoT cu puține lovituri, CoT automat (Auto-CoT), auto-consistență, Arborele gândurilor și îndemnuri de la cel mai puțin la cel mai mult, fiecare potrivită unor scenarii ușor diferite.

Lanțul de gânduri cu zero lovituri

CoT-ul zero-shot este opțiunea cea mai ușoară: nu oferi exemple, ci doar o instrucțiune de raționament. Expresii precum „Hai să gândim pas cu pas”, „Rezolvă asta cu atenție, pas cu pas” sau „Explică-ți raționamentul înainte de a răspunde” sunt factori declanșatori cunoscuți care activează comportamentele de raționament învățate ale modelului.

Empiric, această simplă modificare poate avea un impact uriaș. În ceea ce privește testele aritmetice, studiile inițiale au arătat că precizia crește de la aproximativ 10% la peste 40% doar prin adăugarea unei instrucțiuni pas cu pas. Calitatea raționamentului crește semnificativ fără a fi nevoie să construiești sau să întreții o bibliotecă de exemple.

CoT-ul zero-shot este excelent atunci când vrei o victorie rapidă în sarcinile de raționament general și îți pasă de latență și cost. Prompturile rămân scurte, așa că plătești pentru mai puține jetoane și mai puțin context, beneficiind în același timp de o interpretabilitate și o acuratețe substanțiale.

Dezavantajul este că modelul trebuie să-și inventeze propriul stil de raționament, care poate fi detaliat, inconsistent între domenii sau uneori ilogic, chiar și atunci când răspunsul final pare acceptabil. Pentru domenii specializate - finanțe, medicină, drept, decizii critice pentru siguranță - acest lucru nu este de obicei suficient.

Lanț de gânduri în câteva imagini

CoT cu câteva exemple adoptă o abordare mai bazată pe opinii: arăți exemplul modelului de perechi de întrebări și răspunsuri în care răspunsurile includ pași expliciți de raționament. După câteva astfel de demonstrații, adăugați întrebarea reală și lăsați modelul să imite tiparul.

Această abordare este extrem de puternică atunci când structura raționamentului valid contează cu adevărat. Pentru un instrument de analiză financiară, ați putea include exemple care parcurg calculele fluxului de numerar, ratele de actualizare și ajustările de risc. Pentru un robot de triaj medical, ați încorpora arbori de decizie clinică: simptome, istoric, semnale de alarmă, diferențe, apoi recomandări.

Compromisul este că CoT cu puține lovituri necesită un efort ingineresc prompt și serios. Trebuie să proiectați exemple clare și diverse, să vă asigurați că logica lor este corectă și reprezentativă și să le mențineți actualizate pe măsură ce evoluează constrângerile produsului sau domeniului. Solicitări mai lungi înseamnă, de asemenea, mai multe token-uri, costuri mai mari și o latență mai mare per apel.

Totuși, atunci când domeniul este sensibil sau complex, CoT cu puține lovituri de cap depășește de obicei performanța cu zero lovituri și este adesea valoarea de referință pe care o veți dori în producție. Obții mai mult control asupra stilului și profunzimii raționamentului și poți îndepărta modelul de tipare de gândire fragile sau irelevante.

Lanțul automat al gândurilor (Auto-CoT)

Crearea manuală a unor exemple bune de CoT nu este scalabilă bine, așa că cercetătorii au propus Lanțul Automat de Gândire (Auto-CoT) pentru a transfera cea mai mare parte a acestei munci înapoi pe model. Ideea este de a genera automat diverse lanțuri de raționament pe care le puteți reutiliza ca demonstrații.

Auto-CoT se desfășoară de obicei în două etape:

• Gruparea întrebărilor: Luați un set de date cu probleme, le încorporați (de exemplu, folosind un transformator de propoziții) și le grupați astfel încât întrebări similare să ajungă împreună.
• Eșantionare demonstrativă: Din fiecare grup, alegeți o întrebare reprezentativă și solicitați LLM-ului să genereze un lanț de raționament cu CoT zero-shot, folosind de obicei câteva euristici simple, cum ar fi „întrebări scurte cu ~5 pași de raționament”.

Rezultatul este o bibliotecă de exemple CoT generate automat, rezonabil de diverse, fără creare manuală. Când apare o nouă interogare, puteți prelua sau eșantiona demonstrații relevante din această bibliotecă și le puteți introduce în prompt ca exemple CoT cu câteva exemple.

Chiar dacă unele lanțuri generate automat vor conține mici greșeli, diversitatea și regăsirea datelor tind să atenueze impactul oricărui singur exemplu defect. În practică, Auto-CoT depășește adesea atât CoT-ul brut cu zero shot, cât și CoT-ul naiv cu puține shot-uri la testele de raționament, economisind în același timp mult timp uman.

Autoconsistență pe mai multe căi de raționament

Autoconsistența este o extensie avansată care schimbă puterea de calcul cu fiabilitatea. În loc să cereți modelului un singur lanț de raționament și un singur răspuns, eșantionați mai multe lanțuri independente (prin modificarea temperaturii sau a parametrilor de eșantionare), apoi agregați răspunsurile finale prin vot majoritar.

Intuiția este că există multe căi de raționament valide care duc la același răspuns corect, dar căile greșite adesea diverg. De exemplu, „15 − 3 + 8” ar putea fi calculat ca „12 + 8” sau „15 + 8 = 23, apoi scădem 3” sau „evaluăm de la stânga la dreapta”. Toate produc 20, dar un lanț întrerupt ar putea ajunge la 21. Dacă rulați mai multe eșantioane, răspunsul incorect tinde să fie depășit prin vot.

Pe teste de performanță precum GSM8K, suprapunerea autoconsistenței peste CoT a generat îmbunătățiri procentuale de două cifre în ceea ce privește precizia. Problema evidentă este că acum efectuați mai multe apeluri LLM per interogare de utilizator, ceea ce înmulțește atât latența, cât și cheltuielile cu token-urile cu numărul de eșantioane.

Din acest motiv, autoconsecvența este cea mai potrivită pentru sarcini de lucru cu miză mare: calcule financiare, raționament juridic, asistență pentru decizii clinice, verificări de siguranță. Pentru un chat bot ocazional, puterea suplimentară de calcul rareori se dovedește a fi suficientă, dar pentru un agent critic, fiabilitatea suplimentară poate merita fiecare milisecundă.

Arborele gândurilor: ramificare în loc de raționament liniar

Arborele gândurilor (ToT) extinde Lanțul gândurilor dintr-un singur lanț într-un arbore de căutare ramificat peste gânduri posibile. În loc să urmeze o singură cale de raționament de la început până la sfârșit, sistemul explorează mai multe opțiuni la fiecare pas, elimină ramurile slabe și continuă pe cele mai puternice.

Acest lucru este mai apropiat de modul în care ai aborda problemele combinatoriale sau de strategie în mintea ta. Gândești la câteva mișcări posibile, le explorezi parțial, le elimini pe cele care par fără ieșire și continui să extinzi direcții promițătoare până când ajungi la o soluție solidă.

În termeni de implementare, ToT coordonează de obicei multe apeluri LLM. La fiecare adâncime a arborelui, modelul propune următorii pași; un controler evaluează stările parțiale, poate folosind un alt LLM sau scor euristic, și alege ce ramuri să extindă. Demonstrațiile de cercetare au folosit ToT pentru a aborda jocuri puzzle, sarcini de planificare și ideație creativă cu rezultate semnificativ mai bune decât CoT simplu.

Compromisul este costul: s-ar putea să aveți nevoie de zeci de apeluri pentru o singură problemă. De aceea, ToT este cel mai bine rezervat pentru nișe în care explorarea amănunțită contează mai mult decât viteza - design complex, agenți de joc sau brainstorming în care profunzimea și diversitatea sunt obiectivele.

De la cel mai mic la cel mai mare îndemn

Îndemnurile de la cel mai mic la cel mai mare sunt o altă strategie avansată care împarte o problemă complicată în subprobleme mai simple, tratate secvențial. Mai întâi, îi ceri modelului să identifice sub-sarcina minimă pe care o poate rezolva; apoi, oferi soluția respectivă și ceri următoarea componentă cea mai complexă; și așa mai departe până când problema completă este rezolvată.

Acest model funcționează deosebit de bine pentru raționamentul compozițional. Gândiți-vă la interogări imbricate de structuri de date, algebră în mai mulți pași sau generare de cod pentru caracteristici complexe în care fiecare parte depinde de rezultatele anterioare. Prin forțarea unei descompuneri curate, reduceți sarcina cognitivă asupra modelului la fiecare pas și faceți ca traseul general al raționamentului să fie mai ușor de inspectat.

Lanțul gândurilor în sistemele agentive și cele care utilizează instrumente

CoT devine și mai valoros odată ce începi să construiești agenți care întreprind acțiuni, apelează instrumente și planifică pe parcursul mai multor etape. În loc să răspundă la o singură întrebare și să se oprească, aceste sisteme parcurg cicluri de gândire, acțiune și observare, actualizându-și planurile cu fiecare nouă informație.

Imaginează-ți un agent de asistență tehnică care răspunde: „Am comandat un pulover roșu marțea trecută, dar am primit unul albastru. Îl pot returna?” Un comportament rezonabil ar putea fi: înțelegerea problemei, găsirea comenzii, verificarea politicii de returnare, verificarea perioadei de returnare, stabilirea eligibilității și, în final, inițierea returului.

Cu o solicitare simplă, agentul ar putea răspunde rapid la „Sigur, iată o etichetă” sau „Nu, nu putem face asta”, pe baza unei potriviri rapide de tipar, omițând peste verificările cruciale. Cu Lanțul de gânduri, îl încurajezi să narate ceva de genul: „Mai întâi voi verifica comanda ta de marțea trecută, apoi voi verifica nepotrivirea articolului și a culorii, apoi voi verifica dacă te afli în fereastra de 30 de zile și apoi voi declanșa fluxul de returnare dacă ești eligibil.”

Acest lucru este apropiat de modelul ReAct (Reason + Act): agentul alternează între raționament intern („Trebuie să interoghez API-ul comenzilor”) și acțiuni externe (efectuarea apelului API), apoi integrează observațiile în următorul pas de raționament. Fiecare „gând” devine parte a următorului fișier pe care îl puteți înregistra, depana și analiza.

Pentru sistemele agentive, CoT nu este doar un avantaj; este adesea principalul instrument pentru fiabilitate, transparență și siguranță. Când ceva se defectează — un instrument greșit, un parametru greșit, o interpretare greșită — poți vedea de fapt unde a deviat agentul de la curs și poți corecta solicitarea, instrumentele sau politica în loc să ghicești în necunoscut.

Înlănțuirea prompturilor vs. lanțul gândurilor

Atât înlănțuirea prompturilor, cât și Lanțul gândurilor ajută la sarcini complexe, dar operează la niveluri diferite. Cu lanțul de prompturi, împarți un flux de lucru extins în mai multe prompturi separate, transmițând rezultatul unuia în următorul. Cu lanțul de prompturi, integrezi întregul proces de raționament într-un singur schimb de prompturi și răspunsuri.

Exemplu de înlănțuire a prompturilor: Analizarea unei cărți în trei pași - prima solicitare pentru un rezumat al intrigii, a doua solicitare pentru analiza temei folosind acel rezumat, a treia solicitare pentru o recenzie finală folosind ambele. Fiecare pas este o solicitare LLM separată cu propriile instrucțiuni.

Exemplu de lanț de gândire pentru o sarcină similară: Într-o singură solicitare, spui: „Mai întâi rezumați intriga, apoi identificați temele majore și încheiați cu o scurtă perspectivă critică. Gândiți-vă la fiecare etapă pas cu pas.” Modelul generează apoi propriul mini-flux de gânduri și răspunsul final dintr-o singură încercare.

În practică, sistemele reale combină adesea ambele: utilizează CoT în cadrul fiecărui pas înlănțuit pentru a îmbunătăți raționamentul și înlănțuie mai multe solicitări augmentate cu CoT pentru a orchestra fluxuri de lucru lungi. Principala diferență constă în faptul că înlănțuirea prompturilor structurează fluxul de lucru macro în mai multe apeluri, în timp ce Lanțul de gânduri structurează micro-raționamentul din cadrul fiecărui apel.

Lanțul de gândire multimodal

Pe măsură ce modelele multimodale se maturizează, Lanțul de gândire nu se mai limitează la text pur. CoT multimodal permite unui sistem să raționeze în comun pe baza textului, imaginilor și, eventual, a altor intrări, cum ar fi audio sau tabele, în timp ce își narătează pașii interni.

Fă o fotografie a unei plaje aglomerate și pune întrebarea „Pare acest loc popular printre turiști în acest moment?” Un model CoT multimodal ar putea nota în mod explicit numărul de umbrele, densitatea oamenilor, parcarea aglomerată și indicii de la ora din zi sau umbre, apoi ar putea argumenta că toate aceste semnale vizuale indică o popularitate actuală ridicată.

Prin explicitizarea raționamentului vizual, nu numai că obțineți o precizie mai mare, dar și decizii mult mai ușor de interpretat. Utilizatorii pot vedea pe ce elemente ale imaginii s-a concentrat modelul și pot identifica modurile de eroare, cum ar fi supraindexarea detaliilor irelevante.

Optimizarea lanțului de gândire la scară largă

Odată ce treci de la câteva demonstrații la trafic real, te afli în realitate: eficiența CoT depinde în mare măsură de sarcină, de actualizări de model și ghid de migrare, formularea și exemplele specifice pe care le oferi. Raționamentul bine scris poate duce în continuare la răspunsuri greșite, iar lanțurile de gândire detaliate pot consuma jetoane fără a adăuga prea multă valoare.

Pentru ca CoT să funcționeze în producție, aveți nevoie de o buclă de feedback care să urmărească mai multe dimensiuni simultan:

• Precizie finală: Răspunsul modelului corespunde adevărului de bază așteptat sau judecății umane?
• Calitatea raționamentului: Sunt pașii intermediari validi, consecvenți din punct de vedere logic și aliniați cu constrângerile domeniului?
• Coerența: Interogările similare produc raționamente și răspunsuri similare de-a lungul rulărilor și în timp?
• Eficiența tokenului: Câte jetoane cheltuiți per interogare și primiți suficientă calitate în schimb?

Verificarea manuală la fața locului pe câteva exemple nu este suficientă odată ce ai zeci de variante de prompt și sute de cazuri de testare. Aveți nevoie de o infrastructură care să poată versiona solicitările, să execute evaluări structurate și să vizualizeze urmele de raționament la scară largă.

Instrumentele de observabilitate special concepute pentru LLM-uri ajută în acest caz prin capturarea urmelor complete - prompt, model, raționament CoT, apeluri de instrumente, rezultat final - pentru fiecare solicitare. Platforme precum Opik, de exemplu, vă permit să înregistrați și să inspectați în detaliu lanțurile CoT, să comparați diferite versiuni de prompturi și chiar să utilizați configurații LLM-as-a-judge pentru a nota automat atât răspunsurile finale, cât și calitatea raționamentului.

Având aceste date la îndemână, puteți rafina treptat configurațiile CoT: ajustarea formulării, înlocuirea cadrelor zero cu cadre puține, reglarea sau regenerarea exemplelor cu Auto-CoT sau introducerea auto-consistenței doar acolo unde aceasta mișcă acul. Unele framework-uri se integrează chiar și cu biblioteci de optimizare, cum ar fi DSPy sau căutarea evolutivă, pentru a dezvolta iterativ prompturi mai bune pe baza metricilor de evaluare.

Rețineți că Lanțul Gândurilor costă aproape întotdeauna mai mult decât răspunsul direct: textul de raționament singur poate crește utilizarea token-urilor de 2-4 ori, autoconsistența multiplică acest lucru cu numărul de eșantioane, iar Arborele Gândurilor poate fi din nou cu un ordin de mărime mai scump. De aceea, doriți o monitorizare clară, ca să știți exact unde se dă roade acel buget suplimentar.

Pentru multe echipe, strategia pragmatică este pe niveluri: implicit, se folosește un CoT ușor cu zero încercări sau cu câteva încercări scurte, se escaladează la autoconsistență sau ToT doar pentru interogările marcate ca fiind de mare valoare, ambiguitate ridicată sau risc ridicat. Observabilitatea și evaluarea sunt cele care fac fezabilă acest tip de strategie dinamică.

Pe măsură ce experimentați cu CoT în propriile aplicații - fie prin solicitări rapide cu zero shot-uri, exemple cu puține shot-uri atent selectate, biblioteci Auto-CoT automatizate sau auto-consistență multi-eșantioane - cheia este să tratați raționamentul modelului ca o suprafață de produs de primă clasă. Fă-o explicită, înregistrează-o, evaluează-o și iterează pe baza ei și vei debloca un comportament mult mai fiabil, interpretabil și puternic din aceleași modele subiacente decât ai putea vreodată cu răspunsuri simple, dintr-o singură încercare.