Kodėl vienas „ChatGPT“ atsakymas nėra duomenys ir kiek jų iš tiesų reikia
Patikimas DI matomumo rodiklis prasideda nuo aiškiai apibrėžto klausimo, pakartojamo atrankos plano ir sąžiningo neapibrėžtumo įvertinimo, o ne nuo ekrano kopijos.
Vienas „ChatGPT“ atsakymas parodo, kas įvyko vieną kartą. Tačiau vien iš jo negalima spręsti, kaip dažnai pasirodo jūsų prekės ženklas, ar toks rezultatas įprastas ir ar matomumo pokytis iš tiesų egzistuoja. Komandoms, kurios teikia DI matomumo ataskaitas, svarbiausias klausimas yra ne vien tai, kiek atsakymų surinkti. Svarbu išsiaiškinti, kokiai visumai tie atsakymai turi atstovauti.
Pirmiausia apibrėžkite, ką laikote „vienu stebėjimu“
Matavimui reikia matavimo vieneto ir tikslinės visumos. Pavyzdžiui, galite įvertinti, kokioje dalyje atsakymų paminimas prekės ženklas, kai naudojamas nekintantis klientų klausimų rinkinys, atsakymai renkami nurodytą savaitę ir taikomas konkretus modelis bei metodas. Tai nėra tas pats, kas įvertinti prekės ženklo paminėjimo dalį visuose įmanomuose klientų klausimuose ar visuose atsakymuose, kuriuos galėtų matyti bet kuris „ChatGPT“ naudotojas.
Prieš rinkdami atsakymus užrašykite tyrimo apimtį: klausimų rinkinį ir formuluotes, rinką ar vietovę, modelį ir sąsają, datas, jei įmanoma, nustatymus ir paminėjimo, rekomendacijos ar citatos skaičiavimo taisykles. Išsaugokite visą atsakymą ir užkoduotą rezultatą. Be šių detalių, skirtingais ataskaitiniais laikotarpiais „matomumas“ gali reikšti ne tą patį.
Yra bent dviejų rūšių svyravimų
Pakartokite tą patį raginimą ir atsakymai gali skirtis. Pakeiskite formuluotę arba raginimų derinį ir gali kisti rezultatai, susiję su klausimais. Trečias svyravimų šaltinis – laikas: tarp duomenų rinkimo laikotarpių gali pasikeisti produktas, modelis, informacijos gavimo kontekstas ar pati informacija. Vieno atsakymo momentinė nuotrauka suplaka šias galimybes ir neleidžia nustatyti, kuri iš jų nulėmė rezultatą.
Viename tyrime nagrinėjama, kaip raginimo formuluotė ir stochastiškumas veikia LLM tikslumą konkrečiose užduotyse ir sąlygose. Kitame, atskirame atkuriamumo tyrime vertinamas „ChatGPT“ veikimas apskaičiuojant imties dydį. Šiuose tyrimuose analizuojamos konkrečios užduotys; jie nenustato universalaus bandymų ar raginimų skaičiaus, reikalingo prekės ženklo matomumui įvertinti. Raginimų kartojimas gali padėti apibūdinti surinktų atsakymų svyravimus, tačiau neparodo, kad raginimų rinkinys atspindi klientų poreikius.
Bandomosios imties dydį rinkitės pagal klausimą, į kurį reikia atsakyti
Nėra šaltiniais pagrįstos universalios ribos, kiek raginimų ar pakartotinių bandymų reikia DI matomumui matuoti. Pasirinkite bandomąją imtį pagal turimus išteklius ir tikslą, o jos rezultatus įvardykite kaip žvalgomąjį tyrimą. Raginimus sudarykite remdamiesi apibrėžta atrankos baze, pavyzdžiui, klientų klausimais, paieškos užklausų tyrimais, pardavimo ir pagalbos komandos vartojama kalba arba sąmoningai suskirstytu ketinimų ir rinkų rinkiniu. Didesnis skirtingų raginimų rinkinys gali aprėpti daugiau šios bazės nei keli rankomis atrinkti pavyzdžiai, tačiau jis reprezentatyvus tik tiek, kiek tinkama pati atrankos bazė ir atrankos procesas.
Iš anksto nuspręskite, ar matavimo vienetas bus atsakymas, ar raginimas. Skaičiuodami atsakymų lygmens rodiklį, nustatykite, kokioje dalyje visų surinktų atsakymų paminėtas prekės ženklas, į vardiklį įtraukdami ir pakartotinius bandymus. Skaičiuodami raginimų lygmens rodiklį, nustatykite, kokiai daliai skirtingų raginimų prekės ženklas pasirodė bent viename bandyme. Tai skirtingi matavimai: antrasis priklauso nuo bandymų skaičiaus ir jų rezultatų apibendrinimo taisyklės. Aiškiai nurodykite taikomą matavimą ir taisyklę, taip pat pateikite raginimų ir atsakymų skaičių.
Jei jūsų tinklas veikia keliose vietovėse, suplanuokite, kaip vietovės bus atrenkamos ar grupuojamos, užuot leidę kelioms didelėms rinkoms netyčia dominuoti. Sekite raginimų ID ir pakartotinius bandymus. To paties raginimo atsakymai sudaro grupę, todėl nėra nepriklausomi stebėjimai; be to, pakartojus raginimą nesurenkama tiek pat informacijos, kiek pateikus naują raginimą.
Kaip nuspręsti, ar reikia daugiau duomenų
Pirmiausia nustatykite sprendimo slenkstį. Jei komandai svarbu aptikti penkių procentinių punktų pokytį, įvertinkite, ar rodiklio neapibrėžtumas pakankamai mažas, kad padėtų priimti tokį sprendimą. Paprastam proporcijos įverčiui, kai taikoma nepriklausoma atsitiktinė atranka, NIST imties dydžio rekomendacijose pateikiamas standartinis skaičiavimas: darant prielaidą, kad proporcija lygi 0,5 (tai konservatyvi prielaida), ir pasirinkus 95 proc. pasikliovimo lygmenį, norint pasiekti penkių procentinių punktų paklaidą reikia maždaug 385 nepriklausomų stebėjimų. Tai orientacinis skaičiavimas, o ne DI matomumo duomenų imties dydžio rekomendacija.
Šiame skaičiavime daroma prielaida, kad stebėjimai nepriklausomi; jis savaime neatsižvelgia į grupėmis susijusius pakartotinius atsakymus, stratifikuotas grupes ar neatsitiktinai atrinktą raginimų rinkinį. Tokiems tyrimo planams reikia neapibrėžtumo vertinimo metodo, atitinkančio tai, kaip buvo atrinkti ir analizuoti raginimai bei bandymai. Netaikykite paprastos paklaidos formulės visų pakartotinių atsakymų skaičiui taip, tarsi kiekvienas atsakymas būtų nepriklausomas. Jei negalite tinkamai apskaičiuoti neapibrėžtumo, pateikite atsakymų skaičių, stebėtus rodiklius ir bandymų rezultatų svyravimus, bet nenurodykite įprastinės paklaidos ribos.
Praktiškai galima pagal atrankos planą pridėti raginimų ir bandymų, tada patikrinti, ar įvertis ir svarbių pogrupių rezultatai pakito tiek, kad pasikeistų jūsų išvada. Užfiksuokite šį patikrinimą ir imties ribotumus. Rezultatų stabilumas išbandytame raginimų rinkinyje neįrodo, kad jie stabilūs visoje platesnėje rinkoje.
Lyginkite panašius dalykus ir išsaugokite įrodymus
Lygindami laikotarpį prieš pokytį su laikotarpiu po jo, kiek įmanoma išlaikykite tą patį raginimų rinkinį, skaičiavimo taisykles ir duomenų rinkimo metodą. Taip pat užfiksuokite modelį ir sąsają, datą bei laiką, paskyros kontekstą, nustatymus ir žinomus duomenų rinkimo apribojimus. Pasikeitus modeliui, sąsajai, nustatymams ar duomenų rinkimo procesui, skirtingų laikotarpių rezultatai gali tapti nepalyginami, net jei raginimai nepasikeitė. Tokį pasikeitimą pažymėkite kaip laiko eilutės lūžį, užuot pateikę skaičius kaip tiesiogiai palyginamus.
Naudokite nuoseklias kodavimo taisykles. Iš anksto nuspręskite, ar pakanka atsitiktinio paminėjimo, ar prekės ženklas turi būti rekomenduojamas, kaip elgtis su dviprasmiškais pavadinimais ir konkrečiai vietovei skirtais atsakymais. Paprašykite antro vertintojo užkoduoti dalį atsakymų ir prieš teikdami ataskaitą išspręskite nesutarimus. Išsaugokite pirminius atsakymus, raginimų ID ir užkoduotus duomenis, kad analitikas galėtų atsekti, kokiais įrodymais pagrįstas pagrindinis skaičius.
Aiškiai nurodykite, ką pagrindžia šis skaičius
Tinkamai suplanuota imtis gali pagrįsti ribotą teiginį: šiame raginimų rinkinyje, esant konkrečiam modelio kontekstui ir duomenų rinkimo laikotarpiui, nurodyta dalis atsakymų paminėjo prekės ženklą pagal apibrėžtą kriterijų. Ji gali padėti komandoms apibūdinti nuosekliai stebimo rinkinio rezultatus, nagrinėti svyravimus ir nuspręsti, ką tirti toliau.
Tokia imtis negali nustatyti, ką mato kiekvienas naudotojas, paaiškinti, kodėl modelis pateikė būtent tokį atsakymą, įrodyti, kad pastebėtą pokytį sukėlė rinkodaros veiksmas, ar garantuoti būsimas rekomendacijas. Aiškiai nurodykite vardiklį, neapibrėžtumą pateikite tik tada, kai jis apskaičiuotas atsižvelgiant į atrankos planą, o stebėtus faktus atskirkite nuo interpretacijos. Taip DI matomumo rodiklis iš įtikinamai atrodančios ekrano kopijos tampa įrodymu, kurį kolega gali kvestionuoti ir vis tiek suprasti.
Šaltiniai
Matuojate prekės ženklą ar tinklą?
Kiekvienas patikrinimas išsaugo atsakymus ir šaltinius, todėl skaičių galima pertikrinti po kelių mėnesių, o ne tikėti juo.
Žiūrėti planus