Kā padarīt AI redzamības mērījumu pietiekami reproducējamu, lai par to varētu diskutēt
Pamatots AI redzamības rezultāts sākas ar nemainīgu protokolu, izsekojamu izlasi un apgalvojumiem, kas nepārsniedz pierādījumu robežas.
AI redzamības rādītājs kļūst noderīgs tad, ja cits analītiķis var atjaunot tā iegūšanas procesu un saprast, ko tas nepierāda. Tas ir citāds standarts nekā katru reizi iegūt vienu un to pašu atbildi. Ģeneratīvās atbildes var atšķirties pat tad, ja jautājums un iestatījumi nemainās; OpenAI norāda, ka API izvade pēc noklusējuma nav deterministiska, savukārt Google saka, ka AI Overviews un AI Mode var rādīt atšķirīgas atbildes un saites. Tāpēc praktiskais mērķis nav panākt perfektu atkārtojamību. Mērķis ir izveidot mērījumu protokolu, kas nodrošina godīgu salīdzinājumu, atklāj variācijas un ļauj izdarīt samērīgi ierobežotus secinājumus.
Pirms atbilžu apkopošanas definējiet apgalvojumu
Vispirms uzrakstiet teikumu, ko analīzei vajadzētu pamatot. “Šajā noteiktajā kategorijas jautājumu kopā, šajos tirgos, zīmols parādījās X% no atlasītajām atbildēm šajā datu vākšanas periodā” ir pārbaudāms apgalvojums. “Mūsu AI redzamība ir uzlabojusies” nav pietiekami konkrēts apgalvojums, lai to varētu auditēt, kamēr neesat definējuši platformas, auditoriju, jautājumus, periodu un redzamības kritēriju.
Jau sākumā izvēlieties analīzes vienību: atbildi, uzvednes izpildes reizi, uzvednes un tirgus pāri vai citētu URL. Precizējiet, kas uzskatāms par zīmola pieminējumu, ieteikumu, pareizu atrašanās vietu, citātu un konkurenta pieminējumu. Šos rādītājus nodaliet. Zīmola pieminēšana garāmejot ne vienmēr nozīmē ieteikumu; citēta lapa nepierāda, ka modelis uz to paļāvies tā, kā pieņem jūsu komanda.
Fiksējiet protokolu un piešķiriet tam versiju
Pirms katra pārskata perioda izveidojiet protokolu ar datumu. Pierakstiet precīzu uzvednes tekstu un jebkādu sarunas kontekstu; platformu un tās saskarni; modeli vai režīmu, ja tas ir norādīts; valodas, valsts un atrašanās vietas iestatījumus; datu vākšanas datumus; konta vai personalizācijas stāvokli, ja tas ir būtiski; kā arī visus rīku, pārlūkprogrammas vai API iestatījumus. Saglabājiet neapstrādāto atbildi un redzamās atsauces, nevis tikai iegūto etiķeti vai vērtējumu.
Uzturiet uzvedņu kopu ar versiju kontroli. Nepārrakstiet jautājumu nemanāmi tikai tāpēc, ka tas sniedzis neērtu atbildi vai jauns formulējums šķiet dabiskāks. Ja uzvedne ir jāmaina, dokumentējiet iemeslu, saglabājiet tās iepriekšējo versiju un izvērtējiet, vai jaunais variants ir salīdzināms. Salīdzinot periodus, līdztekus jaunajām uzvednēm atkārtoti izmantojiet nemainītu pamatkopu. Mainīto kopu atspoguļojiet atsevišķi, nevis iekļaujiet to tendences aprēķinā.
- Saglabājiet nemainīgus uzvedņu ID un glabājiet precīzu tekstu, tirgu, valodu, nolūku un paredzamo atbildes kategoriju.
- Reģistrējiet datu vācēju, laika zīmogu, platformas stāvokli, kā arī visas kļūmes, atkārtotos mēģinājumus un izslēgtos gadījumus.
- Saglabājiet neapstrādātos rezultātus, izmantojot piekļuves kontroli un dokumentētu glabāšanas politiku; atvasinātajām etiķetēm jābūt sasaistītām ar atbildi, no kuras tās iegūtas.
- Reģistrējiet izmaiņas vērtēšanas noteikumos un analītiķu sastāvā. Ja iespējams, lūdziet otram vērtētājam pārbaudīt daļu rezultātu, īpaši neskaidrus ieteikumus un atrašanās vietu atbilstības gadījumus.
Veidojiet izlasi atbilstoši lēmumam, nevis kādam maģiskam skaitlim
Nav tāda universāla izlases lieluma, kas AI redzamības novērtējumu automātiski padarītu pamatotu. Vajadzīgais izlases lielums ir atkarīgs no sagaidāmās variācijas, no tā, cik maza izmaiņa ir būtiska lēmumam, un no tā, cik tirgus, uzvedņu vai platformu plānojat salīdzināt. Neliela, pēc ērtības izvēlēta kopa var palīdzēt kvalitatīvā diagnostikā, bet to nevar klusējot uzdot par visu klientu jautājumu vai visu atrašanās vietu pārstāvniecību.
Veidojiet izlasi atbilstoši kopai, kuru patiesībā vēlaties raksturot. Vairāku atrašanās vietu tīklā veidojiet stratificētu izlasi pēc tirgus vai atrašanās vietu grupas, valodas un vaicājuma nolūka, ja šīs atšķirības ir būtiskas. Katram slānim nosakiet skaidru atlases principu; nepieļaujiet, ka nejauši dominē vietas ar lielu apjomu vai vieglāk pārbaudāmās vietas. Aprēķinot uzvedņu līmeņa rādītājus, salīdzinājumos nemainiet uzvedņu kopu un nošķiriet uzvedņu skaitu no atkārtoto izpildes reižu skaita. Desmit uzvednes, katra uzdota desmit reizes, nav tas pats, kas simt atšķirīgu uzvedņu.
Izmantojiet atkārtotas izpildes, lai atklātu atbilžu variācijas, nevis mākslīgi palielinātu saucēju. Iepriekš nosakiet, cik reižu katra uzvedne tiks izpildīta, vai izpildes notiks vienā sesijā vai dažādos datumos un kā rezultāti tiks apkopoti. Norādiet saucēju un rezultātu izkliedi; piemēram, to izpildes reižu īpatsvaru, kurās izpildīts noteiktais kritērijs, kā arī to, cik bieži rezultāts mainījies starp izpildēm. Ja izlase ir maza vai novērojumi grupējas pēc uzvednes vai tirgus, pasakiet to; šādu struktūru neņemošs vērā, šķietami šaurs intervāls var radīt pārspīlētu precizitātes iespaidu.
Nošķiriet novērotās izmaiņas no protokola izmaiņām
Atšķirību starp rezultātiem pirms un pēc izmaiņām var interpretēt tikai tad, ja mērījumu apstākļi ir pietiekami salīdzināmi. Kur iespējams, izmantojiet tās pašas uzvednes, platformas, tirgus, izpildes noteikumus un vērtēšanas kritērijus. Ja informācija ir pieejama, sekojiet platformu vai modeļu izmaiņām. OpenAI API dokumentācijā aprakstīts, kā izmantot sākuma skaitli un sistēmas pirkstu nospiedumu, lai vienādos iestatījumos rezultāti būtu lielākoties deterministiski; vienlaikus brīdināts, ka determinisms nav garantēts un aizmugursistēmas izmaiņas var ietekmēt rezultātus. Šie kontroles mehānismi attiecas uz konkrēto API vidi; tie nepadara deterministiskus lietotājiem paredzētus produktus vai citas platformas.
Ja mainās platforma, saskarne vai uzvedņu kopa, atzīmējiet šo pārrāvumu. Varat joprojām ziņot par katru periodu, taču bez atrunas nepasniedziet atšķirību kā vienmērīgu tendenci. Noderīgs pārbaudes paņēmiens ir pārejas mērījums: īsā laika posmā apkopojiet datus gan pēc vecā, gan jaunā protokola un parādiet, cik lielā mērā atšķiras katra mērījuma rezultāts. Tas nenovērš visus traucējošos faktorus, taču var atklāt, vai šķietamās izmaiņas nosaka mērījuma izstrāde.
Padariet argumentāciju auditējamu
Jūsu pārskatam jāļauj skeptiskam kolēģim izsekot galvenajam rādītājam līdz tā pierādījumiem. Norādiet protokola versiju, datu vākšanas datumus, izlases ietvaru, skaitu katrā slānī, izpildes reižu skaitu, izslēgtos gadījumus, vērtēšanas definīcijas un zināmos ierobežojumus. Saglabājiet gan galveno apgalvojumu apstiprinošus, gan tam pretrunā esošus piemērus. Ja atbildes marķē cilvēki, aprakstiet, kā tika atrisinātas domstarpības, un norādiet uz būtiskām neskaidrībām, nevis piespiediet katru gadījumu iekļaut pārliecinošā kategorijā.
NIST AI riska pārvaldības ietvars aicina dokumentēt testu kopas, rādītājus un rīkus, veikt mērījumus izvietošanai atbilstošos apstākļos, kā arī dokumentēt nenoteiktību un ierobežojumus. Tie ir labi standarti arī redzamības pētījumam. Secinājumam jāatbilst pētījuma izstrādei: tas attiecas uz atlasītām atbildēm konkrēti nosauktās platformās noteiktā periodā, nevis uz visu klientu ekspozīciju, nākotnes pozīcijām, mārketinga izmaiņu cēloņsakarīgo ietekmi vai garantiju par turpmākiem AI ieteikumiem.
Īsa pārbaude pirms publicēšanas
- Vai cits analītiķis varētu atjaunot izlasi un noteikt katru uzvednes versiju?
- Vai katru ziņoto etiķeti var sasaistīt ar saglabātu atbildi un vērtēšanas noteikumu?
- Vai tirgu un uzvedņu pārklājums ir skaidrs, tostarp izlaistie un izslēgtie gadījumi?
- Vai ziņotā nenoteiktība ņem vērā atkārtotas izpildes un grupētu izlasi?
- Vai protokola vai platformas izmaiņas ir nošķirtas no faktiskajām novērotajām izmaiņām?
- Vai secinājumā apgalvots tikai tas, ko šī izlase spēj pamatot?
Ja atbilde uz šiem jautājumiem ir “jā”, rezultāts joprojām var būt trokšņains. Taču troksnis ir redzams, metodi var apspriest, un domstarpības var koncentrēties uz pieņēmumiem un pierādījumiem, nevis uz neizskaidrotu informācijas paneļa skaitli.
Avoti
Mērāt zīmolu vai tīklu?
Katra pārbaude saglabā atbildes un avotus, tāpēc skaitli var pārbaudīt pēc mēnešiem, nevis ņemt uz ticību.
Skatīt plānus