Ką registruoti, kad po šešių mėnesių būtų galima patikrinti teiginį apie matomumą DI aplinkoje
Kad DI matomumo rezultatas būtų pagrįstas, reikia ne vien balo: išsaugokite klausimų rinkinį, vykdymo sąlygas, atsakymus, kodavimo taisykles ir teiginio ribas.
Praėjus šešiems mėnesiams po ataskaitos paskelbimo, kas nors gali paklausti, ką iš tikrųjų reiškia teiginys „matomumas padidėjo“. Ar galima atkurti klausimus, pamatyti, kurios vietovės buvo įtrauktos, peržiūrėti atsakymus ir pakartoti skaičiavimą? Jei ne, rezultatą įvertinti sunku.
Kiekvieną matavimo ciklą laikykite datuotu tyrimo įrašu, o ne vien momentine suvestinės kopija. Išsaugokite tiek informacijos, kad būtų aišku, kas ir kaip buvo tikrinama, kas pastebėta, kaip stebėjimai paversti rodikliais ir ko rezultatas neįrodo. NIST dirbtinio intelekto rizikos valdymo sistema pateikia rekomendacijų, kaip valdyti DI rizikas ir vertinti sistemas; naudokite ją kaip orientyrą, o ne kaip privalomą šio matavimo kontrolinį sąrašą.
Pradėkite nuo teiginio ir jo matavimo vieneto
Suformuluokite patikrinamą teiginį. Pavyzdžiui: „Šiame apibrėžtame ne firminių vietinių paslaugų klausimų rinkinyje per kovo mėnesio ciklą prekės ženklas paminėtas 18 iš 60 užregistruotų atsakymų.“ Nurodykite skaitiklį, vardiklį, įtraukimo į kategoriją „paminėtas“ taisyklę ir palyginamą laikotarpį. Jei teiginys susijęs su citatomis, rekomendacijomis ar konkrečia vietove, apibrėžkite tai atskirai – šių rezultatų negalima laikyti tapačiais.
Taip pat užregistruokite analizės vienetą. Ar vienas stebėjimas yra užklausa, užklausos ir modelio pora, vietovės ir užklausos pora, ar atskiras atsakymas? Kelių vietovių programoje išsaugokite vietovės identifikatorių ir taisyklę, pagal kurią klausimas priskiriamas vietovei. Priešingu atveju būsimam analitikui bus neaišku, ar pokytį lėmė prekės ženklo matomumas, pasikeitęs vietovių pasiskirstymas, ar kitokia imtis.
Išsaugokite imtį, ne vien suvestinę
Išsaugokite visą naudotų užklausų rinkinį, įskaitant formuluotes, kalbą, rinką, tikslą, tai, ar užklausoje minimas prekės ženklas, ir vietovės kontekstą. Užregistruokite, kas, kada ir pagal kokias įtraukimo ar atmetimo taisykles parinko užklausas. Laikykite versijuojamą pagrindinį rinkinį ir konkrečiam ciklui skirtą kopiją: vėliau redaguojant bendrą užklausų sąrašą, istorinė imtis neturi pasikeisti.
Prieš ciklą užregistruokite imties sudarymo metodą ir planuotą imties dydį, o vėliau – faktiškai užbaigtų stebėjimų skaičių ir visas išimtis. Jei pateikiate rodiklį, nurodykite vardiklį ir jį sudarančių stebėjimų skaičių. Maža ar sąmoningai atrinkta imtis gali apibūdinti būtent tą imtį, tačiau pati savaime neparodo, kaip dažnai prekės ženklas pasirodo visų naudotojų DI aplinkose.
- Išsaugokite kiekvieną tiksliai pateiktą užklausą, taip pat nekintantį užklausos ID ir visas kategorijų ar vietovių žymas.
- Užregistruokite atrankos pagrindą, parinkimo metodą, planuotą ir faktiškai pasiektą imties dydį bei trūkstamų ar atmestų stebėjimų priežastis.
- Atskirkite skirtingus matavimo ciklus. Nejunkite skirtingomis datomis, skirtinguose produktuose ar pagal skirtingas imties sudarymo schemas gautų atsakymų į vieną vardiklį, to aiškiai nenurodę.
Užfiksuokite atsakymą nulėmusias sąlygas
Kiekvienam stebėjimui užregistruokite datą ir laiką, produktą ar sąsają, prieigos būdą, modelio pavadinimą ar versiją, jei jie nurodyti, ir aktualius nustatymus. Kai taikoma, nurodykite geografinę vietą, kalbą, įrenginio ar paskyros kontekstą ir tai, ar buvo įjungtas naršymas, paieška ar kiti įrankiai. Jei platforma neatskleidžia modelio versijos ar nustatymo, pažymėkite „neprieinama“ – nespėliokite.
Išsaugokite visą atsakymą ir visas matomas citatas ar nuorodas, o ne vien rankiniu būdu suvestą atsakymą „taip“. Jei svarbi sąsajos išvaizda, išsaugokite ekrano kopijas arba eksportuotus failus, o neapdorotą tekstą laikykite paieškai tinkamu formatu. Registruokite duomenų rinkimo nesėkmes, pakartotinius bandymus ir procedūros pakeitimus. Ši informacija padeda atskirti imties pokyčius nuo pasikeitusio produkto, konfigūracijos ar duomenų rinkimo proceso.
„OpenAI“ API dokumentacijoje pažymima, kad skirtingų modelio momentinių versijų elgsena reaguojant į užklausas gali skirtis. Kai įmanoma, užregistruokite modelio versiją ir vykdymo sąlygas; žurnalas negali užtikrinti, kad trečiosios šalies sąsaja veiks deterministiškai. Jame dokumentuojama, ką pastebėjo jūsų komanda, o ne žadama, kad ta pati užklausa vėliau pateiks tokį patį atsakymą.
Užtikrinkite, kad kodavimą būtų galima pakartoti
Etiketes apibrėžkite prieš peržiūrėdami ciklo duomenis. Pavyzdžiui, atskirkite prekės ženklo paminėjimą be nuorodos nuo cituojamo šaltinio, rekomendaciją nuo neutralaus paminėjimo, o teisingą vietovę – nuo kito filialo. Nurodykite, kaip vertinami dviprasmiški atsakymai, rašybos klaidos, patronuojančiosios įmonės pavadinimai ir konkurentų palyginimai.
Koduotą įrašą saugokite kartu su neapdorotu atsakymu: nurodykite koduotoją, kodavimo datą, etikečių reikšmes ir visus sprendimus dėl nesutarimų ar rankinių pakeitimų. Jei etiketės subjektyvios, iš anksto apibrėžtą imties dalį koduokite dvigubai ir išsaugokite nesutarimus bei jų sprendimo taisyklę. Nurodykite, kokia dalis buvo koduota dvigubai ir kokį suderinamumo vertinimo metodą taikėte. Žmonių interpretacija paremtas rodiklis neturėtų būti pateikiamas taip, tarsi tai būtų tiesioginis platformos skaitiklis.
Išsaugokite skaičiavimą ir jo ribas
Archyvuokite skaičiavimo logiką, skaičiuoklės ar kodo versiją, filtrus ir galutinį duomenų eksportą. Būsimam analitikui turi būti įmanoma nuo paskelbto skaičiaus pereiti prie atskirų stebėjimų ir jį perskaičiuoti. Išsaugokite ataskaitos versiją, jos paskelbimo datą ir visus vėliau padarytus taisymus.
Atskirkite pastebėtus faktus nuo interpretacijos. „Prekės ženklas paminėtas 18 iš 60 atrinktų atsakymų“ – tai stebėjimas. „Matomumas padidėjo dėl kampanijos“ – priežastinis teiginys, kuriam pagrįsti reikia daugiau įrodymų nei skaičių palyginimo prieš kampaniją ir po jos. Taip pat užklausų imtis neparodo, kokią dalį realių naudotojų pokalbių, srauto ar pardavimų paveikė DI. Šiuos apribojimus nurodykite šalia rezultato, o ne vien metodikos priede.
- Neapdorotus atsakymus, koduotus stebėjimus, užklausų versijas, ciklo metaduomenis ir skaičiavimo rezultatus laikykite vienoje kontroliuojamoje saugykloje, susietus nekintančiais ID.
- Taikykite surinktų duomenų pobūdį atitinkančią prieigos kontrolę ir saugojimo politiką; nesaugokite asmens ar paskyros konfidencialių duomenų, nebent tai būtina ir turite tam leidimą.
- Per kitą ciklą, kai įmanoma, lyginkite tapačius dalykus ir pažymėkite visus užklausų, produktų, modelių, nustatymų, geografijos ar kodavimo taisyklių pakeitimus, o ne pateikite skaičius kaip vientisą tendenciją.
Po šešių mėnesių patikra turėtų užtrukti minutes, o ne virsti spėliojimu
Analitikas turėtų galėti pasirinkti paskelbtą rodiklį, atsekti jo vardiklį, peržiūrėti pirminius atsakymus, patikrinti etiketes ir pakartoti skaičiavimą. Jei kurios nors grandies trūksta, susiaurinkite teiginį iki to, ką pagrindžia išlikę įrodymai. Tikslas – ne sustingdyti besikeičiantį DI produktą, o padaryti jūsų matavimo pasirinkimus matomus, peržiūrimus ir sąžiningus.
Šaltiniai
Matuojate prekės ženklą ar tinklą?
Kiekvienas patikrinimas išsaugo atsakymus ir šaltinius, todėl skaičių galima pertikrinti po kelių mėnesių, o ne tikėti juo.
Žiūrėti planus