Kaip atrodo patikimas AI matomumo atskaitos taškas prieš ką nors keičiant
Praktiškas, pakartojamas atskaitos taškas padeda agentūroms atskirti, ką jos stebėjo, nuo to, ką pakeitė, ir pelningai apibrėžti darbų apimtį skirtingiems klientams.
Atskaitos taškas nėra ekrano kopija, kurioje matyti, kad prekės ženklas paminėtas AI atsakyme. Tai konkrečia data užfiksuotas ir pakartojamas įrašas, rodantis, kokius atsakymus pateikė apibrėžtas klausimų rinkinys nustatytomis sąlygomis, prieš agentūrai ką nors pakeičiant. Šis skirtumas svarbus, kai klientas klausia, ar pokytį lėmė jūsų darbas, ir kai komandai reikia parengti 30 klientų ataskaitas, nepaverčiant kiekvienos peržiūros atskiru tyrimu.
Pirmiausia atskaitos taškas atlieka praktinę funkciją: užfiksuoja pradines sąlygas. Antroji jo funkcija – komercinė: parodyti, kas įtraukta į matavimą, kas neįtraukta ir kokie įrodymai pagrįstų tolesnį darbą. Jis jokiu būdu neturėtų sudaryti įspūdžio, kad išmatuotas rezultatas garantuoja būsimas rekomendacijas ar paminėjimus.
Prieš rinkdami duomenis apibrėžkite matavimo vienetą
Užrašykite, kokius duomenis vėliau lyginsite. Geras pradinis variantas: vienas klientas, viena rinka, viena kalba, nekintantis užklausų rinkinys ir aiškiai įvardyta AI aplinka. Jei viena bendra vertė užgožtų svarbius skirtumus, skirtingus produktus ar paslaugų grupes suskirstykite į atskiras užklausų grupes.
Pirmajam bandymui naudokite 12–20 užklausų: maždaug po keturias–šešias kategorijos paieškai, palyginimui ar trumpajam sąrašui sudaryti ir konkrečiam poreikiui ar naudojimo atvejui. Įtraukite ir užklausų su prekės ženklo pavadinimu, ir be jo, bet žymėkite jas atskirai. Tai agentūros darbo gairės, o ne pramonės standartai. Tinkamas rinkinio dydis – mažiausias, apimantis svarbiausius kliento pirkėjo kelionės etapus ir leidžiantis nuosekliai pakartoti matavimą.
Prie kiekvienos užklausos išsaugokite tikslų tekstą, datą ir laiką, platformą bei režimą, o prireikus – rinkos ar vietovės nustatymus ir visą atsakymą. Pažymėkite, ar buvo naudota žiniatinklio paieška, ir išsaugokite nurodytus šaltinius bei nuorodas į puslapius. „ChatGPT“ dokumentacijoje nurodoma, kad paieškos atsakymuose gali būti pateikiamos citatos, tačiau jos gali būti neišsamios, pasenusios ar netikslios. Todėl išsaugokite atsakymą ir patikrinkite svarbius šaltinius, o ne laikykite citatą įrodymu.
Kurkite naudingą įrašą, o ne vien tokį, kurį galima įvertinti balais
Vien procentinė išraiška nėra tinkama perduoti darbą kitai komandai. Greta pirminio atsakymo išsaugokite nedidelį, nuoseklų anotacijų rinkinį. Kiekviename atsakyme pažymėkite, ar paminėtas klientas, ar jo apibūdinimas tikslus, ar paminėtas konkurentas, ar nurodytas šaltinis ir ar tas šaltinis priklauso klientui. Neaiškiais atvejais pridėkite trumpą pastabą apie įrodymus. „Nepaminėtas“ turi būti atskirta nuo „apibūdintas neteisingai“.
Ataskaitoje nurodykite skaitiklį ir vardiklį. Pavyzdžiui: „Klientas paminėtas 5 iš 16 fiksuotų užklausų; 2 iš šių 5 atvejų nurodytas kaip šaltinis.“ Prie skaičių pateikite užklausų grupę ir platformą. Nesujunkite skirtingų aplinkų, vietovių ar užklausų tipų į vieną agentūros bendrą įvertį, nebent klientas tiksliai supranta, ką toks apibendrinimas reiškia.
Taikykite fiksavimo ir peržiūros procesą
Paprastą atskaitos taško nustatymą galima įtraukti į įprastą pradinį darbų etapą. Vienas žmogus atsako už užklausų rinkinį, kitas patikrina užfiksuotus atsakymus ir jų žymas. Antroji peržiūra ypač naudinga tikrinant aprašymus, šaltinių priskyrimą ir atvejus, kai modelis prekės ženklą paminėja netiesiogiai.
- 1 diena: susitarkite dėl prioritetinių produktų, auditorijos, rinkos, platformų, išimčių ir to, kokį verslo rezultatą klientas laiko reikšmingu.
- 2 diena: parenkite ir patvirtinkite nekintantį užklausų rinkinį. Išsaugokite jo versijos numerį; tarp pradinio ir vėlesnio matavimo užklausų slapta nekeiskite.
- 3–4 dienos: pateikite užklausas, išsaugokite visus atsakymus ir nustatymus, o atsakymus pažymėkite pagal bendrą schemą.
- 5 diena: patikrinkite dalį įrašų, išspręskite neaiškių žymų klausimus, eksportuokite atskaitos taško duomenis ir gaukite kliento patvirtinimą dėl darbų apimties bei rezultatų interpretavimo.
Jei atsakymo trūksta arba matavimo metu platforma iš esmės pasikeičia, užregistruokite tai, o ne tyliai pakeiskite stebėjimo rezultatą kitu. Išsaugokite pirminį įrašą, o pakartotinį matavimą pažymėkite atskirai. Tai ne biurokratija: be audito sekos vėliau dirbančios komandos negalės nustatyti, ar rezultatą pakeitė pakitusios kliento sąlygos, užklausos ar duomenų rinkimo procesas.
Paaiškinkite, kuo matomumas skiriasi nuo srauto
Matomumo atskaitos taškas apibūdina stebėtus atsakymus apibrėžtoje imtyje. Jis neparodo, kaip dažnai klientas buvo paminėtas visuose AI atsakymuose, neįrodo, kodėl atsakymas buvo pateiktas, ir neprognozuoja potencialių klientų skaičiaus. Šias ribas nurodykite pirmame ataskaitos puslapyje, o ne išnašoje po užtikrintai atrodančia diagrama.
Jei įmanoma, atsakymų stebėjimus papildykite pirmosios šalies analitikos duomenimis, tačiau nesudarykite įspūdžio, kad abu duomenų šaltiniai matuoja tą patį. „Google“ nurodo, kad AI apžvalgų ir AI režimo srautas įtraukiamas į bendrą „Web“ paieškos srautą „Search Console“ sistemoje; tai nėra atskiras kiekvieno AI paminėjimo skaičius. Matomumo stebėjimus ir išmatuotus apsilankymus svetainėje laikykite atskirais įrodymų srautais, o jų sąsają aptarkite atsargiai.
Standartizuokite atskaitos taško paslaugą, kad galėtumėte ją plėsti
Prieš siūlydami paslaugą nustatykite standartinę darbų apimtį: pavyzdžiui, vienas nekintantis užklausų rinkinys, dvi įvardytos platformos, viena rinka ir viena ataskaita. Už papildomas rinkas, platesnį užklausų rinkinį, rankinį šaltinių tikrinimą ar individualią analizę skaičiuokite atskirai. Pirmiesiems penkiems klientams fiksuokite faktinį parengimo ir kokybės užtikrinimo laiką. Pagal medianą koreguokite įvedimo į darbą kainą ir numatomą trukmę, užuot darę prielaidą, kad visoms paskyroms reikės tiek pat pastangų.
Dirbant su dešimtimis klientų, nuoseklumas padeda kontroliuoti pelningumą. Naudokite vieną fiksavimo šabloną, vieną žymų žodyną, versijuojamą užklausų biblioteką ir bendrą išimčių registrą. Paskyrų komandos turėtų galėti pridėti klientui skirtų užklausų tik pateikusios dokumentuotą pakeitimo prašymą. Taip išsaugomas palyginamumas ir užkertamas kelias tam, kad „tiesiog pridėkime kelis klausimus“ virstų neapmokamu tyrimu.
Klientui skirtą išvadą galima suformuluoti paprastai: tai pradinis stebėjimo rezultatas, gautas šiomis sąlygomis ir šią dieną. Pakartosime tą patį užklausų rinkinį ir pateiksime, kas pasikeitė, taip pat nurodysime visus dokumentuotus matavimo sąlygų pakeitimus. Tai patikimas paslaugos pažadas. Pažadas, kad AI sistemos rekomenduos klientą, – ne.
Šaltiniai
Dirbate su klientais?
„Agentūros“ planas skaičiuojamas už šviežią patikrinimą, o ne už vietą — klientų sąrašas neribotas, todėl neaktyvus klientas nekainuoja nieko.
Žiūrėti planus