Citelytics · Blog

Dla marek i sieci

Co rejestrować, aby po sześciu miesiącach można było zweryfikować deklarację dotyczącą widoczności w AI

Wiarygodny wynik pomiaru widoczności w AI wymaga czegoś więcej niż samej oceny: zachowaj zestaw pytań, warunki pomiaru, odpowiedzi, zasady kodowania i ograniczenia deklaracji.

Opublikowano: 2026-11-11

Sześć miesięcy po opublikowaniu raportu ktoś może zapytać, co właściwie oznacza stwierdzenie, że „widoczność wzrosła”. Czy da się odtworzyć pytania, sprawdzić uwzględnione lokalizacje, przejrzeć odpowiedzi i powtórzyć obliczenia? Jeśli nie, trudno rzetelnie ocenić podany wynik.

Traktuj każdy pomiar jako opatrzony datą zapis badawczy, a nie tylko zrzut z panelu. Zachowuj informacje wystarczające do wyjaśnienia, co i jak badano, co zaobserwowano, jak obserwacje przełożono na wskaźniki oraz czego wynik nie dowodzi. Ramy zarządzania ryzykiem AI NIST zawierają wskazówki dotyczące zarządzania ryzykiem związanym ze sztuczną inteligencją i oceny systemów; korzystaj z nich jako źródła odniesienia, a nie narzuconej listy kontrolnej dla tego pomiaru.

Zacznij od deklaracji i jednostki analizy

Sformułuj deklarację tak, aby można ją było zweryfikować, na przykład: „W zdefiniowanym zestawie niezwiązanych z marką pytań o lokalne usługi marka pojawiła się w 18 z 60 zarejestrowanych odpowiedzi w marcowym pomiarze”. Określ licznik, mianownik, zasady uznawania, że marka się „pojawiła”, oraz okres porównawczy. Jeśli deklaracja dotyczy cytowań, rekomendacji lub konkretnej lokalizacji, zdefiniuj to osobno — są to różne wyniki.

Zapisuj też jednostkę analizy. Czy pojedynczą obserwacją jest prompt, para prompt–model, para lokalizacja–zapytanie czy pojedyncza odpowiedź? Program obejmujący wiele lokalizacji powinien zachowywać identyfikator lokalizacji i regułę przypisywania pytania do lokalizacji. W przeciwnym razie przyszły analityk nie będzie w stanie ustalić, czy zmiana wynika z widoczności marki, zmiany udziału poszczególnych lokalizacji czy zmiany próby.

Zachowuj próbę, nie tylko podsumowanie

Zapisuj pełny zestaw promptów użyty w danym pomiarze, wraz z ich brzmieniem, językiem, rynkiem, intencją, informacją o obecności nazwy marki i kontekstem lokalizacyjnym. Notuj, kto wybrał prompty, kiedy to zrobił oraz jakie obowiązywały zasady uwzględniania lub wykluczania. Zachowuj wersjonowany zestaw główny i kopię właściwą dla danego pomiaru: późniejsza edycja wspólnej listy promptów nie powinna zmieniać historycznej próby.

Przed pomiarem zapisuj metodę doboru próby i planowaną jej wielkość, a po pomiarze — faktyczną liczbę zrealizowanych obserwacji oraz wszelkie wykluczenia. Jeśli podajesz odsetek, pokaż mianownik i liczbę obserwacji, na których go oparto. Wynik uzyskany z małego lub celowo dobranego zestawu może opisywać ten zestaw, ale sam w sobie nie dowodzi, jak często marka pojawia się w doświadczeniach wszystkich użytkowników AI.

Rejestruj warunki, które wpłynęły na odpowiedź

Dla każdej obserwacji zapisuj datę i godzinę, produkt lub interfejs, sposób dostępu, nazwę lub wersję modelu, jeśli została ujawniona, oraz istotne ustawienia. W stosownych przypadkach rejestruj geografię, język, urządzenie lub kontekst konta, a także informację, czy włączono przeglądanie internetu, wyszukiwanie lub inne narzędzia. Jeśli platforma nie udostępnia wersji modelu lub ustawienia, wpisz „niedostępne” — nie zgaduj.

Zachowuj pełną odpowiedź oraz widoczne cytowania lub linki, a nie tylko ręcznie zakodowaną odpowiedź „tak”. Jeśli istotny jest wygląd interfejsu, przechowuj zrzuty ekranu lub eksporty, a surowy tekst zachowuj w formacie umożliwiającym wyszukiwanie. Rejestruj niepowodzenia podczas zbierania danych, ponowne próby i zmiany procedury. Te informacje pomagają odróżnić zmianę w zaobserwowanej próbie od zmiany produktu, konfiguracji lub procesu zbierania danych.

Dokumentacja API OpenAI wskazuje, że zachowanie modelu w odpowiedzi na prompty może się różnić między jego kolejnymi wersjami. Zapisuj dostępną wersję modelu oraz warunki pomiaru; dziennik nie sprawi, że interfejs firmy trzeciej stanie się deterministyczny. Dokumentuje on to, co zaobserwował zespół, a nie gwarantuje, że to samo zapytanie później wygeneruje taką samą odpowiedź.

Zadbaj o odtwarzalność kodowania

Zdefiniuj etykiety przed przeglądem wyników pomiaru. Na przykład odróżnij wzmiankę o marce bez linku od cytowanego źródła, rekomendację od neutralnego odniesienia, a właściwą lokalizację od innego oddziału. Określ sposób postępowania z niejednoznacznymi odpowiedziami, błędami w pisowni, nazwami spółek nadrzędnych i porównaniami z konkurencją.

Zapisuj zakodowane dane obok surowej odpowiedzi: osobę kodującą, datę kodowania, wartości etykiet oraz informacje o rozstrzygnięciu lub zmianie oceny. W przypadku subiektywnych etykiet zakoduj niezależnie ustaloną wcześniej część próby i zachowaj informacje o rozbieżnościach oraz zasadzie ich rozstrzygania. Podaj odsetek podwójnie zakodowanych obserwacji i zastosowaną metodę pomiaru zgodności. Wskaźnika opartego na ludzkiej interpretacji nie należy przedstawiać tak, jakby był bezpośrednim licznikiem platformy.

Zachowaj obliczenia i ich ograniczenia

Zarchiwizuj logikę obliczeń, wersję arkusza kalkulacyjnego lub kodu, filtry i końcowy eksport danych. Przyszły analityk powinien móc prześledzić opublikowaną wartość aż do pojedynczych obserwacji i odtworzyć obliczenia. Zachowaj wersję raportu, datę jego wydania oraz informacje o późniejszych korektach.

Oddzielaj zaobserwowane fakty od interpretacji. „Marka pojawiła się w 18 z 60 odpowiedzi w próbie” to obserwacja. „Widoczność wzrosła dzięki kampanii” to twierdzenie przyczynowe, które wymaga dowodów wykraczających poza porównanie wyników przed kampanią i po niej. Podobnie próba promptów nie pozwala ustalić, jaki odsetek rzeczywistych rozmów użytkowników, ruchu lub sprzedaży był związany z AI. Informuj o tych ograniczeniach obok wyniku, a nie tylko w aneksie metodologicznym.

Weryfikacja po sześciu miesiącach powinna zająć kilka minut, a nie wymagać zgadywania

Analityk powinien móc wybrać raportowany wskaźnik, prześledzić go do mianownika, sprawdzić źródłowe odpowiedzi, zweryfikować etykiety i ponownie wykonać obliczenia. Jeśli brakuje któregoś z tych elementów, ogranicz deklarację do tego, co potwierdzają zachowane dowody. Celem nie jest zamrożenie zmieniającego się produktu AI, lecz zapewnienie, że wybory pomiarowe są jawne, możliwe do sprawdzenia i rzetelne.

Źródła

Mierzysz markę albo sieć?

Każde sprawdzenie zachowuje odpowiedzi i źródła, więc liczbę można zweryfikować po miesiącach, a nie brać na wiarę.

Zobacz plany

Więcej na ten temat

← Wszystkie artykuły