Jak mierzyć widoczność w AI tak, by wyniki dało się odtworzyć i podważyć
Wiarygodny wynik pomiaru widoczności w AI wymaga niezmiennego protokołu, możliwej do prześledzenia próby oraz wniosków ograniczonych do tego, co potwierdzają dowody.
Liczba opisująca widoczność w AI staje się przydatna, gdy inny analityk może odtworzyć sposób jej uzyskania — i zobaczyć, czego ona nie dowodzi. To coś innego niż uzyskiwanie za każdym razem tej samej odpowiedzi. Odpowiedzi generatywne mogą się różnić nawet wtedy, gdy pytanie i ustawienia pozostają bez zmian; OpenAI opisuje wyniki API jako domyślnie niedeterministyczne, a Google informuje, że AI Overviews i AI Mode mogą wyświetlać różne odpowiedzi i linki. Praktycznym celem nie jest więc idealna powtarzalność. Chodzi o protokół pomiarowy, który zapewnia uczciwe porównanie, ujawnia zmienność i prowadzi do odpowiednio ograniczonych wniosków.
Określ, co chcesz wykazać, zanim zaczniesz zbierać odpowiedzi
Zacznij od zapisania tezy, którą analiza ma uzasadnić. „W tym ustalonym zestawie pytań dotyczących kategorii, na tych rynkach, marka pojawiła się w X% zebranych odpowiedzi w tym okresie” — to stwierdzenie można sprawdzić. „Nasza widoczność w AI wzrosła” jest zbyt ogólne, by dało się je zweryfikować, dopóki nie zdefiniujesz platform, odbiorców, pytań, okresu i kryterium widoczności.
Z góry wybierz jednostkę analizy: odpowiedź, wykonanie promptu, parę prompt–rynek albo cytowany adres URL. Określ, co uznajesz za wzmiankę o marce, rekomendację, prawidłową lokalizację, cytowanie i wzmiankę o konkurencie. Traktuj je jako odrębne kategorie. Sama wzmianka o marce nie musi oznaczać rekomendacji; cytowana strona nie dowodzi, że model korzystał z niej w sposób zakładany przez twój zespół.
Ustal protokół i zapisuj jego wersje
Przed każdą falą raportowania przygotuj protokół z datą. Zapisz dokładne brzmienie promptu i kontekst rozmowy; platformę i interfejs; model lub tryb, jeśli są wyświetlane; ustawienia języka, kraju i lokalizacji; daty zbierania danych; stan konta lub personalizacji, jeśli ma znaczenie; a także ustawienia narzędzi, przeglądarki lub API. Zachowaj surową odpowiedź i widoczne cytowania, a nie tylko wyodrębnioną etykietę lub wynik.
Prowadź zestaw promptów z kontrolą wersji. Nie zmieniaj po cichu pytania tylko dlatego, że przyniosło niewygodną odpowiedź albo nowe sformułowanie brzmi naturalniej. Jeśli prompt trzeba zmienić, udokumentuj powód, zachowaj jego poprzednią wersję i ustal, czy nowy element jest porównywalny. Przy porównywaniu okresów uruchamiaj niezmieniony zestaw bazowy obok nowych promptów. Zmieniony zestaw raportuj osobno, zamiast włączać go do trendu.
- Zachowuj stałe identyfikatory promptów i zapisuj dokładną treść, rynek, język, intencję oraz oczekiwaną kategorię odpowiedzi.
- Rejestruj osobę lub proces zbierający dane, znacznik czasu, stan platformy oraz wszystkie błędy, ponowne próby i wykluczenia.
- Przechowuj surowe wyniki z kontrolą dostępu i udokumentowaną polityką retencji; etykiety pochodne powinny odsyłać do odpowiedzi, z której je utworzono.
- Dokumentuj zmiany zasad oceniania i zmiany w składzie zespołu analitycznego. Jeśli to możliwe, poproś drugą osobę o sprawdzenie części wyników, zwłaszcza niejednoznacznych rekomendacji i dopasowań lokalizacji.
Dobierz próbę do decyzji, a nie do magicznej liczby
Nie istnieje uniwersalna wielkość próby, która sama w sobie czyniłaby szacunek widoczności w AI wiarygodnym. Odpowiednia liczebność zależy od oczekiwanej zmienności, wielkości zmiany istotnej dla decyzji oraz liczby rynków, promptów lub platform, które zamierzasz porównać. Mały, dobrany według wygody zestaw może posłużyć do jakościowej diagnozy; nie może jednak bez uzasadnienia reprezentować wszystkich pytań klientów ani każdej lokalizacji.
Zbuduj próbę tak, by odzwierciedlała populację, którą rzeczywiście chcesz opisać. W sieci obejmującej wiele lokalizacji podziel próbę na warstwy według rynku lub kategorii lokalizacji, języka i intencji zapytania, jeśli te różnice mają znaczenie. Określ zasady doboru dla każdej warstwy; nie pozwól, by przypadkiem zdominowały próbę lokalizacje o dużym ruchu lub łatwe do przetestowania. Przy szacunkach na poziomie promptów utrzymuj ten sam zestaw pytań w porównywanych pomiarach i odróżniaj liczbę promptów od liczby powtórnych uruchomień. Dziesięć promptów zadanych po dziesięć razy to nie to samo co sto różnych promptów.
Wykorzystuj powtórne uruchomienia, by ujawnić zmienność odpowiedzi, a nie sztucznie zawyżać mianownik. Z góry zdecyduj, ile razy uruchomisz każdy prompt, czy powtórzenia odbędą się podczas jednej sesji, czy w różne dni, oraz jak je podsumujesz. Podaj mianownik i rozrzut wyników: na przykład odsetek uruchomień spełniających określone kryterium, a także częstotliwość zmian wyniku między uruchomieniami. Jeśli próba jest mała albo obserwacje są skupione wokół promptów lub rynków, zaznacz to; przedział, który wygląda na wąski, lecz nie uwzględnia tej struktury, może sprawiać wrażenie większej precyzji, niż rzeczywiście uzyskano.
Oddziel zaobserwowaną zmianę od zmiany protokołu
Różnicę między pomiarem przed zmianą i po niej można interpretować tylko wtedy, gdy warunki pomiaru są dostatecznie porównywalne. W miarę możliwości używaj tych samych promptów, platform, rynków, zasad uruchamiania i kryteriów oceny. Śledź zmiany platformy lub modelu, jeśli dostępne są takie informacje. Dokumentacja API OpenAI opisuje wykorzystanie parametru seed i odcisku palca systemu, by przy zgodnych ustawieniach uzyskiwać wyniki w większości deterministyczne, a jednocześnie ostrzega, że determinizm nie jest gwarantowany i zmiany zaplecza mogą wpływać na wyniki. Te mechanizmy dotyczą tego konkretnego środowiska API; nie sprawiają, że produkty konsumenckie ani inne platformy stają się deterministyczne.
Jeśli zmieni się platforma, interfejs lub zestaw promptów, zaznacz tę zmianę jako przerwę w szeregu. Możesz nadal raportować wyniki z poszczególnych okresów, ale nie przedstawiaj różnicy jako jednoznacznego trendu bez zastrzeżeń. Przydatnym sprawdzianem jest pomiar pomostowy: zbierz dane według starego i nowego protokołu w krótkim odstępie, a następnie pokaż, jak różnią się wyniki uzyskiwane każdą z metod. Nie usuwa to wszystkich czynników zakłócających, ale może ujawnić, czy pozorną zmianę powoduje sposób pomiaru.
Zadbaj o możliwość zweryfikowania wniosków
Raport powinien umożliwiać sceptycznemu współpracownikowi prześledzenie drogi od głównej liczby do dowodów. Uwzględnij wersję protokołu, daty zbierania danych, schemat doboru próby, liczebność poszczególnych warstw, liczbę uruchomień, wykluczenia, definicje oceniania i znane ograniczenia. Zachowaj przykłady przeczące głównej tezie, tak samo jak te, które ją potwierdzają. Jeśli odpowiedzi oceniają ludzie, opisz sposób rozstrzygania rozbieżności i odnotuj istotne niejasności, zamiast na siłę przypisywać każdemu przypadkowi jednoznaczną kategorię.
Ramy zarządzania ryzykiem związanym ze sztuczną inteligencją NIST zalecają dokumentowanie zestawów testowych, metryk i narzędzi, przeprowadzanie pomiarów w warunkach odpowiadających wdrożeniu oraz opisywanie niepewności i ograniczeń. To równie dobre standardy dla badania widoczności. Wniosek powinien odpowiadać zastosowanej metodzie: dotyczyć zebranych odpowiedzi na wskazanych platformach w określonym czasie, a nie powszechnej ekspozycji klientów, przyszłych pozycji w rankingu, związku przyczynowego ze zmianą marketingową ani gwarancji przyszłych rekomendacji AI.
Krótka kontrola przed publikacją
- Czy inny analityk potrafiłby odtworzyć próbę i zidentyfikować każdą wersję promptu?
- Czy każdą zgłoszoną etykietę można powiązać z zachowaną odpowiedzią i zasadą oceniania?
- Czy zakres rynków i promptów jest jasny, łącznie z brakami i wykluczeniami?
- Czy raportowana niepewność uwzględnia powtórne uruchomienia i grupowanie obserwacji w próbie?
- Czy zmiany protokołu lub platformy oddzielono od faktycznie zaobserwowanych zmian?
- Czy wniosek mówi wyłącznie o tym, co ta próba może uzasadnić?
Jeśli odpowiedź na te pytania brzmi „tak”, wyniki nadal mogą być zaszumione. Zmienność jest jednak widoczna, metodę można omówić, a spór może dotyczyć założeń i dowodów, zamiast niezrozumiałej liczby na pulpicie.
Źródła
Mierzysz markę albo sieć?
Każde sprawdzenie zachowuje odpowiedzi i źródła, więc liczbę można zweryfikować po miesiącach, a nie brać na wiarę.
Zobacz plany