Co rejestrować, aby po sześciu miesiącach można było zweryfikować deklarację dotyczącą widoczności w AI
Wiarygodny wynik pomiaru widoczności w AI wymaga czegoś więcej niż samej oceny: zachowaj zestaw pytań, warunki pomiaru, odpowiedzi, zasady kodowania i ograniczenia deklaracji.
Sześć miesięcy po opublikowaniu raportu ktoś może zapytać, co właściwie oznacza stwierdzenie, że „widoczność wzrosła”. Czy da się odtworzyć pytania, sprawdzić uwzględnione lokalizacje, przejrzeć odpowiedzi i powtórzyć obliczenia? Jeśli nie, trudno rzetelnie ocenić podany wynik.
Traktuj każdy pomiar jako opatrzony datą zapis badawczy, a nie tylko zrzut z panelu. Zachowuj informacje wystarczające do wyjaśnienia, co i jak badano, co zaobserwowano, jak obserwacje przełożono na wskaźniki oraz czego wynik nie dowodzi. Ramy zarządzania ryzykiem AI NIST zawierają wskazówki dotyczące zarządzania ryzykiem związanym ze sztuczną inteligencją i oceny systemów; korzystaj z nich jako źródła odniesienia, a nie narzuconej listy kontrolnej dla tego pomiaru.
Zacznij od deklaracji i jednostki analizy
Sformułuj deklarację tak, aby można ją było zweryfikować, na przykład: „W zdefiniowanym zestawie niezwiązanych z marką pytań o lokalne usługi marka pojawiła się w 18 z 60 zarejestrowanych odpowiedzi w marcowym pomiarze”. Określ licznik, mianownik, zasady uznawania, że marka się „pojawiła”, oraz okres porównawczy. Jeśli deklaracja dotyczy cytowań, rekomendacji lub konkretnej lokalizacji, zdefiniuj to osobno — są to różne wyniki.
Zapisuj też jednostkę analizy. Czy pojedynczą obserwacją jest prompt, para prompt–model, para lokalizacja–zapytanie czy pojedyncza odpowiedź? Program obejmujący wiele lokalizacji powinien zachowywać identyfikator lokalizacji i regułę przypisywania pytania do lokalizacji. W przeciwnym razie przyszły analityk nie będzie w stanie ustalić, czy zmiana wynika z widoczności marki, zmiany udziału poszczególnych lokalizacji czy zmiany próby.
Zachowuj próbę, nie tylko podsumowanie
Zapisuj pełny zestaw promptów użyty w danym pomiarze, wraz z ich brzmieniem, językiem, rynkiem, intencją, informacją o obecności nazwy marki i kontekstem lokalizacyjnym. Notuj, kto wybrał prompty, kiedy to zrobił oraz jakie obowiązywały zasady uwzględniania lub wykluczania. Zachowuj wersjonowany zestaw główny i kopię właściwą dla danego pomiaru: późniejsza edycja wspólnej listy promptów nie powinna zmieniać historycznej próby.
Przed pomiarem zapisuj metodę doboru próby i planowaną jej wielkość, a po pomiarze — faktyczną liczbę zrealizowanych obserwacji oraz wszelkie wykluczenia. Jeśli podajesz odsetek, pokaż mianownik i liczbę obserwacji, na których go oparto. Wynik uzyskany z małego lub celowo dobranego zestawu może opisywać ten zestaw, ale sam w sobie nie dowodzi, jak często marka pojawia się w doświadczeniach wszystkich użytkowników AI.
- Zapisuj każdy prompt dokładnie w takiej postaci, w jakiej został wysłany, a także przypisuj mu stały identyfikator oraz etykiety kategorii lub lokalizacji.
- Rejestruj ramy doboru próby, metodę wyboru, planowaną i faktyczną liczbę obserwacji oraz przyczyny brakujących lub wykluczonych obserwacji.
- Oddzielaj od siebie powtarzane pomiary. Nie łącz po cichu odpowiedzi z różnych dat, produktów ani schematów doboru próby w jednym mianowniku.
Rejestruj warunki, które wpłynęły na odpowiedź
Dla każdej obserwacji zapisuj datę i godzinę, produkt lub interfejs, sposób dostępu, nazwę lub wersję modelu, jeśli została ujawniona, oraz istotne ustawienia. W stosownych przypadkach rejestruj geografię, język, urządzenie lub kontekst konta, a także informację, czy włączono przeglądanie internetu, wyszukiwanie lub inne narzędzia. Jeśli platforma nie udostępnia wersji modelu lub ustawienia, wpisz „niedostępne” — nie zgaduj.
Zachowuj pełną odpowiedź oraz widoczne cytowania lub linki, a nie tylko ręcznie zakodowaną odpowiedź „tak”. Jeśli istotny jest wygląd interfejsu, przechowuj zrzuty ekranu lub eksporty, a surowy tekst zachowuj w formacie umożliwiającym wyszukiwanie. Rejestruj niepowodzenia podczas zbierania danych, ponowne próby i zmiany procedury. Te informacje pomagają odróżnić zmianę w zaobserwowanej próbie od zmiany produktu, konfiguracji lub procesu zbierania danych.
Dokumentacja API OpenAI wskazuje, że zachowanie modelu w odpowiedzi na prompty może się różnić między jego kolejnymi wersjami. Zapisuj dostępną wersję modelu oraz warunki pomiaru; dziennik nie sprawi, że interfejs firmy trzeciej stanie się deterministyczny. Dokumentuje on to, co zaobserwował zespół, a nie gwarantuje, że to samo zapytanie później wygeneruje taką samą odpowiedź.
Zadbaj o odtwarzalność kodowania
Zdefiniuj etykiety przed przeglądem wyników pomiaru. Na przykład odróżnij wzmiankę o marce bez linku od cytowanego źródła, rekomendację od neutralnego odniesienia, a właściwą lokalizację od innego oddziału. Określ sposób postępowania z niejednoznacznymi odpowiedziami, błędami w pisowni, nazwami spółek nadrzędnych i porównaniami z konkurencją.
Zapisuj zakodowane dane obok surowej odpowiedzi: osobę kodującą, datę kodowania, wartości etykiet oraz informacje o rozstrzygnięciu lub zmianie oceny. W przypadku subiektywnych etykiet zakoduj niezależnie ustaloną wcześniej część próby i zachowaj informacje o rozbieżnościach oraz zasadzie ich rozstrzygania. Podaj odsetek podwójnie zakodowanych obserwacji i zastosowaną metodę pomiaru zgodności. Wskaźnika opartego na ludzkiej interpretacji nie należy przedstawiać tak, jakby był bezpośrednim licznikiem platformy.
Zachowaj obliczenia i ich ograniczenia
Zarchiwizuj logikę obliczeń, wersję arkusza kalkulacyjnego lub kodu, filtry i końcowy eksport danych. Przyszły analityk powinien móc prześledzić opublikowaną wartość aż do pojedynczych obserwacji i odtworzyć obliczenia. Zachowaj wersję raportu, datę jego wydania oraz informacje o późniejszych korektach.
Oddzielaj zaobserwowane fakty od interpretacji. „Marka pojawiła się w 18 z 60 odpowiedzi w próbie” to obserwacja. „Widoczność wzrosła dzięki kampanii” to twierdzenie przyczynowe, które wymaga dowodów wykraczających poza porównanie wyników przed kampanią i po niej. Podobnie próba promptów nie pozwala ustalić, jaki odsetek rzeczywistych rozmów użytkowników, ruchu lub sprzedaży był związany z AI. Informuj o tych ograniczeniach obok wyniku, a nie tylko w aneksie metodologicznym.
- Przechowuj surowe odpowiedzi, zakodowane obserwacje, wersje promptów, metadane pomiaru i wyniki obliczeń w jednym kontrolowanym repozytorium, łącząc je za pomocą stałych identyfikatorów.
- Stosuj kontrolę dostępu i zasady przechowywania danych odpowiednie do zebranych informacji. Nie zapisuj danych osobowych ani wrażliwych szczegółów konta, chyba że jest to konieczne i odpowiednio autoryzowane.
- Przy kolejnym pomiarze, o ile to możliwe, porównuj porównywalne dane. Odnotowuj wszelkie zmiany promptów, produktów, modeli, ustawień, geografii lub zasad kodowania, zamiast przedstawiać wyniki jako nieprzerwany trend.
Weryfikacja po sześciu miesiącach powinna zająć kilka minut, a nie wymagać zgadywania
Analityk powinien móc wybrać raportowany wskaźnik, prześledzić go do mianownika, sprawdzić źródłowe odpowiedzi, zweryfikować etykiety i ponownie wykonać obliczenia. Jeśli brakuje któregoś z tych elementów, ogranicz deklarację do tego, co potwierdzają zachowane dowody. Celem nie jest zamrożenie zmieniającego się produktu AI, lecz zapewnienie, że wybory pomiarowe są jawne, możliwe do sprawdzenia i rzetelne.
Źródła
Mierzysz markę albo sieć?
Każde sprawdzenie zachowuje odpowiedzi i źródła, więc liczbę można zweryfikować po miesiącach, a nie brać na wiarę.
Zobacz plany