Что нужно фиксировать, чтобы через полгода можно было проверить заявление о видимости в ИИ
Чтобы результат измерения видимости в ИИ можно было обосновать, одного показателя недостаточно: сохраните набор вопросов, условия проведения, ответы, правила кодирования и ограничения вывода.
Через полгода после публикации отчёта кто-нибудь может спросить, что на самом деле означает «видимость выросла». Можно ли восстановить вопросы, узнать, какие локации учитывались, изучить ответы и повторить расчёт? Если нет, оценить показатель будет сложно.
Воспринимайте каждый замер как исследовательскую запись с датой, а не просто снимок экрана с панели показателей. Сохраняйте достаточно информации, чтобы объяснить, что проверялось, как проходила проверка, что наблюдалось, как наблюдения превратились в метрики и чего результат не доказывает. В NIST AI Risk Management Framework приведены рекомендации по управлению рисками ИИ и оценке систем. Используйте их как справочный материал, а не как обязательный перечень требований к этому измерению.
Начните с вывода и единицы измерения
Сформулируйте вывод так, чтобы его можно было проверить. Например: «В заданном наборе вопросов о локальных услугах без упоминания бренда бренд встретился в 18 из 60 зафиксированных ответов в мартовском замере». Укажите числитель, знаменатель, правило, по которому ответ считается содержащим упоминание, и период сравнения. Если речь идёт о цитировании, рекомендациях или конкретной локации, определите это отдельно: это разные результаты, которые нельзя считать взаимозаменяемыми.
Также зафиксируйте единицу анализа. Что считается одним наблюдением: запрос, пара «запрос — модель», пара «локация — запрос» или отдельный ответ? В программе для нескольких локаций сохраняйте идентификатор локации и правило привязки вопроса к ней. Иначе будущий аналитик не сможет понять, связано ли изменение с видимостью бренда, изменившимся распределением локаций или другой выборкой.
Сохраняйте выборку целиком, а не только сводку
Сохраняйте полный набор запросов в том виде, в котором он использовался в замере, включая формулировку, язык, рынок, намерение пользователя, наличие названия бренда и контекст локации. Фиксируйте, кто и когда выбрал запросы, а также правила включения и исключения. Храните версионируемый основной набор и отдельную копию для каждого замера: последующее редактирование общего списка не должно менять историческую выборку.
До начала замера зафиксируйте метод выборки и планируемый её размер, а после — фактическое число завершённых наблюдений и все исключения. Если вы приводите долю, укажите знаменатель и число наблюдений, на которых она основана. Результат, полученный на небольшой или специально отобранной выборке, описывает именно её; сам по себе он не показывает, как часто бренд встречается в ИИ-сервисах у всех пользователей.
- Сохраняйте каждый запрос в точности в том виде, в каком он был отправлен, а также его постоянный идентификатор и метки категории или локации.
- Фиксируйте основу выборки, метод отбора, целевой и фактический размер, а также причины отсутствия или исключения наблюдений.
- Не смешивайте отдельные замеры. Не объединяйте незаметно ответы, полученные в разные даты, в разных продуктах или по разным схемам выборки, в один знаменатель.
Фиксируйте условия, повлиявшие на ответ
Для каждого наблюдения записывайте дату и время, продукт или интерфейс, способ доступа, название или версию модели, если они указаны, и относящиеся к делу настройки. По возможности фиксируйте географию, язык, устройство и контекст учётной записи, а также то, были ли включены просмотр веб-страниц, поиск или другие инструменты. Если платформа не раскрывает версию модели или настройку, укажите «недоступно» — не делайте предположений.
Сохраняйте полный ответ и все видимые цитаты или ссылки, а не только вручную проставленную отметку «да». Если важен сам интерфейс, сохраняйте снимки экрана или выгрузки; исходный текст храните в формате, пригодном для поиска. Фиксируйте сбои при сборе данных, повторные попытки и изменения процедуры. Эти сведения помогут отличить изменения в наблюдаемой выборке от изменений продукта, конфигурации или процесса сбора данных.
В документации API OpenAI отмечено, что поведение промптов может различаться между версиями моделей. Записывайте версию модели, если она доступна, и условия проведения замера. Журнал не может сделать сторонний интерфейс детерминированным: он фиксирует наблюдения вашей команды, а не гарантирует, что тот же запрос позднее даст тот же ответ.
Сделайте кодирование воспроизводимым
Определите метки до начала проверки результатов. Например, различайте упоминание бренда без ссылки и цитируемый источник, рекомендацию и нейтральное упоминание, правильную локацию и другой филиал. Укажите, как обрабатываются неоднозначные ответы, ошибки в написании, названия материнской компании и сравнения с конкурентами.
Храните закодированную запись вместе с исходным ответом: указывайте кодировщика, дату кодирования, значения меток, а также сведения о разборе разногласий или изменении меток. Для субъективных меток дважды кодируйте заранее определённую часть выборки и сохраняйте расхождения и правила их разрешения. Указывайте долю наблюдений с двойным кодированием и использованный метод оценки согласованности. Метрику, основанную на человеческой интерпретации, не следует представлять так, будто это счётчик самой платформы.
Сохраняйте расчёт и его ограничения
Архивируйте логику расчёта, версию таблицы или кода, фильтры и итоговую выгрузку данных. Будущий аналитик должен иметь возможность проследить опубликованный показатель до отдельных наблюдений и пересчитать его. Сохраняйте версию отчёта, дату публикации и все последующие исправления.
Отделяйте наблюдаемые факты от их интерпретации. «Бренд встретился в 18 из 60 ответов в выборке» — это наблюдение. «Видимость выросла благодаря кампании» — причинно-следственный вывод, для которого нужны доказательства помимо сравнения показателей до и после. Аналогично, выборка запросов не показывает долю реальных разговоров пользователей, трафика или продаж, на которые повлиял ИИ. Указывайте эти ограничения рядом с результатом, а не только в приложении с методологией.
- Храните исходные ответы, закодированные наблюдения, версии запросов, метаданные замеров и результаты расчётов в одном репозитории с контролем доступа, связывая их постоянными идентификаторами.
- Настройте контроль доступа и сроки хранения с учётом собранных данных; не сохраняйте персональные или конфиденциальные данные учётных записей без необходимости и соответствующего разрешения.
- При следующем замере по возможности сравнивайте сопоставимые данные. Изменения запросов, продуктов, моделей, настроек, географии или правил кодирования отмечайте явно, а не представляйте показатели как непрерывный тренд.
Проверка через полгода должна занимать минуты, а не требовать догадок
Аналитик должен иметь возможность выбрать опубликованную метрику, проследить её до знаменателя, изучить исходные ответы, проверить метки и повторить расчёт. Если какое-то звено отсутствует, сузьте вывод до того, что подтверждают сохранившиеся данные. Цель не в том, чтобы зафиксировать меняющийся продукт на месте, а в том, чтобы сделать ваши решения при измерении прозрачными, проверяемыми и честными.
Источники
Меряете бренд или сеть?
Каждый скан хранит сами ответы и источники — число можно перепроверить через полгода, а не принимать на веру.
Посмотреть тарифы