Доверительные интервалы для доли упоминаний ИИ — простое объяснение без математики
Доверительный интервал может описывать неопределённость оценки доли упоминаний ИИ, связанную с выборкой, — но лишь если выборочный дизайн и его предположения позволяют так его интерпретировать.
Представьте: на панели указано, что ваш бренд упоминался в 18% ответов ИИ из выборки, тогда как в прошлом месяце — в 14%. Это реальное изменение или обычные колебания, связанные с тем, какие запросы и ответы попали в выборку? Доверительный интервал поможет сформулировать этот вопрос, если выборочный дизайн позволяет его рассчитать. Это не обещание, что в следующем ответе упомянут ваш бренд, и не гарантия того, что так обстоят дела со всеми ответами ИИ. Интервал описывает неопределённость оценки при заданных предположениях.
Начните со знаменателя
Понятие «доля упоминаний» имеет смысл только тогда, когда вы определили, что считается одним наблюдением и что именно считается упоминанием. Один из распространённых вариантов — доля ответов из выборки, в которых бренд упомянут хотя бы раз. Например, если упоминание есть в 36 из 200 ответов, наблюдаемая доля составляет 18%. В других случаях считают запросы, запуски запросов, цитирования или места размещения — и получают другие значения. Прежде чем сравнивать проценты, укажите единицу наблюдения, правила включения, платформы и период измерения.
Кроме того, различайте долю ответов с упоминанием и долю запросов с упоминанием. Если один и тот же запрос запускают несколько раз, такие ответы не становятся автоматически эквивалентом ответов на разные запросы. У них могут совпадать формулировка, цель, поведение модели и другие условия. Большое число повторных запусков может описывать поведение в рамках узкого теста, но не обязательно отражает другие вопросы пользователей.
Что означает интервал — простыми словами
Нельзя определить доверительный интервал, имея только оценку: его расчёт зависит от данных и выборочного дизайна. Например, 36 упоминаний в 200 ответах дают наблюдаемую долю 18%, но сами по себе не позволяют установить конкретный интервал. При корректном методе и соблюдении его предположений процедура расчёта 95%-го доверительного интервала устроена так, что примерно в 95% повторных сопоставимых выборок полученные интервалы будут включать истинное значение. Это характеристика процедуры, а не 95%-я вероятность того, что конкретный интервал содержит истинное значение, и не утверждение о том, что будущие ответы окажутся внутри него.
Ширина интервала зависит от данных и метода расчёта. Широкий интервал наглядно показывает большую неопределённость; узкий интервал не доказывает, что измерение отражает все взаимодействия с ИИ. Он учитывает только ту неопределённость, которую охватывают метод и его предположения.
Ловушка размера выборки: больше строк — не всегда больше данных
Если команда собрала много ответов, может возникнуть соблазн считать каждый из них независимым наблюдением. Но запросы могут группироваться по теме, региону или намерению; несколько запусков могут использовать один и тот же запрос; результаты могут быть получены от одной модели или за один период. Если наблюдения связаны между собой, фактический объём информации может быть меньше, чем предполагает общее число ответов. Простой биномиальный интервал предполагает независимость испытаний и не учитывает группировку или повторные запросы. Проверьте документацию к методу: какие предположения он использует и учитывает ли особенности выборки. Если нет, интервал может занижать неопределённость.
План выборки важен не меньше, чем её объём. Выборка, сосредоточенная на запросах с названием бренда, одном регионе или одной модели, не позволяет делать выводы о поиске без упоминания бренда, всех рынках или всех ИИ-ассистентах. Точно так же запросы, отобранные вручную, подходят для отслеживания именно этих запросов, но не становятся автоматически вероятностной выборкой реальных вопросов пользователей. Обычная погрешность выборки не устраняет это ограничение.
Сравнивайте изменения, не превращая шум в историю
Перекрывающиеся интервалы для двух оценок сами по себе не доказывают, что доли не изменились; неперекрывающиеся интервалы сами по себе не доказывают, что изменение существенно. Неопределённость разницы зависит от дизайна сравнения, в том числе от того, использовались ли в обоих периодах одни и те же запросы и условия, а также связаны ли наблюдения попарно или сгруппированы. Для обоснованного сравнения оцените неопределённость самого изменения с помощью метода, подходящего для этого дизайна, а не полагайтесь на визуальное сопоставление отдельных интервалов.
Если цель — отслеживать тенденцию, сохраняйте методику измерения неизменной: набор запросов, правила включения, настройки платформы и модели, число запусков, время сбора данных, географию и правила оценки. Если что-то меняется, отметьте разрыв в ряду данных. Обновлённый набор запросов может быть более точным, но без оговорок его показатели нельзя напрямую сопоставлять с прежним рядом.
От чего доверительный интервал вас не защитит
Интервал может отражать вариативность выборки при соблюдении заложенных предположений. Но он автоматически не учитывает смещение при отборе запросов, непоследовательную классификацию упоминаний, обновления моделей, сбои в работе, изменчивость ответов или расхождения между тестовыми запросами и реальными потребностями пользователей. Интервал для смещённой выборки не устраняет это смещение. Для невероятностных выборок обычный доверительный интервал может не иметь привычной интерпретации; предположения любого модельного подхода следует явно указать и обосновать.
Доля упоминаний не объясняет, почему модель упомянула бренд, увидели ли люди ответ и доверяли ли ему, а также привёл ли ответ к посещению сайта или покупке. Рассматривайте её как измерение наблюдаемых результатов в заданных условиях, а не как прогноз, доказательство причинно-следственной связи или гарантию того, что системы ИИ будут рекомендовать компанию.
Как составить отчёт, который аналитик сможет обосновать
Укажите оценку и рядом с ней — доверительный интервал, если выборочный дизайн позволяет его рассчитать, — а также краткое описание метода. Включите числитель и знаменатель; единицу наблюдения; запросы, вошедшие в выборку, и способ их отбора; платформу или модель и даты сбора данных; число запусков; сведения о группировке и повторных запросах; правила классификации упоминаний; способ расчёта интервала, в том числе учёт зависимости между наблюдениями. Если дизайн не позволяет использовать обычный доверительный интервал, прямо скажите об этом и представьте долю как описательную статистику.
- Пишите: «Бренд упоминался в 18% ответов в рамках этого теста с заданными условиями», а не: «ИИ рекомендует нас в 18% случаев».
- Для описания абсолютного изменения указывайте процентные пункты: рост с 14% до 18% составляет четыре процентных пункта.
- Отделяйте неопределённость, связанную с выборкой, от известных ограничений дизайна: один интервал не может обобщить все источники ошибки.
- Если результаты близки или нестабильны, приводите оценки и их ограничения, не объявляя победу или поражение, если дизайн и данные не позволяют сделать такой вывод.
Доверительный интервал не разрешает любые споры. Если его предположения уместны, он помогает понять, насколько надёжно можно опираться на оценку. Добавьте к нему прозрачное описание выборки — и вместо вопроса «Какой процент верный?» можно будет обсудить: «Что именно отражает этот тест и какие решения он помогает принять?»
Источники
Меряете бренд или сеть?
Каждый скан хранит сами ответы и источники — число можно перепроверить через полгода, а не принимать на веру.
Посмотреть тарифы