Сменили сырье. Как проверить, что вкус остался прежним

Допустим, производство нашло нового поставщика фруктового наполнителя. Цена устраивает, документы проверены, пробная партия йогурта готова. На внутренней дегустации одни сотрудники замечают более резкую кислоту, другие уверены, что ничего не изменилось. Средние оценки почти совпадают.

Можно подписывать согласование? Пока рано. В этом условном примере предприятие еще не определило, что именно собирается доказать.

Фраза «вкус остался прежним» кажется понятной, пока не становится основанием для закупки. Она может означать:

• что люди не различают два продукта;
• что отдельные характеристики укладываются в допустимые границы;
• или что новая версия нравится покупателям не меньше старой.

Для каждого утверждения нужны свои данные. Одна дегустация с общей оценкой «качество» не отвечает на все три вопроса.

При замене поставщика или локализации закупок критерии приемки стоит согласовать до дегустации. Если определять их после просмотра оценок, слишком легко подобрать объяснение под желаемый исход.

Обнаружить различие помогает треугольный тест

Участник получает три закодированные пробы, две из которых представляют один продукт, а третья — другой. Его задача — выбрать отличающуюся.

Такой метод применяют, в частности, для проверки изменений после замены ингредиентов или технологического процесса. При случайном выборе вероятность правильного ответа составляет одну треть. Поэтому несколько верных ответов сами по себе еще ничего не доказывают.

Разберем расчетный пример

Тридцать участников независимо выполняют по одному тесту. Если все угадывают, ожидаемое число правильных ответов равно 30 × 1/3, то есть десяти.

Предположим, верно ответили пятнадцать человек. При отсутствии различимой разницы вероятность получить пятнадцать или больше правильных ответов составляет примерно 4,35%. Это результат точного одностороннего биномиального расчета для 30 испытаний с вероятностью успеха 1/3.

• При заранее выбранном уровне значимости 5% такой результат позволяет отклонить гипотезу о случайном угадывании.
• Для четырнадцати правильных ответов вероятность составляет уже около 8,98%, и тот же критерий не срабатывает.

Тридцать участников взяты для иллюстрации. Необходимый объем испытания определяют при планировании.

Особенно опасен следующий шаг: получив четырнадцать ответов, написать в заключении, что продукты одинаковы.

Проведенный расчет показывает лишь, что данных недостаточно для обнаружения различия по выбранному правилу. Статистически незначимый результат может оказаться неопределенным, в том числе при недостаточном объеме данных.

Если задача состоит в подтверждении сходства, ее нужно так и ставить до начала работы. Для треугольного метода существуют процедуры проверки как различия, так и сходства.

Во втором случае заранее задают критерии сходства и допустимый риск ошибочного заключения. От этих условий зависит необходимое число оценок. Заключение будет относиться к выбранным границам и условиям испытания.

Другая задача возникает, когда различие обнаружено и технологу нужно понять его характер

Треугольный тест не измеряет, насколько усилилась кислотность или ослаб аромат. Для этого используют описательный анализ.

Подготовленная панель договаривается о дескрипторах, определениях и шкалах, затем оценивает выраженность каждого признака. Так получается профиль продукта, который можно разбирать по отдельным характеристикам.

Вернемся к условному йогурту

Если новый наполнитель дает более выраженную кислоту и менее заметный фруктовый аромат, общая оценка может скрыть оба изменения. Один участник сочтет кислоту приятной, другой снизит за нее балл.

Технологу полезнее отдельно увидеть оценки кислотности, интенсивности аромата и текстуры. Тогда появляется предмет для корректировки рецептуры, а не спор о том, чей вкус правильнее.

При этом высокая интенсивность признака не означает высокое качество. Сильнее выраженная горечь может быть нужной характеристикой одного продукта и нежелательным изменением другого.

В анкете следует явно различать вопрос о силе ощущения и вопрос о его приемлемости. Иначе одинаковые числа будут обозначать разные суждения, а арифметически правильный отчет окажется трудно интерпретировать.

Вопрос о покупательском предпочтении требует отдельного исследования с потребителями

• Экспертный профиль описывает свойства продукта;
• потребительская оценка показывает реакцию выбранной аудитории.

Для решения о замене сырья могут понадобиться оба результата. Например, обнаруженное изменение аромата еще не сообщает, снизилась ли привлекательность продукта для тех, кто его покупает.

Но даже подходящий метод можно испортить подачей образцов

В треугольном тесте используют:

• одинаковую посуду;
• нейтральные коды;
• и сбалансированный порядок предъявления.

Подготовку проб и условия оценки стандартизируют. Участник выбирает отличающуюся пробу даже тогда, когда вынужден угадывать.

Самовольное добавление ответа «разницы нет» меняет процедуру и делает приведенный выше расчет неприменимым без пересмотра модели.

В нашем примере перед сравнением стоит проверить:

• возраст обеих партий;
• условия хранения;
• температуру подачи;
• и способ перемешивания.

Если прежний йогурт взяли со склада, а новый только что изготовили, обнаруженное различие нельзя уверенно приписать наполнителю. Вместе с сырьем изменился еще один фактор. Испытание нужно организовать так, чтобы эти объяснения можно было разделить.

По той же причине одной удачной опытной партии недостаточно для широкого вывода о новом поставщике. Она характеризует испытанные образцы.

Чтобы оценить устойчивость результата, в план проверки стоит включить несколько партий сырья и готового продукта. Если требуется сохранить характеристики в течение хранения, нужны сопоставления в выбранные сроки. Свежие образцы не дают ответа за весь жизненный цикл продукта.

Здесь возникает задача, которую невозможно решить одной итоговой цифрой

Через месяц технологу понадобится восстановить:

• какой вариант рецептуры оценивали;
• с какой партией сравнивали;
• и какую анкету заполняли участники.

Для корректного сравнения итераций нужны исходные ответы и контекст каждого испытания.

В PTNL Rating для этой работы предусмотрены настраиваемые анкеты с дескрипторами и шкалами, электронный сбор оценок, история сессий и версий анкет. Платформа показывает профили по дескрипторам, позволяет сравнивать образцы и выгружать исходные данные.

Идентификаторы партий, условия подготовки и основания для решения следует фиксировать в рабочем протоколе. Название сессии «Новый поставщик, тест 2» такого описания не заменяет.

Специализированный статистический расчет нужно выбирать под задачу и структуру данных. Наличие автоматического отчета само по себе не означает, что система выполнила проверку сходства или учла зависимость повторных оценок одного человека.

В описании функций PTNL Rating такие конкретные процедуры не заявлены. Доступная выгрузка исходных данных позволяет передать их для отдельного анализа по выбранной методике.

В заключении по замене сырья полезно разделять наблюдение и решение

• Наблюдение сообщает, какие образцы исследовали, какой метод применяли и что получили.
• Решение объясняет, почему этого достаточно для согласования либо почему нужна доработка.

Так фраза «комиссия одобрила» превращается в документ, по которому другой специалист сможет проверить ход рассуждений.

Если после запуска возникнет вопрос к вкусу, у предприятия останется возможность проверить, какие изменения заметили при испытаниях и на каких условиях приняли новое сырье. Следующую проверку можно будет начать с этих данных.