Процедура экспертной оценки качества продукции. Методы экспертной оценки показателей качества товаров. Влияние состава экспертов на результаты экспертизы
На основном этапе, предназначенном для получения результатов экспертных оценок, применяются две подгруппы методов: 1) экспертной оценки характеристик товаров и 2) опроса экспертов для выявления их суждений и мнений.
Методы экспертной оценки характеристик товаров. Поскольку одним из оснований для проведения экспертизы является невозможность или неэкономичность применения объективных методов оценки (изме-
рительного, регистрационного, расчетного), результаты экспертных оценок, отражающих суждения и мнения экспертов, обычно выражаются в форме описаний или условных единиц (баллов, рангов и т. п.). В связи с этим наиболее распространенной сферой применения методов экспертной оценки товаров являются такие подвиды товароведной экспертизы, как идентификационная экспертиза и экспертиза по качеству. Количественная и документальная экспертизы могут быть проведены и объективными методами путем использования средств измерений или пересчета, а также методом сравнительного анализа документов.
Идентификационная экспертиза и экспертиза по качеству осуществляются путем определения показателей качества. Определение экспертами количественной характеристики показателей без применения объективных методов основывается на мыслительном исследовании этих показателей с использованием шкал порядка или наименований, а в некоторых случаях - шкал разницы и отношений. При этом эксперты могут оценивать единичные и/или комплексные показатели качества, применяя дифференцированный и комплексный методы.
Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и комплексных показателей качества.
Данные методы предназначены для определения значений показателей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэкономично из-за чрезмерных расходов или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органолептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.
Для дифференциальной и комплексной оценки образцов, значительно отличающихся по качеству, рекомендуется определять значение единичного показателя Р дифференциальным методом.
Дифференциальный метод оценки показателей качества - метод, основанный на сравнении действительных значений единичных показателей с базовыми значениями тех же показателей:
§ 5. Экспертные методы
При дифференциальном методе фактически определяется уровень качества, если за базовое значение выбрано регламентированное нормативным документом значение показателя качества или базовый образец. При этом эксперт должен дать ответ: уровень качества по исследуемому показателю выше или ниже либо равен базовому образцу.
Сфера применения дифференциального метода выходит далеко за рамки только экспертной оценки. Он находит широкое применение и в научных исследованиях, и при оценке специалистами конкурентоспособности товаров. Действительные значения единичных показателей могут быть получены измерительным методом, а затем рассчитаны и проанализированы специалистами или экспертами.
Вместе с тем использование данного метода при экспертной оценке имеет определенные особенности.
Оценка единичных показателей качества экспертами начинается с определения допустимых интервалов их измерения (р. макс: /> f MHH) р. макс - наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя (р. макс) зависят от целей оценки качества. При этом необходимо, чтобы для всех показателей этот принцип был единым.
Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработки согласованных решений на предыдущей ступени.
Экспертная процедура определения допустимых значений показателей качества состоит из следующих операций:
Выдача экспертам анкет пояснительной записки, в которой пере
числены показатели качества и описаны принципы выбора допус
тимых значений показателей;
Заполнение экспертами анкет и указание конкретных моделей про
дукции, значения которых они считают предельно допустимыми;
Ознакомление каждого эксперта с оценками, назначенными дру
гими экспертами, и их обсуждение;
Проведение второго (иногда третьего и четвертого) тура анкети
рования;
» усреднение результатов оценки.
При значительном разбросе мнений проводится дополнительный тур голосования. Значение показателя принимается за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений р. макс, за минимальное допустимое значение - среднее из 50% наименьших значений Р г мин. Полученные значения используются экспертами при определении оценок показателей качества К.
Для установления экспертами вида зависимостей (/) между значениями показателей P t и их оценками К,- нередко используется метод главных точек. Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно построить модель искомой величины.
Комплексный метод оценки показателей качества - метод, основанный на установлении наиболее значимых для оценки качества единичных показателей, определении их действительного и средневзвешенного значений комплексного показателя с учетом коэффициентов весомости.
Расчет комплексного показателя качества (Q) осуществляется по формуле
где Р\,Рг, ■■■iPn - действительные значения показателей качества;
К в ь К„2, ..., К в „ - коэффициенты весомости этих показателей.
Применение комплексного метода требует обоснованного выбора номенклатуры показателей качества товаров.
Глава 4. Методы товарной экспертизы]
§ 5. Экспертные методы
Эти показатели подразделяются на оценочные, идентификационные и ограничительные.
Оценочные показатели - показатели потребительских свойств, обладающие способностью удовлетворять основные потребности.
Данные показатели используют при необходимости оценки уровня качества и конкурентоспособности товаров, а также для позиционирования их на определенном сегменте рынка и проведении товароведной экспертизы по качеству.
Идентификационные показатели - показатели потребительских свойств, предназначенные для систематизации товаров и отнесения их к определенным классификационным группировкам.
Такие показатели чаще применяются при проведении идентификационной экспертизы.
Ограничительные показатели - показатели, предназначенные для ограничения установленных требований.
Выбор этих показателей определяется целями товарной экспертизы, а ограничения устанавливаются соответствующими нормативными методами. Достаточно часто действительные значения ограничительных показателей качества получают измерительными методами, а в задачи экспертов входит лишь сравнение результатов испытаний с установленными требованиями. При этом коэффициенты весомости комплекса испытуемых показателей не учитываются.
Ограничительные показатели находят широкое применение при обязательной сертификации по показателям безопасности, а также при санитарно-эпидемиологической, ветеринарной, фитосанитарной и экологической экспертизах. В ряде случаев они могут применяться и з таких разновидностях товароведной экспертизы, как идентификаци-энная и по качеству. Например, при установлении принадлежности шкогольного напитка к водке используют следующие ограничительные показатели: минимально допустимое содержание этилового спирта и максимально допустимое содержание сивушных масел и ме-гилового спирта.
Выбор номенклатуры показателей качества товаров и их эксперт-гая оценка могут осуществляться двумя методами: экспресс-методом i методом движения по уровням без подготовки и с подготовкой.
Экспресс-методы комплексной оценки качества образцов това->ов основаны на определении комплексного показателя качества путем
анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.
При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для высококвалифицированного эксперта является 7-9 показателей, расположенных на одном уровне иерархии и составляющих достаточно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.
Метод движения по уровням без подготовки представляет собой комплекс операций, осуществляемых последовательно, с постепенным повышением уровня. При этом анализ начинается от нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.
Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична процедуре по методу движения по уровням без подготовки.
Метод главных точек в зависимости от их числа имеет несколько разновидностей.
Метод трех главных точек - метод, основанный на разделении значений показателей Р, на максимальное, минимальное и среднее значения и определении значений оценок К,- в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и построение графика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя качества К,. Данный метод позволяет разработать лишь приближенную модель оценки К,.
Глава 4. Методы товарной экспертизы
§ 5. Экспертные методы
Метод семи главных точек - метод оценки по семибалльной шкале определения показателей, значения которых установлены экспериментальным или расчетным путем, а также органолептическим методом.
Семибалльная шкала является равномерной, т. е. при переходе от одного класса качества к другому оценка меняется на один балл. Такие шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.
Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости/ Затем каждому классу качества назначается оценка в соответствии с характером зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс «наивысшее качество» получает оценку 10.
Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Р, и их оценками К,-, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.
В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.
Применение метода главных точек дает возможность осуществлять группировку и классификацию показателей по видам зависимости.
Методы опроса
Методы опроса - методы, основанные на проведении анкетного эпроса группы экспертов с последующим анализом и обработкой по-тученной от них информации.
Целью этих методов является определение индивидуальной и групповой экспертной оценки для принятия окончательных решений.
Основанием для выбора этих методов служит необходимость тринятия сложных решений в ситуации неопределенности или со-
ставление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных либо непродовольственных товаров). Важнейшими инструментами методов опроса служат его процедура и анкеты.
Разработка процедуры опроса проводится после формулирования целей и задач, формирования группы аналитиков. Для этого составляются анкеты (открытые и закрытые) и определяются методы опроса (индивидуальные и групповые, очные и заочные). Существуют определенные методики составления анкет, которые целесообразно учитывать при их разработке.
При разработке анкет группа аналитиков должна предусмотреть уровень детализации проблемы, который определяется спецификой и целями экспертизы. От уровня детализации зависит достоверность результатов экспертизы, причем с ростом степени детализации согласованность экспертных оценок, как правило, увеличивается. Однако излишняя детализация проблемы может привести и к снижению надежности информации, полученной от экспертов.
Детализация проблемы осуществляется путем включения в анкету тестов (закрытых вопросов) с элементами готовых ответов или без ответов (открытых вопросов). Элементы готовых ответов в дальнейшем позволяют облегчить обобщение и формализацию ответов экспертов, но и ограничивают информативность оценки одним или несколькими альтернативными ответами, при этом возникает опасность навязывания эксперту ответов. При включении в анкету открытых вопросов эксперт может дать ответ в любой форме и с любым объемом информации. В этом случае появляется возможность обнаружения с помощью экспертов новых, порой неожиданных для аналитиков аспектов проблемы. Конкретный вопрос с определенным набором готовых альтернативных ответов называется признаком анкеты. Набор ответов может быть качественного и количественного характера. При качественном характере набора ответов задача эксперта заключается в выборе из предлагаемых элементов ответов, которые, по его мнению, наиболее полно отражают суть проблемы по данному вопросу. При количественном характере набора ответам на вопросы присваивают числовые значения.
Глава 4. Методы товарной экспертизы
§ 5. Экспертные методы
При подборе признаков, которые желательно включить в анкету, нельзя допускать возможность двойного толкования вопросов. Поэтому полезно проверить анкету самими аналитиками. Если распределение суждений по некоторому признаку имеет значительное стандартное отклонение, можно предположить, что данный признак двусмыслен.
Все вопросы в анкете можно разделить в зависимости от их содержания на три группы:
Объективные анкетные данные об эксперте - возраст, образование,
профессия, стаж работы, научное звание, узкая специализация;
Характеристики, позволяющие оценить мотивы, которыми руко
водствовался эксперт при оценке исследуемой проблемы;
Основные вопросы, касающиеся существа исследуемой проблемы.
В зависимости от широты охвата методы опроса экспертов подраз
деляются на индивидуальные и групповые, а от наличия или отсутст
вия обсуждения результатов оценки в экспертной группе, его характе
ра, обоснования оценок, личных контактов и опрашиваемых субъектов
различаются несколько способов экспертного опроса (рис. 17).
Выбор того или иного способа проведения экспертного опроса определяется целями экспертизы, затратами на ее проведение и ожидаемыми результатами, а критериями выбора служат объективность, информированность и трудоемкость.
Критерий объективности. Хотя требование объективности эксперта является одним из основных, однако на практике на экспертов может быть оказано определенное влияние. Оно может носить конформный или авторитарный характер и играет отрицательную роль, так как мнение и оценка эксперта формируются под влиянием факторов, не относящихся к свойствам товаров или других объектов экспертизы.
В связи с этим при выборе способов проведения опросов экспертов предпочтение следует отдавать тем из них, при которых конформное или авторитарное влияние проявляется в меньшей степени. К таким способам относятся, например, анонимное обоснование оценок, отсутствие контактов между экспертами, закрытое голосование. При вынесении коллективной экспертной оценки обычно не происходит беспристрастного и последовательного анализа проблем. Оценка основана на компромиссе между суждениями отдельных экспертов, поэтому способ кол-пективной экспертной оценки редко применяется при опросе экспертов.
Рис. 17. Классификация способов экспертного опроса
Глава 4. Методы товарной экспертизы
§ 5. Экспертные методы
Критерий информированности относится к важнейшим факторам, влияющим на качество эксперта, а также на надежность принимаемых им оценок. Повышению информированности экспертов способствует их взаимное обогащение в ходе обсуждения оценок. Логические доводы других экспертов, сообщаемая при этом дополнительная информация, ранее неизвестная другим экспертам, позволяют повысить уровень информированности, за счет чего эксперт может скорректировать свою оценку.
Исходя из этого, наиболее удачными по критерию информированности являются способы, содержащие информацию об оценках других экспертов. Существуют также личные контакты между экспертами, происходит дискуссионное обсуждение оценок и персональное обоснование их. Поэтому при организации работы постоянных экспертных групп целесообразен обмен информацией, поскольку он способствует слаженной работе экспертов. При создании временных экспертных групп обмен информацией и коллективное обсуждение рекомендуются только в тех случаях, когда проведены оценка и отбор экспертов на объективность корректирования своих суждений (отсутствие конформизма). Во всех случаях при учете критерия информированности экспертов не следует забывать о создании условий для их объективности и исключения конформного или авторитарного влияния.
Критерий трудоемкости зависит от количества проводимых операций, их продолжительности и характера. Так, при письменном обосновании оценок эксперт затрачивает больше времени, чем при устной дискуссии. Эффективность экспертного опроса в значительной степени зависит от способов и техники выявления суждений экспертов.
Способы и техника опроса экспертов. При индивидуальном опросе технический работник проводит опрос каждого эксперта, а при групповом - сразу всей группы. Результаты индивидуального опроса после обобщения и соответствующих расчетов могут быть использованы для установления групповых оценок. Однако групповая оценка может быть получена и в результате индивидуального опроса лидера и сублидера экспертной группы.
Индивидуальный опрос каждого эксперта в группе связан с повышенной трудоемкостью, значительными затратами времени и разбросом суждений, что затрудняет выявление объективной и достоверной экспертной оценки.
При индивидуальном опросе лидеров и сублидеров экспертной группы и особенно отдельных экспертов затраты времени на опрос меньше, однако вероятность конформизма среди членов группы и проявления авторитарных мнений лидера и сублидера больше.
В зависимости от технических приемов анкетирования индивидуальный опрос делится на следующие разновидности: интервью, интервью-анкеты, анкетирование и смешанное анкетирование.
Достоинства и недостатки этих способов указаны в табл. 5. Индивидуальный способ опроса делится на разновидности в зависимости от применяемых технических приемов.
Таблица 5 Достоинства и недостатки разных способов опроса экспертов
Способы и разновид- | Достоинства | Недостатки |
ности опроса | ||
Индивидуальный | Возможность выявить | Высокие затраты вре- |
способ | все или большинство | мени и критерий трудо- |
разновидности по тех- | неясных вопросов, | емкости. При первич- |
ническим приемам: | уточнить недостаточно | ном опросе эксперт |
интервью | сформулированные; | может задавать нечетко |
интервью-анкеты | использовать техниче- | сформулированные во- |
смешанное анкетирова- | ские приемы | просы, увеличивающие |
ние | трудозатраты. | |
анкетирование | Возможно снижение | |
объективности | ||
Групповой способ | Сокращение затрат вре- | Невозможность ис- |
мени экспертов и рабо- | пользования техниче- | |
чей группы, снижение | ских приемов | |
критерия трудоемкости |
Интервью - разновидность опроса эксперта для выявления его оценки в ходе свободной, но.проводимой по определенной программе беседы с экспертом.
Интервью-анкета - разновидность опроса эксперта путем постановки перед ним конкретных вопросов в определенной последовательности, задаваемых в форме анкеты.
Глава 4. Методы товарной экспертизы
§ 5. Экспертные методы
Анкетирование - разновидность опроса экспертов с помощью вопросов анкеты, на которые эксперт дает письменные ответы. Чаще всего анкетирование проводится заочным методом без контакта с рабочей группой. Для повышения степени информированности эксперта к анкете прилагается пояснительная записка.
Смешанное анкетирование - разновидность опроса эксперта с помощью анкет и дополнительного инструктажа членом рабочей группы. Целью инструктажа являются уточнение деталей, постановка дополнительных вопросов (при необходимости).
По информативности наибольшими возможностями обладают такие методы, как интервью, интервью-анкета и смешанное анкетирование, а по объективности - анкетирование. Минимальная объективность свойственна интервью. Однако исходя из разных целей экспертизы, на практике может применяться любой из указанных способов. При этом предпочтение одной из указанных разновидностей отдается в следующих случаях:
При отсутствии ограничений времени проведения опроса целесооб
разно проводить интервью-анкету или смешанное анкетирование;
При значительном числе экспертов и возможности собрать их всех
вместе применяют анкетирование;
При невозможности задать четко сформулированные вопросы,
которые будут поняты всеми экспертами однозначно, а также
при затруднениях эксперта выразить ответы на задаваемые во
просы в виде числовых оценок применяют смешанное анкети
рование.
При проведении опроса экспертов необходимо соблюдать общие и специфические требования к условиям опроса. Общие требования к условиям опроса:
Благоприятная психологическая обстановка опроса, способствую
щая заинтересованности эксперта путем установления благожела
тельного контакта между опрашиваемым и проводящим опрос;
Исключение возможности сознательного или бессознательного
навязывания эксперту мнения членов рабочей группы или других
экспертов;
Обеспечение уверенности эксперта в том, что выносимые оценки
не будут использованы в неблагоприятных для него целях; в от-
дельных случаях может быть поставлено условие о конфиденциальности информации об оценках эксперта;
Создание и поддержание оптимальной трудоемкости опроса путем
выполнения экспертами только творческих, наиболее сложных
оценочных операций и передачи вспомогательных расчетных,
графических, других операций техническому персоналу рабочей
группы;
Понимание экспертом задаваемых ему вопросов с помощью необ
ходимого инструктажа, а в отдельных случаях и предварительно
го, тренировочного опроса;
Постановка четко сформулированных вопросов, не имеющих дву
смысленного характера и не требующих больших дополнитель
ных пояснений;
Использование общепринятых терминов, по мере возможности
стандартизированных, а при их отсутствии разъяснение новых
или неоднозначно применяемых терминов.
Специфические требования:
а) к технике интервьюирования
Предпочтительное использование стандартизированного интервью,
Доверительность начала интервью, располагающая к откровенности,
Быстрота и экономичность при кодировании ответов эксперта
членами рабочей группы;
Провоцирование экспертов на аргументацию своих оценок путем
оспаривания его ответа;
б) к технике анкетирования
обеспечение четкого и однозначного понимания экспертами ха
рактера выполнения операций путем приложения к каждой анкете
пояснительной записки с определением целей и задач экспертизы,
методов и последовательности выполнения операций;
Единообразие в составлении анкет и пояснительных записок для
облегчения работы с ними;
Случайный характер перечисления свойств, которым эксперт
должен дать числовые оценки, причем эксперты должны быть
предупреждены об этом, в противном случае может иметь место
бессознательное завышение оценок свойств, стоящих в списке
первыми.
Глава 4. Методы товарной экспертизы
§ 5. Экспертные методы
Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколько экспертных методов, получивших наибольшее признание и распространение. К ним относятся методы Дельфы, ПАТТЕРН и комбинированный.
Метод Дельфы (в некоторых источниках - Дельфи) - метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мнения по процедурам с недостаточной информацией.
Название метода произошло от древнегреческого города Дельфы, где жили оракулы, предсказывающие будущее.
Особенностями метода Дельфы являются отказ от совместной работы экспертов; анонимность оценок; регулирование обратной связи; групповой ответ.
Отказ от совместной работы экспертов и анонимность достигаются тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экспертами в компьютер. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются статистическими методами и доводятся до сведения экспертов. Это позволяет уменьшить разброс индивидуальных оценок и получить групповой ответ, правильно отражающий мнение каждого эксперта.
Количество туров (до четырех) зависит от того, насколько быстро удается добиться сближения оценок экспертов в группе.
Анонимность опроса позволяет уменьшить конформное и автори-гарное влияние отдельных доминирующих экспертов, а регулируемая обратная связь уменьшает влияние индивидуальных и групповых ин-гересов. Введение обратной связи также повышает критерий объек-гивности и надежность оценок.
Проведение опроса в несколько туров с информированием экс-дертов о результатах предыдущих этапов работы, после которых каждый эксперт должен обосновать свое мнение, позволяет уменьшить солебания в индивидуальных и групповых ответах. Это дает неоспо-жмые преимущества по сравнению с обычным усреднением индивидуальных оценок.
При использовании метода Дельфы к процедурам опроса предъявляются следующие требования:
Поставленные вопросы должны допускать возможность выраже
ния ответа в виде чисел;
Достаточная информированность экспертов для выставления
оценок;
Наличие обоснований эксперта на каждый из заданных вопросов.
Достоинством рассматриваемого метода является повышение
критерия объективности за счет анонимности ответов экспертов, благодаря чему мнение эксперта не искажается вследствие внушения или приспособления к мнениям других экспертов. Кроме того, возрастает и информированность экспертов за счет ознакомления с оценками других экспертов после Окончания очередного тура, а также обоснования собственных оценок. Выявление преобладающих мнений позволяет сблизить точки зрения разных экспертов, сформировать групповое, но не единое, мнение.
Недостатки метода, проявляющиеся на начальном этапе его применения, - нестабильность состава экспертных групп, значительные разрывы во времени между турами, нечеткие формулировки вопросов, недоучет разной компетентности экспертов, необоснованность выбранного метода усреднения экспертных оценок - были частично устранены путем разработки модификаций этого метода (метод СИИР, Дельфы - Перт и др.). В результате этого метод Дельфы в настоящее время стал одним из наиболее применяемых, особенно для целей прогнозирования, а также при изучении ряда экономических и социальных проблем.
При использовании данного метода для целей экспертной оценки качества потребительских товаров проявляются следующие его недостатки: сложность опроса экспертов и заполнения анкет, трудоемкость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громоздкость пояснительных записок из-за отсутствия прямого контакта организатора с экспертами.
Из-за указанных недостатков использование метода Дельфы при экспертной оценке качества товаров затруднено, а в некоторых случаях и нецелесообразно. Однако он перспективен для получения груп-
Глава 4. Методы товарной экспертизы
§ 5. Экспертные методы
Повой экспертной оценки и углубленного анализа событий в ситуациях неопределенности.
Метод ПАТТЕРН - метод опроса экспертов, основанный на построении иерархической структуры - дерева целей и вынесении решения этих целей после открытого обсуждения.
Название метода складывается из первых букв английских слов, означающих «Помощь планированию посредством количественной оценки технических данных». Метод был разработан в 1962-1964 гт. в американской фирме «Хоннуел» для оценки проектов новых систем вооружения.
Данный метод предусматривает несколько этапов.
/ этап - постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и так далее порядка, которые затем делятся на более узкие задачи. Деление продолжается до тех пор, пока не будут получены простые элементы, которые могут быть оценены экспертами.
В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, называемая деревом целей.
II этап - определение с помощью экспертов коэффициентов весомости (или значимости) каждой задачи относительно основной цели, при этом эксперты выносят решения после открытого обсуждения в экспертной группе.
Такое открытое обсуждение наряду с достоинством (взаимодействие экспертов, стремящихся к принятию положительного решения) имеет и недостаток из-за конформизма, т. е. искажения действительного мнения экспертов за счет внушения или приспособления к мнению большинства.
/// этап - применение компьютеров для обработки полученных данных и их анализа.
Достоинством метода ПАТТЕРН по сравнению с методом Дельфы является упрощение процедуры экспертного опроса. Однако метод имеет и ряд недостатков: отсутствие обоснований оптимального числа членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий в качестве отдельных экспертов; отсутствие барь-
еров для проявления конформизма экспертов; недостаточная разработка и неопределенность принципов построения дерева целей.
Поскольку методы Дельфы и ПАТТЕРН имеют существенные недостатки и не отвечают полностью целям экспертной оценки, Э.Л. Райх-ман и Г.Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки .
Комбинированный метод - метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.
Качественная экспертиза -- это оценка качественных характеристик товара экспертами для установления соответствия их требованиям нормативных документов. Проводят эту экспертизу с целью определения качества товара в товарной партии при сдаче-приемке, или после длительного хранения, или при обнаружении скрытых технологических дефектов в процессе хранения, когда обычные сроки предъявления претензий поставщику истекли. Кроме того, экспертиза по качеству применяется при оценке образцов новых товаров перед постановкой их на серийное производство. Для пищевых продуктов качественная экспертиза только по органолептическим показателям называется дегустацией.
В зависимости от назначения качественная экспертиза бывает: приемочная, по комплектности, новых видов товаров, дегустация пищевых продуктов, по договорам.
Приемочной экспертизой по качеству называется оценка качества товаров экспертами для подтверждения достоверности результатов проверки при приемке. Основанием для проведения такой экспертизы могут служить: разногласия между поставщиком и получателем по результатам приемочного контроля, проведенного получателем в отсутствии поставщика и невозможности его явки на повторную приемку; обнаруженное или предполагаемое несоответствие фактического качества товара указанному в документах; нарушение упаковки (поломка, деформация и др.); наличие значительных качественных потерь в процессе транспортирования или хранения. При проведении качественной экспертизы пользуются стандартами, санитарными и ветеринарными правилами и инструкциями, правилами или кодексами транспортных организаций.
При проведении приемочной экспертизы по качеству эксперты должны придерживаться основных правил, которые включают следующие положения:
- 1. Перед началом экспертизы необходимо ознакомиться со всеми нормативными документами (стандартами на конкретные виды продукции, упаковку и маркировку, методы испытаний).
- 2. Качество товаров необходимо определять в соответствии с требованиями действующих стандартов, договоров. При Необходимости принимаемые товары могут оцениваться путем сопоставления с образцами или эталонами. Выбор показателей качества определяется целями и условиями проведения экспертизы. Чаще всего эксперты ограничиваются оценкой органолептических показателей и некоторых физико-химических показателей, используя простейшие средства измерений. Проверка микробиологических и сложных физико-химических показателей может быть рекомендована экспертом лишь в отдельных случаях после завершения приемки по качеству.
- 3. Для оценки качества должна быть отобрана выборка или объединенная проба, размер которой должен быть не менее установленных норм.
- 4. При неоднородности товарной партии, включающей товары разного качества (стандартные, 1-го или других сортов, нестандартные, брак, отход), эксперт должен выявить процентное содержание каждой фракции. При обнаружении дефектных товаров эксперт должен отобрать образцы товаров с наиболее характерными дефектами и установить причины их возникновения. Целесообразно направить образцы дефектной продукции в испытательную лабораторию для выявления их вида и причин возникновения. В акте экспертизы должно быть отражено процентное содержание продукции с различными дефектами.
- 5. При выявлении причин несоответствия качества эксперт должен указать в акте состояние тары и упаковочныхматериалов (их целостность, надежность, достаточность).
- 6. Эксперт не должен проводить приемочную экспертизу, если нарушена целостность товарной партии или предъявлены обезличенные товары, а также распакованные или без товарно-сопроводительных документов.
Экспертизой товаров по комплектности называется оценка экспертом наличия необходимых элементов комплекта и установление соответствия данным, указанным в технических документах. Правовой базой этой экспертизы является Гражданский кодекс РФ (ч. 2, ст. 478-480). Основанием для ее проведения служат особенности принимаемых товаров, целостность которых обеспечивается наличием в комплекте всех необходимых элементов. Все комплектующие элементы подразделяют на три группы:
- * обеспечивающие функциональное назначение товара, его эстетические свойства;
- * предназначенные для ремонта товара в процессе эксплуатации;
- * определяющие сохранность товаров при перевозке, хранении и реализации.
Экспертизе по комплектности подвергают в основном непродовольственные товары, а продовольственные товары -- только при продаже наборов продуктов.
Экспертизой качества новых товаров, называется оценка качества товаров по номенклатуре показателей, характеризующих степень новизны, возможность и целесообразность их выпуска в реализацию. Новый товар -- это продукция, предназначенная для реализации и отличающаяся от имеющихся товаров аналогичного назначения измененными потребительскими свойствами. Цель этой экспертизы качества -- определение практической полезности и показателей качества, которые могут создать потребительские предпочтения.
Правовая база экспертизы качества новых товаров отсутствует, а нормативная база представлена стандартами, санитарными и иными правилами и в этом совпадает с приемочной экспертизой. При экспертизе качества новых товаров используют различные методы оценки: органолептической, измерительной, социологической, экспертной. Решающее значение имеет экспертная оценка качества, а остальные методы выполняют вспомогательную роль.
Целью экспертизы может быть оценка всей номенклатуры показателей качества или только их части, например степени новизны. Выбор показателей качества обусловливается необходимостью соблюдения обязательных требований (безопасности, функционального назначения), а также определения степени новизны, что и составляет сущность экспертизы качества новых товаров. Степень новизны характеризуется количественными и качественными изменениями потребительских свойств, формирующими и удовлетворяющими новые потребности. Степень новизны может выражаться в баллах или процентах. Е.Е. Задесенец предлагает следующие градации степени новизны: товары незначительной новизны (степень новизны до 20%), товары нового вида (21--70%) и качественно новые товары (71-100%). В зависимости от градации нового товара выбирают и методы его изучения. Для товаров, степень новизны которых не превышает 70%, можно использовать сравнительные методы, основанные на сравнении показателей качества товаров одного наименования новых и уже известных. Для качественно новых товаров этот метод мало приемлем, поэтому для них применяют прогнозно-аналоговые, безаналоговые или комбинированные, которые являются разновидностями сравнительного метода, но на более высоком уровне, с использованием элементов прогнозирования. Прогнозно-аналоговый метод основан на построении перспективно-прогнозного ряда базовых образцов товаров-аналогов и использовании его для сравнительной оценки качественно новых товаров. Безаналоговый метод -- на анализе процессов потребления разными группами потребителей или процессов проектирования. Комбинированный метод основан на совмещении оценок ранее известных и новых потребительских свойств изучаемых товаров. В этом случае эксперты широко используют всю доступную им информацию о товарах-аналогах, об уровне проектных разработок. Комбинированный метод сочетает сравнительный метод для изучения качественных свойств и прогнозно-аналоговый (безаналоговый) для изучения новых свойств.
Дегустацией пищевых продуктов называется оценка органолептических показателей качества экспертами, проверенными на сенсорную чувствительность. Целью Дегустации является получение достоверных результатов при органолептической. оценке качества, снижение ее субъективности за счет высокой профессиональной компетентности экспертов, которая достигается узкой специализацией их по группам товаров. Отбор экспертов в дегустационные группы проводится путем проверки их сенсорной чувствительности, кроме того, эксперт должен иметь опыт органолептической оценки выбранной товарной группы.
Дегустацию пищевых продуктов проводят при экспертизе новых товаров, при необходимости выявления качественных изменений органолептических показателей, при определении товарного сорта и других градаций качества. Результаты дегустации могут быть- выражены в виде описания отдельных показателей, а также в баллах. В последнем случае применяют стандартные шкалы (шкалы балльной оценки) вин, пива, твердых сычужных сыров и сливочного масла) или для балловой оценки данного вида товара должна быть разработана специальная шкала.
Экспертизой товаров по договорам называется оценка экспертом соблюдения требований качества, установленных договорами купли-продажи, комиссии и хранения. Основанием для проведения такой экспертизы служат разногласия между сторонами, заключившими договор. Правовой базой проведения такой экспертизы являются Федеральный закон «О защите прав потребителей» (гл. 1 и 2, ст. 1--26), правила продажи товаров, правила комиссионной торговли непродовольственными товарами, утвержденные постановлением Правительства РФ от 6 июня 1998 г. № 569.
Необходимость в проведении экспертизы по договорам хранения появляется в случае возникновения количественных потерь сверх установленных норм или снижения качества товаров, а также при полной их потере. Снижение качества товаров при хранении происходит вследствие микробиологических, биологических, физических, химических, физико-химических и биохимических процессов. Нередко ухудшение качества товаров можно определить по органолептическим показателям, эксперт при этом самостоятельно принимает решение о необходимости исследования товара в испытательных лабораториях измерительными методами. Независимо от причин возникновения качественные потери списывают по актам, которые подписывают эксперты, руководитель и материально-ответственные лица. Нормы списания товаров за счет снижения качества отсутствуют.
Ассортиментной экспертизой называется оценка экспертом количественных и качественных характеристик товара для установления его ассортиментной принадлежности. Этот вид товароведной экспертизы как самостоятельный применяют только при возникновении разногласий между поставщиком и покупателем, продавцом и потребителем по вопросам ассортиментной принадлежности товара к определенной группе, наименованию, товарной марке или при установлении соответствия ассортимента товаров в партии ранее представленным образцам, каталогам или договорам купли-продажи.
Документальной экспертизой называется оценка экспертом товароведных характеристик товаров, основанная на информации товарно-сопроводительных, технологических и иных документов. При проведении документальной экспертизы отсутствующего товара эксперт анализирует имеющиеся документы: накладные, сертификаты, качественные удостоверения, акты списания, технические документы по контролю за температурно-влажностным режимом, докладные работников торговых организаций. Самостоятельно этот вид экспертизы проводится в случае отсутствия товара вследствие его реализации, хищения, порчи, гибели из-за непредвиденных обстоятельств. Сложность документальной экспертизы заключается в том, что при отсутствии товара эксперту приходится полагаться на представленные документы, которые могут быть фальсифицированы. Результаты экспертизы в таком случае зависят от компетентности эксперта, так Как в результате проведенной экспертизы могут быть опровергнуты документы, представленные торгующими организациями, а руководители и материально ответственные лица привлечены к уголовной ответственности.
Комплексной экспертизой называется оценка экспертом всех характеристик товара на основе их испытаний и анализа документов. Она может включать не только товароведные, но и стоимостные характеристики. Этот вид экспертизы применяют в тех случаях, когда необходимо всесторонне оценить товар с учетом позиций продавца, потребителя, а также сложившейся рыночной конъюнктуры. Комплексную экспертизу широко применяют в практике комиссионной торговли, при экспортно-импортных операциях внешнеторговой деятельности, при заключении договоров купли-продажи по образцам крупных партий товара. Комплексная экспертиза включает другие „виды экспертизы (количественную, качественную, ассортиментную и документальную), и поэтому все средства и методы, используемые для их проведения, применяются и для этой экспертизы.
Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев. Например:
1. способность организовывать и планировать труд;
2. профессиональная компетентность;
3. сознание ответственности за выполняемую работу;
4. контактность и коммуникабельность;
5. способность к нововведениям;
6. трудолюбие и работоспособность.
По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной, например, пятибалльной шкале (отлично - 5; хорошо - 4; удовлетворительно - 3; не -удовлетворительно - 2; плохо - 1).
Оценки по критериям обычно располагают по нарастающему количественному значению. Например, при оценке по критерию "способность организовывать и планировать труд":
"1" - явно неорганизованный работник и руководитель;
"2" - не умеет организовывать и планировать свой труд и труд подчиненных;
"3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;
"4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;
"5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования.
По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Например, по шести указанным выше критериям могут быть приняты определенные значения.
Для определения общей оценки деловых и организаторских качеств кандидата на управленческую должность составляется специальный оценочный лист.
Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат заместить должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1.
Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы.
Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле:
К = Оу.обр. (1 + С/4 + В/18), где
Оу.обр. - оценка уровня образования, которая обычно принимается (составляет
0,15 для лиц, имеющих незаконченное среднее образование;
0,60 - для лиц со средним образованием;
0,75 - для лиц со среднетехническим и незаконченным высшим образованием;
1,00 - для лиц с высшим образованием по специальности;
С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование);
В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18 (установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50.
На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств.
Проверка практикой, бесспорно, имеет решающее значение для оценки любого управленческого работника. В связи с этим рекомендуется осторожно и терпеливо испытывать и распознавать среди них настоящих организаторов, сочетающих интерес к делу с умением наладить совместную работу коллектива людей. Для этого при работе с резервом кадров на выдвижение широко практикуется их привлечение к временному исполнению обязанностей руководителя в период его отсутствия, стажировка и другие формы и методы практической проверки. Однако и в таких случаях результаты работы требуют объективных оценок.
На ряде российских организаций накоплен положительный опыт оценки управленческого персонала. Сущность одного из наиболее апробированных и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий.
Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава. Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными- функциями.
Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника.
Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.
Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности.
Групповая экспертиза включает следующие обязательные этапы:
Разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения;
Выбор техники опроса или способов выявления индивидуальных мнений;
Формирование экспертной группы;
Проведение опроса экспертов;
Обработка результатов (получение группового суждения);
Анализ результатов.
Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения.
Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель.
Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера).
Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника.
После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (смотри Таблицу 1).
Таблица 1.
Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале:
1. если всегда - 1,5 балла;
2. если в большинстве случаев - 1 балл;
3. если иногда - 0,5 балла;
4. если почти никогда - 0 баллов.
При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта.
Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле:
Где Зср - средний балл оценки качества по степени его функциональной значимости;
З10 ... 31 - оценка экспертом степени значимости качества по десятибалльной шкале;
N10 ... n1 - количество экспертов, которые присвоили качеству оценку по степени значимости (в баллах);
Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле:
Где Пср - средняя оценка степени проявления качеств у аттестуемого;
П1,5 ... П0,5 - степень проявления качеств у аттестуемого по оценке экспертов;
N1,5 ... n0,5 - количество экспертов, отнесших качество к степени его проявления у аттестуемого к тому или иному баллу оценки;
N - общее количество экспертов.
Затем по каждому качеству определяется средневзвешенный балл по формуле:
К = Зср * Пср, где К - качество.
Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты:
1) 57 х 1,5 = 85,5;
2) 57 х 1,0 = 57,0;
3) 57 X 0,5 = 28,5.
Таким образом, в первом случае, если оценка работника составляет более 85 баллов, формулируют вывод о его повышении или включении в состав резерва на выдвижение. Во втором случае, если оценка составит от 57 до 85 баллов, делают заключение о соответствии занимаемой должности. В третьем случае, если оценка составляет ниже 28 баллов, фиксируют вывод о том, что работник не соответствует занимаемой должности. При этом весьма ценно и то обстоятельство, что детальный анализ оценок экспертов по качествам может помочь определить для каждого работника конкретные направления совершенствования его деятельности.
Лекция 7. Особенности технологии экспертной оценки качества.
Сущность экспертных методов и организация работ по использованию
при управлении качеством
Как научный способ экспертный метод разработан сравнительно недавно и назывался «Дельфи». В дальнейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались в основном для решения задач, связанных с прогнозированием в области науки и техники, а затем стали применяться в других областях, в том числе в управлении.
Сущность экспертных методов заключается в усреднении полученных различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам. Усредненная оценка (К) определяется по формуле
где n - количество экспертов,
K i - оценка, данная i -м экспертом.
Наиболее распространенными экспертными методами приклассификации по признаку оценки предпочтений являются метод рангов, метод непосредственного оценивания и метод сопоставлений . Последний включает две разновидности - парного сравнения и последовательного сопоставления .
К разновидностям экспертных методов с определенной долей условности можно отнести органолептический и социологический. Органолептический метод основан на использовании чувств (вкуса, слуха, зрения, обоняния тактильности) эксперта. Он применяется при оценивании, например продукции пищевой промышленности. Социологический метод базируется на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится в письменной форме (с помощью анкет) или устно (на конференциях, аукционах, выставках и т.п.). При его использовании следует применять научно обоснованные способы опроса, математические принципы сбора и обработки информации. Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести организацию экспертного оценивания, проведение сбора мнений экспертов и обработку полученных результатов.
Уменьшение субъективности результатов использования экспертных методов существенно зависит отсоблюдения правил организации, подготовки и проведения экспертных работ. Особенно это зависит от организации экспертного оценивания, назначения ответственного за организацию и проведение работ по экспертной оценке, а также формирования экспертных комиссий.
Для общего руководства экспертными работами назначается председательэкспертной комиссии. В составе комиссии организуют две группы - рабочую и экспертную (рис.1).
В подчинении руководителя рабочей группы находятся технические работники, осуществляющие техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым проблемам.
Формирование экспертной группы проводитруководитель рабочей группы, который, осуществляет постановку проблемы и определяет область деятельности группы; составляет предварительный список экспертов-специалистов; выполняет анализ качественного состава предварительного списка экспертов и уточняет список; получает согласие эксперта для участия в работе; составляет окончательный список экспертной группы.
Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющихся возможностей и т. п. Подбор специалистов проводится на основе анализа качеств каждого возможного кандидата. При этом используются разнообразные способы: оценка кандидатов на основе статистического анализа результатов прошлой деятельности в качестве; коллективная оценка кандидата как специалиста в данной области; самооценка кандидата в эксперты; аналитическое определение компетентности кандидатов.
Часто применяют одновременно несколько способов, например самооценки и коллективной оценки качеств, предлагаемого эксперта. Такой подход позволяет обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки. Во всех случаях кандидаты в эксперты должны обладать следующими качествами: профессиональной компетентностью; креативностью (умением решать творческие задачи); научной интуицией; заинтересованностью в объективных результатах экспертной работы; деловитостью (собранностью, умением переключаться с одного вида деятельности на другой, коммуникативностью, независимостью суждений, мотивированностью действий); объективностью.
Проведение сбора мнений экспертов предполагает предварительное определение: места и времени; формы и методики; количества туров сбора мнений, состава и содержательной части документации, порядка занесения мнений экспертов в документы. Важным является выбор формы сбора мнений экспертов.
Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные. Каждая из этих форм имеетразновидности: анкетирование, интервьюирование, дискуссия, мозговой штурм, совещание, деловая игра. Во многих они используются совместно, что дает больший эффект и объективность. Такой подход к сбору мнений экспертов, когда используется смешанная форма, применяется в случаях неясности проблемы, расхождения индивидуальных мнений или разногласия экспертов при коллективном обсуждении.
На практике чаще применяется анкетирование, которое позволяет с меньшими трудозатратами собрать мнения экспертов. Обычнопроцесс разработки анкеты включает:
Определение формы и содержания обращения к эксперту;
Выбор типа вопросов;
Формулировку вопросов;
Изложение необходимой для эксперта информации;
Разработку формы анкеты.
В последние годы среди типов вопросов наиболее употребляемыми стали так называемые веерный (предполагает один ответ из ряда ответов), закрытый (ответы «да», «нет», «не знаю») и открытый (ответ на вопрос может быть дан в произвольной форме).
Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта. Для ответов на вопросы, т. е. для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее методов (рангов, непосредственного оценивания, сопоставлений).
Метод рангов и непосредственного оценивания.
По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов в зависимости от их относительной значимости (предпочтительности). При этом наиболее предпочтительному объекту обычно присваивается первый ранг, а наименее предпочтительному - последний, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования, и наоборот.
П
Таблица
1.9.2
Определение
результирующего ранга объектов
ранжирования Объект ранжиро-
вания № Эксперт № Сумма рангов
объектов
ри предпочтительной (по
рангам) расстановке объектов экспертизы
одним экспертом сумма рангов должна
равняться сумме чисел всего натурального
ряда количества объектовН,
начиная с единицы [H
x
(Н+
1):2].
Результирующие ранги объектов ранжирования
по данным опросов определяются как
сумма рангов для каждого объекта.
При этом в итоге первый ранг присваивается
тому объекту, который получил
наименьшую сумму рангов, а последний -
тому, у которого оказалась наибольшая
сумма рангов, т. е. наименее значимому
объекту (пример определения результирующего
ранга трех объектов семью экспертами
приведен в табл. 2).
Метод непосредственного оценивания (балльный) представляет собой упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них. Наиболее значимому объекту дается наибольшее количество баллов по принятой шкале, диапазон шкалы оценок обычно принимается от 0 до 1, до 5, до 10 или до 100. В простейшем случае оценка может равняться 0 или 1. Иногда оценивание осуществляется в словесной форме, например «очень важный», «важный», «маловажный». Для большего удобства обработки результатов опроса такие оценки могут переводиться в балльную шкалу (например, соответственно 3, 2, 1).
Н
Таблица
3.
Определение
результатов непосредственного оценивания
объектов Объект оценива-
ния № Эксперт № Сумма баллов
объекта Результи- рующий
ранг объекта Весомость объекта
епосредственное оценивание
следует применять при уверенности
полной профессиональной информированности
экспертов о свойствах исследуемых
объектов. По результатм оценок
определяются ранг и весомость
(значимость) каждого исследуемого
объекта (пример оценивания трех объектов
по 10-балльной шкале приведен в табл. 3).
ПО результатам оценок экспертов место любого объекта можно пределить по формуле:
(2)
Где В i - значимость i -го объекта (i = 1, 2,.., п), рассчитанная на основании
оценок экспертов (j = 1,2,.., k ),
А ij - оценка (в баллах), данная i -у объекту j -м экспертом.
Метод сопоставления .
Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.
При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т. д.) или в форме матрицы. Общее количество пар сравнения равно
, (3)
где Н - количество исследуемых объектов экспертизы.
В
Таблица
4
Матрица
оценки объектов методом парного
сравнения Наименование
объекта № объекта Общее
кол-во предпочтений
результате сравнения
эксперт высказывает мнение о важности
того или иного объекта, т. е. отдает
одному из них предпочтение. Иногда
эксперты приходят к выводу об
эквивалентности каждого из объектов
пары. Для упорядочения всех рассматриваемых
объектов необходима последующая
обработка результатов сравнения.
Наиболее удобно осуществлять парные
сравнения и их обработку, используя в
качестве инструментаматрицы (табл. 4). В отдельных
случаях при большом количестве исследуемых
объектов на результаты парного сравнения
оказывают влияние психологические
факторы, т. е. предпочтение порой
получает не тот объект, который
действительно предпочтителен перед
другими, а тот, который в перечне пар
записан первым или находится по
расположению в матрице выше сравниваемого,
поэтому иногда для исключения
психологического влияния проводят
двойное парное сравнение, т. е. еще
раз осуществляют парное сравнение, но
только при обратном расположении
объектов и объектов в каждой паре.
Количество пар при двойном парном
сравнении соответственно в два раза
больше, чем при одинарном парном
сравнении.
При записи каждой комбинации эксперт подчеркивает в каждой паре сравниваемых объектов наиболее важный. На пересечении вертикальных и горизонтальных строк матрицы для каждой пары объектов он ставит 1 или 0 (либо плюс или минус) в зависимости от определенной им значимости того или иного объекта.
Весомость каждого объекта сравнения рассчитывается по формуле:
(4)
где А i/i,j - количество предпочтений (единиц, или плюсов, подчеркиваний)
i -го объекта над i -м объектом, указанное j -м экспертом;
А - общее количество пар объектов.
Р
Таблица
5.
Сводная
матрица результатов парного сравнения
объектов Наименование
объекта № объекта Кол-во
предпочтений i-
го
объекта, данных экспертами Сумма
предпоч- тений Весомость
объекта
езультаты заполнения
матриц всеми экспертами и расчетные
данные можно свести в матрицу (табл.
5).
Расчеты при двойном парном сравнении проводятся по тем же формулам, что и при обычном парном сравнении, однако количество пар при этом увеличивается вдвое.
Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому объекту присваивается определенное количество баллов, например по шкале от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл, равный 1, а всем остальным - в порядке уменьшения их значимости от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до этого уровня, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов. Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.
Метод последовательного сопоставления для экспертов наиболее трудоемок, особенно это ощущается при количестве, превышающем шесть-семь исследуемых объектов.
Обработка и оценка согласованности экспертных данных.
Обработка собранных мнений экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу, наряду с количественными методами обработки экспертных данных используются методы качественного анализа и синтеза.
При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимоколичественно оценивать меру согласованности мнений экспертов и определять причины несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов. Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации.
Мера согласованности определяется математико-статистической обработкой всех имеющихся результатов экспертизы. Так, согласованность мнений компетентных экспертов при использовании всех указанных экспертных методов, где определяются ранги объектов, можно определить с помощью коэффициента конкордации (согласия) по формуле:
(5)
где С - сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т. е.
(6)
где
- средняя сумма рангов.
Коэффициент
конкордации может быть в диапазоне
.
ПриW
=0
согласованность мнений экспертов
отсутствует, а при W=
1
- согласованность полная. Обычно
считается, что согласованность вполне
достаточна, если
W
>= 0,5.
Допустим, по результатам работы компетентных экспертов получены определенные данные ранжирования и по ним требуется рассчитать коэффициент конкордации (табл. 6)
Кэффициент конкордации равен
, (7)
т
Таблица
6. Данные для расчета коэффициента
конкордации Эксперт
№ Ранги,
поставленные экспертами Пяти
объектам ранжирования (Н=5)
.е. мнения экспертов можно
признать согласованными, так как
полученная величина коэффициента
конкордации удовлетворяет условию W>=
0,5.
При использовании экспертных методов, в которых ранги не определяются, для нахождения конкордации рассчитанные значимости объектов следует переводить в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т. д., в противном случае оценку согласованности мнений проводят по другим критериям согласия.
Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона (X 2 ) с определенным уровнем значимости (В), т. е. максимальной вероятностью неправильного результата |работы экспертов. Обычно задавать значимость достаточно в пределах 0,005 - 0,05.
В случае получения расчетной величины X 2 расч > табличной Х 2 табл (с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.
Табличные величины Х 2 табл (табл. 7) зависят от принимаемого уровня значимости и числа степеней свободы (S ), которое определяется по формуле
, (8)
Расчетная величина Х 2 расч определяется по формуле
Таким образом, для данных, приведенного ранее примера
. (10)
При уровне значимости 0,05 табличная величина Х 2 табл равна примерно 9, т. е. мнения экспертов можно окончательно признать с вероятностью 0,95 согласованными, так как Х 2 расч > Х 2 табл .
Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и комплексных показателей качества.
Предназначены для определения значений показателей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэкономично из-за чрезмерных расходов на их применение или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органо- лептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.
Для дифференциальной и комплексной оценки образцов, значительно отличающихся по качеству, рекомендуется определять значение единичного показателя Р следующим образом :
К. = Р. / Р. 5 ,
где Р. 5 - базовое (эталонное значение).
Другой, более точный метод основан на исследовании показателей с целью определения видов зависимости f, т. е. с целью разработки формул для расчетов оценок показателей:
К = f (Р/ Р 5).
Оценка единичных показателей качества начинается с определения допустимых интервалов их изменения (Р. макс : - Р™"). р. макс - наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя (Р. макс) зависят от целей оценки качества, при этом необходимо, чтобы для всех показателей этот принцип был единым.
Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработки согласованных решений на предыдущей.
Экспертная процедура определения допустимых значений показателей качества состоит из ряда операций:
выдачи экспертам анкетой пояснительных записок, в которых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;
заполнения экспертами анкет и указания конкретных моделей продукции, значения которых они считают предельно допустимыми;
ознакомление каждого эксперта с оценками, назначенными другими экспертами, и их обсуждение;
проведение второго (иногда третьего и четвертого) тура анкетирования;
усреднение результатов оценки.
При значительном разбросе мнений проводится дополнительный тур голосования.
Для определения экспертами вида зависимостей (f) между значениям показателей Р. и их оценками К. нередко используется "метод главный точек". Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно построить модель искомой величины.
"Метод главных точек" в зависимости от их числа имеет несколько разновидностей.
"Метод трех главных точек" - метод, основанный на разделении значений показателей Р. на максимальное, минимальное, среднее значение и определении значений оценок К. в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы О-ч-l или 0ч-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и построение графика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя качества К. "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки К.
"Метод семи главных точек" - метод оценки по семибалльной шкале оценки показателей, значения которых определены экспериментальным или расчетным путем, а также органолептическим методом.
Семибалльная шкала является равномерной, т. е. при переходе от одного класса качества к другому оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.
Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости f. Затем каждому классу качества назначается оценка в соответствии с характером зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс "наивысшее качество" получает оценку 10.
Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Р. и их оценками К, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.
В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.
Применение "метода главных точек" дает возможность осуществлять группировку и классификацию показателей по видам зависимости.
Определение комплексных показателей качества осуществляется двумя видами методов:
методами комплексной оценки качества образцов товаров;
методами построения моделей комплексных показателей качества.
Методы комплексной оценки качества имеют две разновидности - экспресс-метод и методы движения по уровням без подготовки и с подготовкой.
Экспресс-методы комплексной оценки качества образцов товаров основаны на определении комплексного показателя качества путем анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.
При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для иысококвалифицированного эксперта является 7-9 показателей, расположенных на одном уровне иерархии и составляющих достаточно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.
Метод движения по уровням без подготовки представляет собой комплекс операций, осуществляемых последовательно, с постепенным повышением уровня. При этом анализ начинается от нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.
Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична процедуре по методу движения по уровням без подготовки.
Формализация процесса экспертной оценки заключается в нахождении зависимости между значениями показателей качества Р. (или их оценками К.) и показателем качества нижележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении комплексных показателей. При этом решающая функция, как и любая модель, упрощает объект исследования, так как учитываются не все показатели и связи между ними.
Исходными данными для определения вида функции могут служить результаты оценки качества различных образцов экспресс-методами или методами движения по уровням. Тогда оценки, назначенные экспертами, сводятся в общую матрицу, каждая строка которой представляет собой набор оценок единичных показателей образца и комплексных экспертных оценок. На основании этого могут быть разработаны машинные алгоритмы и составлены программы для нахождения решающих функций с помощью ЭВМ.
Лекция 13. ВИДЫ ЭКСПЕРТИЗ