Когда целесообразно применять экспертные методы. Экспертные методы в маркетинге. Способы измерения объектов

экспертиза достоверность дерево цель

Экспертные методы анализа в исследовании социально-экономических и политических систем занимают особое место в отображении и оценке социальных процессов.

В целом можно выделить две группы экспертных оценок: индивидуальные и коллективные:

Индивидуальные экспертные методы используют при прогнозировании в относительно узких областях науки и практики. Они основаны на использовании мнений экспертов, независимых друг от друга. Информация, которую получает заказчик от эксперта, отличается уникальностью и ориентацией на проблему, имеющую локальный характер.

1. Метод гирлянд и ассоциаций.

Сферой применения названного метода может стать сложная проблемная ситуация, слабо изученная, в отношении которой нет сложившегося мнения. Метод может быть реализован только при условии; большой предварительной работы, заключающейся в глубоком изучении свойств аналогов исследуемого объекта, целесообразности их привлечения, формировании психологической установки экспертов и т.д.

2. Метод парных сравнений.

Основан на простом сопоставлении, экспертом альтернативных вариантов, из которых он должен выбрать наиболее предпочтительный. Метод позволяет учитывать равноценность или принципиальную несравнимость представленных альтернатив, в связи с чем они исключаются из анализа. В ходе такого сравнения эксперт не только отбирает лучшие варианты, но и формулирует критерии, позволяющие осуществить такой выбор, подчеркивая свойства и признаки отобранной альтернативы.

3. Метод векторов предпочтений.

При использовании эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого из них указать, сколько альтернативных ему вариантов он опережает. Полученную информацию можно изобразить в виде вектора, одним из компонентов которого является число альтернативных вариантов, превосходящих первый, вторым компонентом - число альтернатив, которые превосходят второй, и т.д. Использовать этот метод можно и при коллективной экспертизе, представляя коллективный взгляд на соотношение рассматриваемых альтернатив.

4. Метод фокальных объектов.

Отличительным признаком данного метода является то, что он совершенно исключает количественный подход и нацелен главным образом на концентрацию внимания исследователя на так называемом фокальном объекте, служащем основой сопоставления с объектами, составляющими поле направленного случайного поиска.

5. Индивидуальный экспертный опрос.

Возможен в форме интервью или в виде анализа экспертных оценок.

Метод интервью означает беседу заказчика с экспертом, в ходе которой заказчик в соответствии с разработанной программой ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает индивидуальное заполнение экспертом (экспертами) разработанного заказчиком формуляра, по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути в ее решении. Свои соображения эксперт выносит в виде отдельного документа, составленного на основе тщательного обследования объекта.

6. Метод средней точки.

Используется при большом количестве альтернативных решений. Для этого формулируются два альтернативных варианта решения, один из которых наименее предпочтителен, второй - наиболее. После этого эксперту предлагается подобрать третий альтернативный вариант, оценка которого расположена между значениями первой и второй альтернативы. Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

7. Метод Черчмена-Акоффа.

В соответствии с этим методом все альтернативные варианты ранжируются по предпочтительности, и каждому из них эксперт назначает количественные оценки. Преимущством данного метода является допущение экспертами корректировок в ходе обсуждения альтернативных вариантов. Если один вариант по предпочтительности выше другого, то их значения суммируются.

8. Метод лотерей.

В соответствии с методом имеющиеся альтернативы распределяются в порядке убывания предпочтительности.

Коллективные экспертные оценки применяют, при прогнозировании объектов и процессов, имеющих междисциплинарный характер.

Коллективные методы являются наиболее эффективными с точки зрения достижения максимальной объективности экспертной оценки, поскольку предполагают использование широкого и представительного круга специалистов. В целом методы организации коллективной генерации идей можно разделить на несколько видов.

1. «Мозговой штурм».

Главная цель «мозгового штурма» заключается в стимулировании творческого процесса генерации идей, возможного в условиях коллективного обсуждения. Метод позволяет в условиях неопределенной ситуации разработать максимальное количество возможных решений, концентрируя внимание участников на обсуждаемой проблеме. Характерной чертой данного метода является процедура отделения стадии генерации идей от стадии их оценки. Главным преимуществом метода «мозгового штурма» является нацеленность на нахождение нестандартных решений, способных реализоваться при максимально открытом и свободном режиме обсуждения проблемы. Такой режим обсуждения позволяет не только обозначить возможные направления в решении актуальных проблем, но и сформировать группу людей, обладающих высокими креативными способностями, что чрезвычайно важно для организации любого типа.

2. Методика судов.

Суть методики заключается в такой организации обсуждения проблемной ситуации в группе, когда одна сторона разрабатывает самостоятельные предложения, а другая дает критику всем этим предложениям. Использование этой методики воспроизводит сценарий суда, в котором происходит состязание между обвинением и защитой. Цель методики заключена в выявлении наиболее аргументированного и оптимального решения, полученного в ходе обстоятельной экспертизы.

Характерной чертой методики судов является ее ролевое исполнение, которое позволяет участникам обсуждения наиболее полно проявить себя в организационном процессе, осознавая в нем не только собственное место, но и место других служб и должностных функций.

3. Метод «черного ящика».

Главным достоинством метода «черного ящика» является минимизация возможного влияния заинтересованных лиц на принятие неэффективных решений. Метод нацеливает на выделение специального аналитического центра, который делает заключение исключительно по разработкам независимых экспертов, оценивающих перспективы принятия решений по определенному перечню проблем.

4. Метод эвристического прогнозирования.

Использование данного метода предполагает привлечение к работе экспертов узкой специализации, которые на основе предварительно разработанных анкет и таблиц должны выработать общую модель исследуемого объекта. Таким образом, методом эвристического прогнозирования называют метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифицированных специалистов (экспертов) в узкой области науки, техники или производства. Прогнозные экспертные оценки отражают индивидуальное суждение специалиста относительно перспектив развития его области и основаны на мобилизации профессионального опыта и интуиции.

5. Синектический метод.

Одним из преимуществ синектического метода является возможность достижения консолидации между различными уровнями управления, задействованными в процессе вынесения экспертной оценки. Применение метода является целесообразным в силу того обстоятельства, что в ходе принятия экспертных оценок обсуждение проблем проходит между представителями одного уровня, что позволяет им высказываться откровенно и взвешенно.

При этом необходимо учитывать мнение не только представителей высших звеньев управления, которые зачастую могут иметь весьма общее представление об объекте оценки, но и рядовых исполнителей, чьи знания об объекте являются очень ценными и практически значимыми.

Синектический метод является значимым в практике японских предприятий, где фактору причастности персонала к принятию решений придается большое значение. Благодаря консолидации интересов между экспертными уровнями достигается не только социальная стабильность, но выявляется уникальный способ осознания и разрешения актуальных проблем.

6. Метод дневников.

Характерным признаком этого метода является его обезличенность и предельная объективность. Реализация метода возможна лишь при наличии документальных источников, по которым исключительно и проводится акт экспертизы. Чаще всего метод используется в структуре управления с жестко регламентированной системой должностных инструкций. Объектом экспертной оценки выступают, как правило, вахтовый журнал, инструктивные документы, на основе которых вырабатываются рекомендации по совершенствованию деятельности предприятий.

7. «Метод Дельфи»

Является самым популярным из экспертных методов, и его популярность напрямую связана с эвристическими возможностями самого метода, позволяющими решать сложные комплексные задачи.

Сущность метода заключается в последовательном анкетировании мнений экспертов по интересующей организаторов экспертизы проблеме.

Метод предполагает серию опросов экспертов, не имеющих возможности вступать друг с другом в непосредственный контакт и получающих информацию о заключениях других лишь по их письменным отчетам. Цель метода заключается в вынесении объективной и точной оценки существующих альтернатив с целью принятия оптимальных и социально приемлемых решений.

Министерство образования и науки России

Марийский Государственный технический университет

Кафедра контроля и производства радиоаппаратуры

на тему: Методы экспертных оценок

Выполнила: ст. гр. БЖД-41

Копылова И.В.

Проверил: проф. каф. КиПР

Скулкин Н.М.

Йошкар-Ола 2012

Введение

Экспертное оценивание

Этапы экспертного оценивания

Виды экспертных оценок

Обработка результатов опроса экспертов

Заключение

Список литературы

Введение

Примеры методов экспертных оценок. Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?

1. Экспертное оценивание

Экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

Эксперты (от латинского "expertus" - опытный) - это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов.

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.

Экспертные оценки часто используются при выборе, например:

одного варианта технического устройства для запуска в серию из нескольких образцов,

группы космонавтов из многих претендентов,

набора проектов научно-исследовательских работ для финансирования из массы заявок,

получателей экологических кредитов из многих желающих,

при выборе инвестиционных проектов для реализации среди представленных, и т.д.

2. Этапы экспертного оценивания

1. Постановка цели исследования.

Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

·Выбор лучшего варианта решения среди имеющихся.

·Прогнозирование развития процесса.

·Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

·Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.

·Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

·Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

2. Выбор формы исследования, определение бюджета проекта.

Существующие виды экспертных оценок можно классифицировать по признакам:

·По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

·По количеству итераций (повторов процедуры для повышения точности) - одношаговые и итерационные.

·По решаемым задачам: генерирующие решения и оценивающие варианты.

·По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

·По способу обработки мнений экспертов: непосредственные и аналитические.

·По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры.

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

4. Подбор экспертов.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

5. Проведение экспертизы.

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

·Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

6. Статистический анализ результатов . После получения ответов экспертов необходимо провести их оценку. Это позволяет:

1)Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).

)Оценить ошибку исследования.

)Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

7. Подготовка отчета с результатами экспертного оценивания.

. Виды экспертных оценок

Методы экспертных оценок можно разделить на две группы:

§методы коллективной работы экспертной группы

§методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".

Мозговая атака. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Метод «635» - одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

Деловые игры основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод совещаний ("комиссий", "круглого стола") - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод комиссий - один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы:

от каких простейших форм к более сложным должен пройти этот процесс;

как он повлияет на национальное хозяйство и экономические связи стран;

каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.

Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период.

Он обычно носит многовариантный характер и освещает три линии поведения:

оптимистическую - развитие системы в наиболее благоприятной ситуации;

пессимистическую - развитие системы в наименее благоприятной ситуации;

рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.

В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Метод суда является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса.

В роли "подсудимых" выступают выбираемые варианты решения;

в роли "судей" - лица, принимающие решение;

в роли "прокуроров" и "защитников" - члены экспертной группы.

Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.

Метод "суда" целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи». Цель - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Особенности метода Дельфи:

а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);

б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

. Обработка результатов опроса экспертов

экспертный коллективный индивидуальный опрос

Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.

На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.

Чаще всего при обработке результатов опроса используются методы математической статистики.

В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:

·формирование обобщенной оценки;

·определение относительных весов объектов;

·установление степени согласованности мнений экспертов и др.

1)Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда xj - оценка j-го эксперта, , где m - число экспертов.

Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (ME), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.

Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:

2)Определение относительных весов объектов

Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.

Один из методов определения весов состоит в следующем. Пусть xij - оценка фактора i, данная j-ым экспертом, , , n - число сравниваемых объектов, m - число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (wi), равен:

где wij - вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

3)Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики - меры разброса.

Вариационный размах (R):

Xmax - xmin,

где xmax - максимальная оценка объекта;min - минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной формуле:

где xj - оценка, данная j-ым экспертом;- количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x1j, x2j, …, xnj.

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

где xij - ранг, присвоенный i-му объекту j-ым экспертом;ik - ранг, присвоенный i-му объекту k-ым экспертом;i - разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации - общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

Заключение

Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения. Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

Список литературы

1Орлов А.И. Экспертные оценки. // Заводская лаборатория. ? 1996. ? Т. 62. ? №1. ? С. 54-60.

2Орлов А.И. Экспертные оценки. Учеб. пособие. - М.: 2002.

Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. Учеб. пособие. - М.: Экономика, 1976. ? 287 с.

Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978. ? 133 с.

Менеджмент. Учеб. пособие. / Под ред. Ж.В. Прокофьевой. - М.: Знание, 2000. - 288 с.

Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.

Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.

Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.

Литвак Б.Г.Экспертные оценки и принятие решений. - М.: Патент, 1996.

Характеристики методов экспертных оценок [Электронный ресурс]: #"justify">Экспертное оценивание. / Википедия. [Электронный ресурс]: #"justify">Экспертные оценки. // StatSoft: SPC Consulting. [Электронный ресурс]: http://www.spc-consulting.ru/app/expert.htm

Репетиторство

Нужна помощь по изучению какой-либы темы?

Наши специалисты проконсультируют или окажут репетиторские услуги по интересующей вас тематике.
Отправь заявку с указанием темы прямо сейчас, чтобы узнать о возможности получения консультации.

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Формирование обобщенной оценки

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

Среднее линейное отклонение

Среднеквадратическое отклонение

Дисперсия

Коэффициента ранговой корреляции Спирмэна

Коэффициент (величина ) может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
x ij – ранг (важность ), присвоенный i-му объекту j-ым экспертом, x ik – ранг, присвоенный i-му объекту k-ым экспертом, d i – разница между рангами, присвоенными i-му объекту.

Коэффициент конкордации Кенделла
Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

Вычисление

Определяется средний ранг совокупности признаков:

Вчисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:

Определяется число одинаковых рангов, назначенных экспертами j-му признаку – t q .
Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле:

где

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Заключение

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек - вот вам

1. Краткая характеристика экспертных методов

Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства. Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности.

В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений. Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании.

Сущность экспертных методов, как при решении задач исследования систем управления, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения товара на рынок. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

Функции экспертных оценок в системе управления:

прогноз тенденций развития тех или иных объектов управления и возможных сбоев в управляющих подсистемах, возникновения новых субъектов в формировании систем управления;

обоснование построения модели объекта прогнозирования. Методы экспертных оценок - одна из групп методов научно-технического прогнозирования, базирующаяся на предположении, что на основе мнений экспертов возможно построить адекватную модель объекта прогнозирования;

оценка степени достоверности данных, полученных в результате исследования, когда на процесс исследования естественным образом влияют субъективные факторы. Например, выводы по любому социально-экономическому исследованию могут быть сделаны на фактах, деформированных социальной концепцией исследователя;

оценка степени полноты и объективности информации, получаемой управляющей системой от объекта управления, а также обоснованности информации (решений), поступающей на вход в объект управления от управляющей системы;

оценка конкретных альтернативных путей развития или объекта управления, или управляющей системы, или обеих систем вместе;

аттестация конкретных элементов управляющей системы и объекта управления на предмет их соответствия функциям, для которых они созданы.

Наиболее распространенными экспертными методами при в настоящее время при принятии решений по управлению являются следующие:

метод рангов;

метод непосредственного оценивания;

метод сопоставлений.

Последний метод включает две его разновидности: парного сравнения и последовательного сопоставления.

В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

организацию экспертного оценивания;

проведение сбора мнений экспертов;

обработку результатов мнений экспертов.

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов системы управления. Достоинством метода рангов является его простота. Недостатками являются:

невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;

не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный», и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести организацию экспертного оценивания, проведение сбора мнений экспертов и обработку полученных результатов.

Для общего руководства экспертными работами назначается председатель экспертной комиссии. В ее составе организуют две группы - рабочую и экспертную.

В подчинении руководителя рабочей группы находятся технические работники, отвечающие за техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым вопросам. Формирование экспертной группы осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:

постановку проблемы и определение области деятельности группы;

составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;

анализ качественного состава предварительного списка экспертов и уточнение списка;

получение согласия эксперта для участия в работе;

составление окончательного списка экспертной группы.

Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющихся возможностей и т.п.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;

коллективная оценка кандидата в эксперты как специалиста в данной области;

самооценка кандидата в эксперты;

аналитическое определение компетентности кандидатов в эксперты.

Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные. Каждая из этих форм имеет разновидности: анкетирование, интервьюирование, дискуссия, мозговой штурм, совещание, деловая игра. Во многих случаях управления качеством они используются совместно, что дает больший эффект и объективность.

Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».

Метод «мозговой атаки». Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные.

Достоинством метода «мозговой атаки» является высокая оперативность получения требуемого решения. Основным недостатком его - сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.

Метод «сценариев» представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.

Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованности отдельных решения.

«Деловые игры» основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод «совещаний» («комиссий», «круглого стола») - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода «мозговой атаки» каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод «суда» является разновидностью метода «совещаний» и реализуется по аналогии с ведением судебного процесса. Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Дельфи».

Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи» представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

Процедура метода включает несколько последовательных этапов опроса.

На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений.

На втором - вся информация сообщается экспертам, и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.

Достоинством метода «Дельфи» является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.

Таким образом, можно сделать вывод, что экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

экспертный оценка метод управление

2. Обработка данных, полученных экспертным методом

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Обработка собранных мнений (данных) экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, обеспеченных достаточным информационным материалом, применяются методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу, наряду с количественными методами обработки экспертных данных, используются методы качественного анализа и синтеза.

Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

При применении рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимо количественно оценить меру согласованности мнений экспертов и определить причины несовпадения суждений. Мера согласованности, естественно, устанавливается па основе статистических данных всей группы экспертов. Для оценки данной меры используются коэффициенты конкордации, которые рассчитываются по формуле

где С - сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т. е.

где - средняя сумма рангов;

Аij - оценка (в баллах), данная i-му объекту j-м экспертом.

К-эксперты, Н-объекты.

Коэффициент конкордации может быть в диапазоне 1>W>0. При W=0 согласованность мнений экспертов отсутствует, а при W=1полная. Обычно считается, что согласованность вполне достаточна при W>0,5.

Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона Х^2 с определенным уровнем значимости B -Максимальной вероятностью неправильного результата работы экспертов. Обычно значимость достаточно задавать в пределах 0,005 -0,05

В случае получения расчетной величины Х^2расч больше табличной(с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

В случае определения несогласованности линий экспертов по коэффициентам конкордации и при соответствующей проверке его величины по критерию Пирсона экспертные опросы следует повторить.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

) определение относительных весов объектов;

) определение согласованности мнений экспертов;

) определение зависимостей между ранжировками;

) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, которые строятся по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами - средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Таким образом, обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

Список используемой литературы

1. Василевская И.В. Управление качеством: Учебное пособие / И.В. Василевская. - М.: ИЦ РИОР, 2011. - 112 c.

Виханский О.С., Наумов А.И. Менеджмент: Учебник. - 3-е изд. - М.: Экономистъ, 2004. - 528с.: ил.

Экспертный метод - это решение задач на основе суждения (мнения) высококвалифицированных специалистов в соответствующей области знаний (наука, техника, экономика и т.д.). При экспертной оценке событий (явлений) необходимо: четко сформулировать цель исследования; правильно определить время свершения событий; разработать организацию опроса (интервью) и анкетирования; сформировать группу экспертов; обеспечить взаимную независимость их суждений, отсутствие авторитета должности или личности, влияющих на выбор альтернатив, и обобщить полученные результаты.

Сущность экспертных методов прогнозирования заключается в выработке коллективного мнения группы специалистов в данной об­ласти. Метод экспертных оценок состоит в проведении экспертами анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов считается решением проблемы.

Экспертное ранжирование . Ранжирование применяется в случаях,

когда невозможна или нецелесообразна непосредственная оценка. При этом

«ранжирование объектов содержит лишь информацию о том, какой из них

более предпочтителен, и не содержит информации о том, насколько или во

сколько раз один объект предпочтительнее другого.

Метод ранжирования альтернатив: Сущн-ть метода закл-ся в упорядочивании сравниваемых альтернатив по степени предпочтительности определ-го риска.Если таких альтернатив значительно немного (не>20), то эксперту предъявл-ся весь набор альтер-х вариантов, и он указывает наиболее предпочт-й среди них. Затем эксперт опред-т наиболее предпочтительный вариант из оставшихся. И так далее пока все оцениваемые альтерн-вы не будут проранжированны.Если оценив-х вариа-в больше, то сначала произв-ся их разбиение на упорядочен-е по предпочтен-ю группы с момощью метода экспертой классиф-каи, а затем ранжированием внутри группы.

Экспертные методы принятия решений – методы сбора и обработки мнений экспертов (специалистов, респондентов) по рассматриваемой проблеме с целью принятия необходимых решений. Экспертами в зависимости от задачи

могут быть как специалисты, так и потребители.Эти методы применяются для решения слабоструктурированных и не­

структурированных задач, когда математическое описание задачи невозможно или отсутствует необходимая статистическая информация. Эти методы основаны на опыте, знаниях и интуиции специалистов (экспертов); информация, полученная от экспертов, обрабатывается статистическими методами.

Экспертные методы применяются для решения следующих задач:- разработка и оценка альтернатив решения проблем;- упорядочение списка альтернатив (различных объектов) и выбор одной или нескольких лучших альтернатив по одному или нескольким критериям;- оценка влияния факторов на некоторый показатель или ситуацию;- присвоение числовых значений качественным показателям;- прогнозирование развития рассматриваемой ситуации.

Экспертными методами оцениваются качество и конкурентоспособность товаров, конкурентоспособность предприятия, рынки, предпочтения потребителей, конкуренты и поставщики, риски, факторы, влияющие на решение и т.д. Для применения экспертного метода создаются экспертная группа и рабочая группа для организации работ и подсчета баллов. В состав групп экспертов и рабочей группы включаются специалисты по данной проблеме. Оптимальное

количество экспертов от 5 до 12 человек. Сбор информации от экспертов осуществляется с помощью анкет.

Принятие решения на основе экспертных методов включает следующие

1. Определение объекта и цели экспертизы;

2. Формирование рабочей группы;

3. Выбор объектов и критериев их оценки;

4. Разработка шкалы оценок объектов по критериям и анкет опроса экс­

5. Формирование группы экспертов;

6. Разработка сценария и процедура экспертизы;

7. Сбор и анализ экспертной информации;

8. Обработка экспертной информации;

9. Анализ результатов экспертизы;

10.Принятие решений.

Экспертные методы классифицируются по следующим признакам:

количество экспертов:- индивидуальные;- коллективные;количество критериев:- однокритериальные;- многокритериальные.количество этапов:- одноэтапные;- многоэтапные.

Метод ранжирования применяется , когда надо упорядочить некоторые

объекты (решения, показатели, факторы) по некоторому критерию и выбрать из

них один или несколько лучших или наиболее важных.

Данный метод применяется, если количество альтернатив не слишком ве­

лико и используется один критерий для упорядочения альтернатив. Метод при­

меняется также для упорядочения нескольких факторов по степени их влияния

на рассматриваемый показатель или ситуацию при недостатке статистических

Сущн-ть метода закл-ся в упорядочивании сравниваемых альтернатив по степени предпочтительности определ-го риска.Если таких альтернатив значительно немного (не>20), то эксперту предъявл-ся весь набор альтер-х вариантов, и он указывает наиболее предпочт-й среди них. Затем эксперт опред-т наиболее предпочтительный вариант из оставшихся И так далее пока все оцениваемые альтерн-вы не будут проранжированны.Если оценив-х вариа-в больше, то сначала произв-ся их разбиение на упорядочен-е по предпочтен-ю группы с момощью метода экспертой классиф-каи, а затем ранжированием внутри группы.

Метод парных сравнений

Является одним из наиболее распространенных методов оценки сравнительной предпоч­тительности альтернативных вариантов.При методе парных сравнений эксперту последовательно предлагаются пары альтернативных вариантов, для которых он должен указать более предпочтительный. Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе посчитать сравни­ваемые альтернативные варианты равноценными либо не­сравнимыми.После последовательного предъявления эксперту всех дар альтернативных вариантов определяется их сравнитель­ная предпочтительность по оценкам данного эксперта.
В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые альтернативные варианты могут оказаться проранжированными по тому или иному критерию, показателю, свойству.
Если эксперт признал некоторые альтернативные вари анты несопоставимыми, то в результате будет получено лишь их частичноеупорядочение.В практике использования метода парных сравнений нередко приходится сталкиваться с непоследовательностью и даже противоречивостью оценок эксперта.В этих случаях необходимо проведение специального анализа результатов экспертизы.
Отметим также, что при достаточно большом числе оцениваемых альтернативных вариантов процедура парного сравнения всех возможных их пар становится трудоемкой для эксперта. В этом случае целесообразно применение соответствующих модификаций метода парных сравнений.
Например, если предположить непротиворечивость оценок эксперта, то, практически, достаточно однократного предъявления каждого альтернативного варианта в паре с каким-либо другим.Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака. Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.

Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения первого признака со вторым, в третьей – результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим.Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу,целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы.