Количественные методы оценки: Экспертные оценки. Сравнительный анализ качественных и количественных методов оценки личности. Методы получения качественных экспертных оценок
Количественное исследование
Отвечает на вопросы «кто» и «сколько»
Предназначены для изучения объективных, количественно измеряемых характеристик поведения людей. Преимущественно они бывают описательными. Обработка информации осуществляется с помощью упорядоченных процедур, методами математической статистики. К выборке предъявляются жесткие требования, базирующиеся на теории вероятности и математической статистике. Это процесс доказательства и подтверждения. Связано с объективным, количественно измеряемым поведением и установками людей.
Аспекты применения
Количественное исследование позволяет зафиксировать уже сложившиеся в массовом сознании стереотипы, сформировавшееся мнение.
Задачи количественного исследования
ü дать описание процесса (ситуации на рынке, состояния спроса, потребительского поведения)
ü оценить уровень известности фирмы, марки
ü провести процедуру сегментирования потребителей
ü установить долю рынка производителя
ü установить частоту и характер потребления продукта
Качественно исследование
Отвечает на вопрос «как» и «почему»
Предназначено для получения с помощью специальных техник глубинной информации. Качественное исследование можно назвать интерпретационным. Позволяет получить информацию о мотивах поведения, установках людей, их отношении к чему-либо, дают представление об образе мыслей. Требования к выборке не такие жесткие. Это процесс открытия. Связано с эмоциональным аспектом ответов респондентов.
Аспекты применения
Позволяет зафиксировать еще не сложившиеся в массовом сознании стереотипы, получить информацию в момент ее зарождения в сознании отдельных потребителей, которая может стать впоследствии массовой.
Задачи качественного исследования
ü разработка нового продукта
ü исследования бренда
ü изучение представлений целевых групп о продукте
ü изучение незнакомого для потребителя продукта
ü изучения незнакомого типа поведения
Сопоставление количественных и качественных методов исследования
Основание сравнения | Количественные | Качественные |
Цель применения | Дать объявление причин изучаемого | Понять изучаемое явление |
Исследовательские задачи | ü Измерить параметры явления ü Установить взаимосвязи между отдельными параметрами | ü Выявить общую картину явления ü Концептуализировать и интерпретировать явление, изучить мотив |
Позиция исследователя | «Сторонний наблюдатель» | «Сочувствующий» участник |
В центре внимания исследователя | ü Объективные факторы ü Общие соц. процессы | ü Субъективные факторы ü Особенные, частные |
Гипотезы формулируются | До начала сбора данных | По мере овладения данными |
Исследовательские интересы | Разрабатываются до полевого этапа. Формализованы, стандартизированы | Разрабатывается до и во время полевого этапа. Неформализованы, нестандартизированы |
Единицы анализа | Факты, события, высказывания, акты поведения | Субъективные значения фактов для индивида |
Представление данных | Статистическое распределение, индексы, шкалы | Высказывания, стенограммы, интеллектуальный продукт |
Различия между количественным и качественным исследованиями
1. Качественное
ü Обеспечивает глубину.
ü Отвечает на вопрос «Почему»
ü Изучает мотивацию
ü Субъективно
ü Генерирует новые идеи
ü Разведывательное
ü Позволяет понять поведение
ü Интерпретирует
2. Количественное
ü Измеряет количество
ü Отвечает на вопрос «Кто»
ü Изучает действие
ü Объективно
ü Обеспечивает подтверждение
ü Описательное
ü Измеряет количество действий
ü Описывает
Качественные методы
ü Наблюдение
ü Фокус-группа
ü Глубинное интервью
ü Анализ протокола
ü Опрос (личный, телефонный, почтовый, панельный, экспертный, on-line)
ü Retail-audit (ретейл-аудит)
Mix-методики (количественно-качественные)
ü Hall-тест
ü Home-тест
ü Mystery shopping
PS: Количественные и качественные методы нельзя противопоставлять, они дополняют друг друга.
11.Mix-методики. Количественно-качественные исследования.
Холл тест:
Позволяет получить информацию о восприятии потребителями продукта, его свойств и понять их реакцию на продукт. Особенностью этого метода – возможность получения ответа не только на вопрос сколько, но и на вопрос почему. Поэтому он сочетает в себе преимущества как количественного, так и качественного исследования. Формат позволяет задавать не только закрытые, но и открытые вопросы. Поэтому можно получить не только оценку товара или продукта, но и причины по которым к товару или продукту так относятся и в тех категориях, в которых мыслит потребитель. Результаты холл теста всегда выступают основой для выработки рекомендаций по изменению определенных свойств продукта и его позиционирование на рынке.
Холл тест решает следующие исследовательские задачи:
4. Определение критерия выбора продукта (мотивы и потребности)
5. Изучение отношения представителей целевой аудитории к представленным на рынке маркам продукта
6. Оценка нового продукта и определение свободных ниш при выводе продукта на рынок.
В качестве характеристик, которые исследуются с помощью этого метода, выступают:
1. Свойства продукта.
3. Упаковка (дизайн, название, логотип, цветовое решение…).
Этапы проведения холл теста:
1. Отбор представителей целевой аудитории
2. Полевое исследование
3. Анализ полученных результатов.
Отличительной чертой холл теста, является то, что с его помощью можно изучать труднодостижимые целевые группы. А также получать количественные оценки визуальной, слуховой, обонятельной, осязательной и вкусовой информации.
Нужно обратить внимание на труднодостижимые группы (богатые).
Методика:
Потребителей приглашают в помещение, которое находится на выставках, ярмарках…
Выборка: Важна по объему, объем должен быть от 100 до 400 человек. Отбор реальных или потенциальных потребителей производится по заданным характеристикам.
Критерии отбора потребителей:
1. Частота потребления продукта
2. Объемы потребления
3. Социально-демографические
Есть два способа отбора респондентов:
1. Предварительный отбор (прирекрут) – заранее договариваются о месте и времени встречи
2. Отбор во время проведения холл – теста.
Хоум тест:
Используют для решения задач позиционированию нового товара, относящегося к определенной товарной группе. Метод позволяет выявить недостатки преимущества товара по сравнению с аналогами других производителей. Определить оптимальную цену товара, название и другие характеристики.
Преимущества : является то, что тестирование товара происходит в тех же условиях в которых они используются в реальной жизни.
Хоум тест позволяет руководителю избежать ошибок до вывода товара на рынок, так как моделирование реального потребления дает возможность определить рыночный потенциал нового товара и предложить эффективную товарно-сбытовую и рекламную программу.
Описание методики: каждому участнику предлагают протестировать (за счет производителя) в домашних условиях обезличенный продукт или группу продуктов. Через какое-то время (минимум 2 максимум 4 недели) участник отвечает на вопросы анкеты, характеризующие его отношение к протестированному продукту. Сравнивает с аналогами и дает оценку приемлемого ценового диапазона.
Выборка: объем от 100 до 400 человек, а также объем определяется долей выборки в генеральной совокупности.
Технология Mystery Shopping (Тайный Покупатель) - это использование специально подготовленных покупателей для анонимной оценки качества обслуживания потребителей, работы персонала, его честности, проверки выполнения стандартов мерчандайзинга, качества продуктов и услуг + секретность и неожиданность проверки
Mystery Shopping (Тайный Покупатель) может работать в разных формах:
ü Личная покупка в торговой точке
ü Покупка/заказ по телефону
ü Покупка/заказ через Интернет
ü Скрытая видео/аудио запись
ü Покупка с возвратом
Этапы проекта:
ü Определение целей и задач
ü Подготовка анкеты
ü Подбор Покупателей
ü Сбор данных
ü Обработка данных и отчет
ü Анализ результатов, следующие шаги
Потребность возникает:
ü Если предприятие не удовлетворено деятельностью продавцов
ü Если конкуренты продают больше
ü Подозрение в недобросовестности сотрудников
Решаемые задачи:
ü Оценить качество обслуживаемого клиента, выявить сильные и слабые стороны
ü Оценить знания персонала о реализуемых товарах, качество и отношение к клиентам покупателям
ü Оценить четкость и лояльность персонала в компании. Можно контролировать уровень выполнения персоналом правил и стандартов и стимулирования продаж.
Выборка: к расчету необходимого числа визитов или звонков применяют все классические требования статистического расчета выборки.
Показатели, используемые для методики тайный покупатель:
1. Общее восприятие торгового зала:
ü Насколько чисто в торговом зале?
ü Есть ли просроченные продукты?
ü Насколько удобно движение по залу?
2. Отношение к покупателю:
ü Насколько персонал дружелюбен и внимателен?
ü Сколько нужно ждать, чтобы тебя обслужили?
ü Насколько хорошо персонал консультирует покупателя?
3. Оценка профессиональных качеств персонала:
ü Насколько продавцы осведомлены о товарах, которые продают?
ü Могут ли быстро и четко ответить на вопросы о товаре?
4. Понимание нужд покупателя:
ü Насколько хорошо продавец понимает потребность клиента?
ü Какие потребности покупателя не могут быть удовлетворены?
ü Не пытается ли продавец в первую очередь продать дорогие товары?
ü Какие буклеты, по каким торговым маркам имеются в торговом зале?
6. Эффективность системы информирования покупателей:
ü Какие методы информирования покупателей имеются?
ü Сообщают ли они полезную информацию?
12.Процедура маркетингового исследования. Характеристика этапов.
1.Формулирование целей исследования
2.Постановка задач Разработка концепции исследования
3.Формулирование рабочих гипотез
4.Определенная системы показателей
5.Отбор источников информации Этап получения эмпирических данных
6.Сбор информации
7.Обработка данных Анализ полученных данных
8.Анализ полученных результатов
9.Прогнозирование
11.Оформление отчета и презентация результатов исследования Этап предоставления
полученных результатов
Разработка концепции начинается с обоснования целесообразности проведения. Это обоснование важно т.к. дает возможность обосновать затраты на получение информации и помогает понимать существование самой проблемы, как управляющим так и маркетологам.
Случаи, когда целесообразно отказаться от проведения исследований:
ü если маркетинговую проблему не удается четко определить. Это бывает когда управляющие и маркетолог не могут достичь достаточного уровня взаимопонимания.
ü если маркетолог считает, что он обладает достаточным объемом информации, необходимой для исследования. Такая ситуация может возникнуть при смене руководства.
ü если исследование может привести к утечке информации к конкурентам
ü если затраты на исследование превышают его эффект
ü если бюджет не позволяет провести исследования в нужном объеме
ü если результаты исследования никак не повлияют на действия управляющих
13.Назначение маркетингового отчёта.
Отчет – итоговый документ и заключительный этап маркетинговой исследования; непосредственное свидетельство и доказательство проделанной работы.
Отчет влияет на использование информации, полученной в ходе исследования, он должен информировать, а не дезинформировать. В обязанности составляющего отчет маркетолога входит доведение до сведения управляющих информации об используемых методах исследования, слабых и сильных сторонах аналитического аппарата и диапазоне возможных ошибок.
Показатели эффективности работы маркетолога оцениваются правильностью и грамотностью составленного отчета. Отчет демонстрирует навыки маркетолога в доходчивой форме передать управляющим информацию, с помощью которой можно повышать качество принимаемых маркетинговой решений.
Критерии оценки отчета:
1) полнота – достаточность объема маркетинговой информации в соответствии с поставленной целью исследования
2) точность, т.е. качество, выражающее степень согласованности представленной информации с практическими решениями
3) ясность – четкость и лаконичность представления информации
4) выразительность.
Факторы, оказывающие влияние на качество подготовленного отчета:
ü степени внимания руководства к цели исследования
ü уровень сложности стоящих перед маркетологом задач
ü опыт и квалификация маркетолога
ü наличие программного обеспечения.
Формы представления отчета: письменный, устный, презентация.
Письменный отчет - готовится в 2 вариантах, сокращенном и полном. Сокращенный – для управляющих, содержит основные результаты и выводы, а полный – для отдела маркетинга, хранится в архивах отдела.
Структура полного отчета:
1. Титульный лист (тема исследования, место и время проведения, заказчик, исполнитель)
3. Введение
ü описание проблемы с обоснованием
ü постановка задач
ü рабочие гипотезы
ü описание выборочной модели
ü ограничения и предостережения
4. Основная часть – интерпретация полученных результатов, методология исследования (характеристика этапов исследования, описание методов исследования, ответы на вопросы технического задания, перечень результатов, которые будут положены в основу принятия управленческих решений).
6. Приложения – инструментарий (анкета, гайд), вся цифровая информация, сопровождающая информация, техническое задание, графики и диаграммы.
При написании текста отчета следует придерживаться лаконичного стиля изложения, насколько это возможно – избегать узкоспециализированных терминов и профессионального жаргона. Отчет пишется не для коллег-маркетологов, а для управляющих.
Устный отчет – не доказательство проведения исследования, это изложение фактов с большой точностью.
Необходимо:
1) подготовить текст доклада в соответствии с целью исследования и логикой построения письм. отчета
2) знать аудиторию, для которой вы готовите текст, понимать ее требования и заинтересованность в результатах
3) всегда быть готовым к вопросам и уметь предчувствовать, какие могут быть заданы
4) подготовить демонстрационный материал
Представление устного отчета регламентируется следующим:
1) лимит отведенного времени
2) время на вопросы (вопросы нужно использовать для доработки письм. отчета)
Методы качественной оценки риска.
План
§ 1. Понятие оценки предпринимательских рисков.
Методы количественной оценки риска.
Методы качественной оценки риска.
§1. В процессеуправления рисками особое внимание уделяется механизму оценки предпринимательского риска. Оценка риска – это определение количественным и качественным способом величины (степени) риска.
В процессе принятия управленческого решения в любой сфере деятельности перед предпринимателем стоит задача выбора только одного, которое бы отвечало его требованиям. Для этого предпринимателю необходимо проанализировать все возможные варианты и их последствия.
Оценка предпринимательского риска зависит от многих факторов, в том числе, как от объективных, так и от субъективных. Так, качество оценки уровня риска зависят и от опыта предпринимателя, и от ситуации, в которой принимается решение. Если решение принимается в условиях неопределенности, предприниматель точно знает результат каждого из вариантов решения. Однако, как отмечалось выше, наличие определенности – это довольно редкое явление в предпринимательстве. Причем неопределенность может возникнуть даже при вполне ясном однозначном выборе, в случае если решение принимается в условиях, когда состояние внешней среды неизвестно или быстро меняется.
Оценка предпринимательских рисков, и в том числе финансовых, проводится с целью определения вероятности и размера потерь, характеризующих величину риска.
Следует различать качественную и количественную оценку предпринимательского риска. Качественная оценка может быть сравнительно простой, ее главная задача – определить возможные виды риска, а также факторы, влияющие на уровень риска при выполнении определенного вида деятельности. Качественный анализ проводится, как правило, на стадии разработки бизнес-плана. На данном этапе оценки риска предприниматель должен выявить основные виды рисков, влияющие на результаты предпринимательской деятельности.
Количественная же оценка является более трудоемкой, длительной и затратной. В исследованиях, посвященных проблеме риска, встречаются разные подходы к определению критерия количественной оценки риска. Рассмотрим некоторые из них.
В случае рассмотрения риска как вероятности неудачи критерием оценки риска является вероятность того, что полученный результат окажется меньше требуемого значения. Расчет данного критерия производится по следующей формуле:
где R – критерий оценки риска;
P – вероятность наступления рискового события;
D tr – требуемое (планируемое) значение результата;
D – полученный результат.
Недостатком рассмотренного метода является то, что он позволяет оценить уровень риска только после получения определенного результата, а для предпринимателя важно оценить риск на этапе принятия решения. Для этого существует метод оценки риска, который в качестве критерия последнего рассматривает абсолютную величину, исчисляемую по формуле:
где R – степень риска;
У – ожидаемый ущерб;
Р(У) – вероятность ущерба.
§2. Наиболее распространенными методами количественного анализа риска являются следующие:
Статистический;
Анализ целесообразности затрат.
Суть статистического метода заключается в том, что изучается статистика потерь и прибылей, имевших место на данном или аналогичном производстве, устанавливается величина и частота получения той или иной экономической отдачи и составляется наиболее вероятный прогноз на будущее.
К числу основных расчетных показателей этого относятся: дисперсия, среднеквадратическое (стандартное) отклонение, коэффициент вариации.
Мерой количественной оценки величины риска служит показатель «среднее (математическое) ожидаемое значение событий (результата)», который рассчитывается по формуле:
где – среднее ожидаемое значение;
– абсолютное значение -го результата;
Вероятность наступления -го результата;
Число вариантов исхода событий.
Другими показателями оценки риска являются величины
изменчивости (колеблемости) возможного результата - среднее
квадратическое отклонение
действительных результатов от среднего ожидаемого значения и дисперсия,
которые определяются по формулам:
; (4)
, (5)
где σ - среднее квадратическое отклонение;
σ 2 - дисперсия.
Остальные обозначения соответствуют принятым ранее.
Дисперсия и среднее квадратическое отклонение характеризуют абсолютную колеблемость возможных финансовых результатов.
Для сравнительной оценки наиболее пригодны показатели относительной колеблемости: коэффициент вариации и бета-коэффициент.
Коэффициент вариации (V) рассчитывается по формуле:
Бета-коэффициент (β)применяется для оценки риска вложений в ценные бумаги и рассчитывается по формуле:
где Δ i - процент изменения курса i-й ценной бумаги;
Δ - средний процент изменения курсов всех акций на фондовом рынке.
При значении коэффициента вариации до 10% колеблемость считается слабой, при значении 10-25% - умеренной, свыше 25% - высокой. Соответственно оценивается и степень финансового риска.
Анализ целесообразности затрат заключается в определении потенциальных зон риска. В качестве исходных факторов, которые могут вызвать рост планируемых затрат, рассматривают следующие факторы или их комбинации:
ü первоначальная недооценка стоимости проекта;
ü изменение границ проектирования;
ü различие в производительности;
ü увеличение первоначальной стоимости проекта;
ü изменение условий реализации проекта.
Факторы могут быть детализированы. Примером может служить анализ показателей финансовой устойчивости с целью определения степени риска финансовых средств.
Все указанные выше методы анализа позволяют провести, как правило, количественную оценку риска и определить численную величину возможных потерь и вероятность их появления. Но на практике количественный анализ риска дополняется его качественным аспектом.
Качественный анализ риска может быть сравнительно простым. Его главная задача - определить факторы риска, этапов и работ, при выполнении которых риск возникает, т.е. установить потенциальные области риска, после чего определить все возможные риски.
Все факторы, влияющие на степень риска, можно подразделить на объективные и субъективные. К объективным относятся факторы, не зависящие непосредственно от самой фирмы, инфляции, конкуренция, политические и экономические кризисы, экология, таможенные пошлины и т.д. Субъективные факторы характеризуют непосредственно данную фирму: производственный потенциал, кадровый состав, хозяйственные связи, финансовое состояние.
В зависимости от полученных результатов определяют, насколько безопасна среда, в которой функционирует фирма либо осуществляется реализация данного проекта.
В литературе по проблеме риска приводится много методов качественной оценки финансовых рисков, использующие результаты опыта, интуицию, сбор и анализ различной информации, т.е. эвристические методы.
Особенностью таких методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как «измерительного прибора» для получения количественных оценок и суждений.
Яркими примерами традиционных эвристических процедур служат различные экспертизы (метод экспертных оценок), консилиумы, совещания и т.п., результатом которых являются экспертные оценки состояния объекта исследования.
Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются дорогостоящие мероприятия.
Метод экспертных оценок представляет собой процедуру получения оценки риска с помощью опросов специально отобранных экспертов относительно значений некоторых параметров и/или показателей анализа. Для осуществления экспертной оценки формируется группа аналитиков различного направления, хорошо информированных в области рассматриваемой проблемы. Члены экспертной группы отбираются по признакам их формального профессионального статуса и должностного положения, ученой степени, стажа практической и научной работы, а также результатам тестирования и аттестации со стороны коллег и других специалистов. Группа экспертов должна обеспечивать надежность и полноту анализируемой информации, возможность ее проверки с точки зрения методологии ее формирования, создавать условия для статистической устойчивости анализируемых рядов динамики и гарантировать надежность самой процедуры оценки. Форма опроса экспертов может быть анонимной, очной или заочной, индивидуальной или групповой.
Каждому эксперту предоставляется полный набор анализируемой информации, перечень возможных рисков и шкала оценки вероятности их наступления (или ненаступления). Например, предлагается следующая шкала оценки какого-то конкретного риска:
0 – несущественный уровень риска;
25 – скорее всего рисковая ситуация не наступит, т. е. уровень риска сохранит свой оптимальный уровень;
50 – рисковая ситуация не определена, и, вероятно, необходима дополнительная информация;
75 – достаточно высокая вероятность наступления рисковой ситуации;
100 – рисковая ситуация наступит обязательно.
Затем экспертные оценки подвергаются анализу на их различие и противоречивость. При этом максимально допустимая разница между оценками конкретного вида риска двух экспертов не должна превышать определенного, заранее заданного значения вероятности наступления этого риска:
max /Ai – Bi / <= K (2),
где А, В – вектор оценки для каждого из двух экспертов;
i – вид оцениваемого риска;
К – значение критерия.
Например, при наличии трех экспертов должно быть сделано три оценки: для попарного сравнения мнений первого и третьего, первого и второго и второго и третьего экспертов.
Помимо метода экспертных оценок к группе качественного анализа уровня финансового риска можно отнести такие методы, как метод аналогий, метод «Due Diligence» («должное внимание»), «дерево решений», метод «Монте-Карло».
Метод аналогий, который заключается в сравнении вида, размера и причин возникновения или изменения конкретного анализируемого риска с аналогичной ситуацией. Сравнение проводится с ситуацией в прошлом или существующей в аналогичных институциональных единицах в настоящем. Для этой цели используются результаты исследовательской и маркетинговой информации.
Метод «Due Diligence» («должное внимание»), который используется, главным образом, банками или небанковскими финансовыми учреждениями, проводящими некоторые банковские операции. В основе этого метода лежит система сбора и анализа информации об эффективности деятельности клиентов, учредителей и всех субъектов третьего уровня маркетингового анализа: посредников, поставщиков, конкурентов и всех видов контактных аудиторий.
«Дерево решений». Метод построения «дерева решений» используется чаще всего для анализа риска, при котором можно выделить обозримое количество просчитываемых вариантов. Этот метод заключается в определении вероятности реализации определенного количества возможных сценариев, в определении количественных и качественных параметров риска для каждого сценария. Для проведения исследования методом «дерева решений» необходимо иметь максимально возможный объем количественной и качественной информации не только в статике, но и в динамике. Для сбора и оценки данных необходимо соблюдать следующую последовательность:
1. определение состава и продолжительность жизненного цикла процесса и/или конкретной финансовой операции;
2. определение ключевых внешних и/или внутренних событий, которые могут оказать влияние на динамику уровня риска;
3. определение времени наступления этих событий;
4. определение возможных решений или вариантов действий, которые могут быть предприняты в результате наступления или ненаступления каждого ключевого события;
5. определение вероятности принятия каждого из возможных решений;
6. определение уровня риска при прохождении каждого из выявленных этапов процесса.
На основании полученного результата строится «дерево решений». Его узлы представляют собой ключевые события, а стрелки (векторы) и соединяющие узлы – объективный процесс/конкретную финансовую операцию и т.д.
Для проведения анализа полученного «дерева решений» необходимо определить все возможные сценарии и в зависимости от ситуации выбрать оптимальный.
Метод «Монте-Карло», который является методом формализованного описания неопределенности, применяемый в наиболее сложных для прогнозирования ситуациях.
Метод основан на применении имитационных моделей, позволяющих создать множество сценариев, согласованных с заданными ограничениями на исходные переменные. Имитационное моделирование – это искусственный эксперимент, при котором вместо проведения натуральных испытаний проводятся опыты на математических моделях.
На практике данный метод может быть применен только с использованием ряда компьютерных программ, позволяющих описывать прогнозные модели с большим количеством случайных сценариев.
Основным недостатком качественного анализа финансовых рисков является высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок. Именно поэтому во многих случаях предпочтительней считаются методы количественного анализа.
Методы измерения и оценки личностного и профессионального развития
План
1. Количественные и качественные измерения.
2. Основные направления измерения личностного и профессионального развития.
3. Противоречия личностного и профессионального развития.
4. Личностное и профессиональное развитие и его мониторинг
Ключевые слова: качественная оценка, количественное измерение, личностное развитие, профессиональное развитие, мониторинг.
– качественная оценка предполагает нечисловую (даваемую на уровне измерений наименования или порядка) оценку значимых личностных и профессиональных качеств;
– количественное измерение производится на основе разработки специальных числовых шкал (на уровне измерений интервалов или отношений) для оценки выраженности значимых личностных и профессиональных качеств;
– личностное развитие в узком смысле – это актуально достигнутый уровень выраженности значимых качеств личности как целостного системного образования. При этом для различных практических задач значимыми оказываются различные по своей обобщенности и уровню качества личности; в широком смысле динамика изменения значимых личностных качеств в различной временной перспективе. Методически для изучения личностного развития в широком смысле чаще всего используется процедура мониторинга личностного развития;
– профессиональное развитие – в узком смысле – это актуальный уровень выраженности качеств личности, существенно связанных с ее профессиональной успешностью; в широком смысле – это изменение за определенный промежуток времени (например, между двумя аттестациями) качеств личности, связанных с профессиональной успешностью. Для оценки такого развития может применяться процедура мониторинга профессионального развития;
– мониторинг представляет собой систематическую процедуру сопоставимого измерения уровня выраженности значимых личностных и профессиональных качеств, производимую через регулярные интервалы времени. Он позволяет оценить динамику изменения оцениваемых качеств.
Количественные и качественные измерения
Качественная оценка и количественное измерение в психологических исследованиях и практических приложениях с формальной точки зрения могут рассматриваться как частные случаи более общей процедуры измерения. В первом приближении, приписывание числовых значений для представления свойств можно назвать измерением . В результате измерения, в каждом конкретном случае с измеряемым свойством ассоциируется числовое значение. Однако такое приписывание не является произвольным. Необходимо, чтобы отношения между числовыми значениями соответствовали тем отношениям, которые реально существуют между измеряемыми ими аспектами объекта измерения. Для удобства исследователей принято выделять четыре типа такого рода соответствий, которые получили название уровней измерения. Различают следующие уровни измерения (или шкалы для измерений):
Наименований (номинальный);
Порядковый (ординвальный);
Интервальный;
Отношений.
Первые два уровня измерения традиционно рассматривают как качественную оценку, а последние два в совокупности образуют то, что называется количественным измерением свойств.
Чем выше уровень, тем большим набором "полезных" для исследователя и практика свойств обладает соответствующая измерительная шкала. С этой точки зрения самым низким уровнем измерения является номинальный, а самым высоким – уровень отношений. Традиционно развитие измерительных средств (например, шкал в психологических тестах) идет от простого к сложному. В терминах уровней измерения это означает, что от первоначального создания измерительных инструментов, работающих на номинальном уровне происходит последовательный переход, по мере познания особенностей изучаемых свойств и их связей с другими свойствами, сначала к порядковому уровню измерения, а затем к количественному уровню измерения, воплощенному в балльных шкалах. На практике этой тенденции противостоит постоянно растущая сложность измерительных методик, приводящая к росту стоимости их использования и повышению требований к специалистам применяющим их.
Рассмотрим подробнее особенности представленных выше уровней измерения и конкретные примеры их использования для оценки личностных и профессиональных качеств работников.
Номинальное измерение формализует процедуру классификации, но при этом обладает самым маленьким набором полезных свойств, давая лишь набор дискретных категорий, позволяющих разграничивать разные объекты.
Наиболее простые примеры номинального уровня измерений связаны с полом, национальностью, партийной принадлежностью оцениваемого лица.
В целях оценки кадров достаточно широко применяется матричный метод, предполагающий сопоставление, например, набора реальных и требуемых качеств. Результат такого сопоставления является номинальным по уровню измерения и содержит оценки "соответствует – не соответствует". Отметим, что существуют и более сложные варианты этого метода, позволяющие получить количественные оценки работников.
Метод выполнения - методика, предусматривающая качественное описание того, что сделал работник за определенный период. Она же позволяет получить оценку деятельности на номинальном уровне (в терминах "сделал – не сделал"). Кроме того иногда используют метод критического случая (метод инцидентов ), в рамках которого проводится анализ поведения оцениваемого лица в трудных или критических ситуациях, а так же могут рассматриваться его срывы в работе.
Порядковое измерение позволяет не только разбить объекты на классы, но и упорядочить их. Наиболее известным примером такой шкалы является школьная отметка (от 1 до 5).
Для оценки с помощью порядковой шкалы латентного одномерного свойства на основании совокупности внешних проявлений (которые имеют или не имеют место в отношении конкретного объекта), разработан специальный алгоритм построения соответствующих шкал, получивший название шкалы Гуттмана*. Распространенность порядковых измерений для оценки профессионального развития иллюстрируется традиционным итогом аттестационных процедур "соответствует занимаемой должности" – "соответствует занимаемой должности при условии улучшения работы" – "рекомендуется смена деятельности", образующим типичную порядковую шкалу.
* Ядов В.А. Социологическое исследование. Методология, программа, методы. М., 1987. С.98-102.
Наряду с этим, в силу своей простоты, достаточно распространена, особенно при проведении оценки в небольших трудовых коллективах (до 10 человек), методика классификации по порядку, предусматривающая выделение лучших и худших работников.
Для этого эксперты располагают работников по каждому из оцениваемых критериев (их может быть несколько) по порядку, от самого лучшего до самого худшего. Индивидуальная итоговая оценка может определяться как сумма порядковых мест по всем используемым критериям оценки. Благодаря такому суммированию (хотя с точки зрения теории измерения не совсем корректному) появляется возможность перейти от порядковых шкал к интервальным и дать итоговую оценку в баллах.
Интервальное измерение – позволяет не только классифицировать или упорядочивать объекты, но и сказать, насколько большим или меньшим количеством измеряемого свойства по сравнению с другими объектами они характеризуются. Измерение основывается на существовании некоторой стандартной единицы измерения.
Например, доход можно измерять в рублях за год. Единицей измерения является рубль. Другой пример – измерение температуры. Есть разные системы измерения (Цельсия, Фаренгейта, Кельвина). Практически все стандартизованные психологические тесты, использующиеся для оценки профессионального и личностного развития дают в результате балльные оценки, что позволяет отнести их к интервальному уровню измерения.
Очень многие интервальные шкалы являются "естественными". Это шкалы возраста, дохода, веса. Кроме того, существует технология разработки интервальных шкал, применяемых для измерения латентного показателя по его внешне наблюдаемым проявлениям. Наиболее известна шкала равных интересов Терстоуна.
Шкала равных интервалов Терстоуна используется для определения субъективного отношения (зачастую явно не осознаваемого) к некоторому явлению, например, отношения к работе, на основании ряда внешних признаков. Для этого выполняются следующие шаги.
1. Выработать не менее 30 суждений позитивного и негативного характера (это внешние признаки). Например, "труд является первой жизненной потребностью", "без труда не вытащить и рыбку из пруда", "работа не волк, в лес не убежит" и т.д.
2. Подобрать группу экспертов (не менее 50 человек, отобранных случайно из исследуемой аудитории).
3. Каждый из экспертов должен рассортировать весь список суждений по 11 классам. Число классов может быть и другим, оно зависит от необходимой исследователю "дробности" шкалы, определяющей ее точность. В класс 1 попадают суждения с максимально положительным отношением к объекту, в класс 11 – с максимально отрицательным, в 6-й класс – с нейтральным отношением.
4. Проводится анализ экспертизы:
определяется цена (вес) каждого суждения на шкале в 11 интервалов. Так, если для определения веса использовались мнения 300 судей-экспертов, то для одного какого-то утверждения, например, "работа не волк, в лес не убежит" оценки могут распределяться следующим образом (см. табл. 1).
Экспертные оценки и способы измерений.
Оценка эксперта – количественное и/или качественное измерение соответствующего показателя.
Методы получения количественных экспертных оценок
Непосредственная количественная оценка
Эксперт указывает конкретное числовое значение или диапазон искомого параметра.
Метод средней точки.
Применяется при большом количестве альтернативных вариантов.
Сначала выбираются наиболее (А) и наименее (Я) предпочтительные альтернативы. Далее – промежуточный вариант – М, оценка которого делит отрезок А – Я пополам.
Методы получения качественных экспертных оценок
Экспертная классификация (определение принадлежности к группе, сорту, категории – сорт чая)
Ранжирование альтернатив – упорядочение сравниваемых альтернатив по степени предпочтительности определённого признака.
Метод экспертных кривых применяется для получении прогнозов на основе анализа динамики показателей, характеризующих объект эксперимента (график, экстраполяция). Для предотвращения ошибок при экстраполяции на основе обобщенного мнения экспертов на графике определяются точки, в которых следует ожидать изменения тенденции развития показателя.
Инструментами вышеперечисленных методов являются качественные и количественные шкалы.
19. Способы оценки качеств экспертов и формирование экспертных комиссий.
Метод суда.
Процедура аналогична судебному заседанию. Часть экспертов – обвиняют, часть – защищают, часть – присяжные, выносящие окончательный вердикт. Экспертные оценки – субъективны, поэтому ключевой вопрос – подбор экспертов.
Оценка качеств эксперта .
Эксперт – специалист, профессионал, оценки и суждения которого лицо, принимающее решение, считает полезным учитывать в процессе принятия решения.
Формирование состава экспертной комиссии эависит от:
Конкретной ситуации принятия решения;
Возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;
Возможностей специалистов принять участие в работе экспертной комиссии.
Не существует общепринятой единой методики оценки качеств эксперта.
Можно опираться на:
Профессиональные знания;
Опыт и эффективность деятельности в составе экспертных комиссий.
Способы оценки качеств эксперта:
Априорные – не используют информацию о результатах участия эксперта в предыдущих экспертизах (самооценка, взаимная оценка, метод списка экспертов, документационный (анкетный) метод).
Апостериорные – используют информацию о результатах участия эксперта в предыдущих экспертизах (метод парных сравнений объектов, наиболее предпочтительных для данного эксперта, метод отклонения от результирующей групповой оценки).
Тестовые – подразумевают проведение специального испытания.
Тест должен быть специально разработан под конкретные объекты экспертной оценки
Истинные значения оцениваемых параметров (правильные ответы) не должны быть известны эксперту
Должна быть разработана шкала для определения точности оценок, даваемых экспертом
Вероятность случайного угадывания правильной оценки должна быть очень мала.
Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Проводят ряд аналогичных тестов и оценивают полученные результаты. Стабильность оценок говорит о профессиональной компетенции эксперта.