история метода экспертных оценок

Методы экспертных оценок

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?
37c49314b3521611406f9e4d8a7c285d

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам image loader

Источник

Эконометрические методы проведения экспертных исследований и анализа оценок экспертов

Примеры процедур экспертных оценок

Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах эконометрики и прикладной статистики.

Метод сценариев необходим не только в экологической или социально-экономической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.

Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Как известно, при принятии решений на основе анализа ситуации, в том числе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Более подробно рассмотрим отдельные этапы экспертного исследования.

Основные стадии экспертного опроса

Источник

Экспертная оценка

Экспертная оценка необходима для ведения практически любой деятельности. Человек с профильным образованием и опытом в области исследования, считается экспертом. Его знания и навыки помогают принять объективное решение относительно положения продвигаемых товаров или услуг. Экспертные оценки используются, когда требуется консультация стороннего специалиста, чтобы взглянуть на положение дел под другим углом.

Что такое экспертная оценка

Это заключение, которое дает человек или группа лиц, наделенные экспертностью. Специалисты выступают источниками информации, помогая владельцам компаний скорректировать бизнес-процессы, чтобы устранить недостатки и проблемы.

Виды экспертных оценок

Виды различаются числом людей, участвующих в проверке. Их количество обычно отличается, исходя из принципов формирования экспертной группы.

Индивидуальные

Такие оценки основываются на мнении одного или нескольких экспертов, работающих отдельно друг от друга. Принимаемые таким образом решения могут быть характерны и для коллективной экспертизы, но в этом случае вердикт основывается на заключении лидера мнения.

Читайте также:  копное право на руси что это такое

Коллективные

Итоговая оценка группы представляет собой объединенное мнение нескольких экспертов. Она формируется в результате предварительного согласования внутри коллектива.

Требования к экспертной группе

От оценки экспертной группы зависит не только положение определенного продукта, но и бизнес компании. Поэтому отбор специалистов — сложная, многогранная задача, успешный результат которой определяет эффективность используемых методов и решений. Эксперт должен обладать:

компетентностью в необходимой сфере;

знаниями в смежных областях, напрямую не относящимся к исследуемому вопросу;

опытом практической работы, академическими и научными достижениями;

объективностью при формировании оценки;

способностью нестандартно мыслить в тех случаях, когда это требуется.

Методы экспертных оценок

Экспертное оценивание базируется на нескольких методах. Среди наиболее популярных можно выделить:

Ассоциативный. Заключается в изучении объекта, имеющего схожие свойства.

Парные сравнения. Сопоставляет альтернативы одного решения с целью изучения наиболее предпочтительных вариантов развития событий.

Фокальные объекты. Метод основывается на перенесении свойств и признаков случайно выбранных аналогов на объект исследования.

Средняя точка. В процессе оценивания выделяют два пути решения проблемы: наиболее и наименее предпочтительный. Между ними находится «средняя точка» — альтернатива, учитывающая особенности первого и второго варианта.

Выбор конкретного метода зависит от назначения экспертной оценки и выбирается после общения с заказчиком.

Достоинства метода экспертных оценок

Экспертное оценивание дает массу преимуществ для бизнеса, позволяя владельцам компаний улучшать положение фирмы на рынке. К основным достоинствам такого метода можно отнести:

возможность посмотреть на ситуацию более широко, чтобы увидеть потенциальное решение;

получение исчерпывающей информации по заявленной проблеме;

надежность предлагаемых оценок и решений;

получение рекомендаций от специалистов со знаниями и опытом в определенной сфере.

Этапы экспертного оценивания

Все виды экспертных оценок проходят несколько стадий до конечной точки исследования, когда предоставляется ценная информация по изучаемой проблеме. Она достигается с помощью следующих шагов.

Постановка цели исследования

Перед началом любой работы важно задать основную цель, которая определяет ход действия всего проекта. Вместо нее может присутствовать проблема, которую необходимо решить. В любом случае заказчик обязан сформулировать правильный вопрос для экспертной комиссии, сообщить о деталях изучаемого предмета и выразить свои пожелания относительно хода экспертизы.

Выбор формы исследования, определение бюджета проекта

Среди основных форм проведения исследований можно выделить две разновидности: очную и заочную. Очный метод считается более достоверным, так как позволяет эксперту наглядно оценить происходящее и провести ряд тестов непосредственно на месте. В то же время заочный метод обходится дешевле и успешно применяется во многих сферах бизнеса. Особенно хорошо такой способ используется для онлайн-продаж.

Также формы исследования предполагают различия в итерациях. Они делятся на итерационные (предполагающие несколько повторений процедуры экспертной оценки) и одношаговые, выполняющие только один раз.

После выбора подходящего метода и определения деталей исследования заказчику необходимо определиться с бюджетом. Затраты на процесс оценивания включают в себя экспертные услуги, аренду помещения и приобретение дополнительного оборудования.

Подготовка информационных материалов

Экспертная группа перед окончательным вердиктом проверяет возможность использования альтернативных вариантов и рассматривает изучаемый объект с разных сторон. Чтобы этот процесс прошел быстрее и качественнее, необходимо подготовить информационные материалы, содержащие описание проблемы, статистику, справки, анкеты. Чем разнообразнее предоставляемые сведения, тем больше у экспертов материала для аналитики.

Подбор экспертов

Эксперты должны быть не только компетентные и опытные. Важно, чтобы они не были заинтересованы в результатах исследования. Необъективное заключение негативно скажется на развитии бизнеса. Для этой цели может использоваться специальный метод, по которому один эксперт рекомендует другого, пока не подберется собранный по независимым рекомендациям коллектив.

Собранной группе или привлеченному специалисту следует уметь не только излагать текущие тенденции, но и делать прогнозы на основании полученных результатов.

Проведение экспертизы

Экспертиза не может строиться исключительно на оценке имеющихся материалов. Цель работы специалистов состоит в построении собственных гипотез, которые должны подтверждаться практической экспертизой. Для этого заказчик устанавливает четкий срок принятия окончательного решения по исследуемому вопросу. Наличие регламента поможет сохранять темп и не затягивать процедуру.

Анализ результатов

На этом этапе обрабатываются сведения, полученные в результате экспертизы. После анализа наиболее удачные решения внедряются в работу компании, способствуя оптимизации внутренних бизнес-процессов.

Подходы к экспертным оценкам

Экспертное оценивание помогает установить степень актуальности и сложности представленных проблем, выявить факторы, влияющие на ситуацию, выбрать альтернативы. Обширный спектр задач определяет существующие подходы к экспертным оценкам:

прогнозирующие — предназначены для оценки возможных вариантов развития событий, выявления принципов предпочтительного распределения ресурсов и перспектив развития изучаемого объекта;

интуитивные — предполагают мобилизацию знаний и опыта экспертов в тех случаях, когда не достает исходных данных для оценки состояния объекта.

Подходы применяются как с коллективом, так и при формировании индивидуальной оценки одного эксперта.

Экспертные ошибки

В заключениях иногда встречаются ошибки. Зачастую они происходят не из-за отсутствия необходимых компетенций у эксперта, а по причине возникающих заблуждений. Это может не зависеть от проверяющего субъекта, или быть субъективным фактором, обусловленным особенностями мышления эксперта. Выделяют две разновидности экспертных ошибок.

Систематические

Это ошибки, которые повторяются у одного и того же специалиста из раза в раз. В результате значение показателей отклоняется через преувеличение или преуменьшение реальной картины, складывающейся в бизнесе. Чтобы систематические ошибки не так сильно влияли на бизнес-процессы, следует использовать поправочные коэффициенты.

Читайте также:  ли бен чхоль биография

Случайные

Это тот тип ошибок, который случается у экспертов в любых сферах. Они могут изменяться от одной оценки к другой, поэтому для избегания этих ошибок стоит проводить дополнительную проверку.

Повторная экспертная оценка

Повторная экспертиза поможет найти ошибки и предотвратить неприятные последствия внедрения в бизнес-процессы неверных решений. Те же вопросы могут исследоваться на протяжении того же срока, но для этого приглашаются уже другие эксперты. Это подтвердит достоверность и объективность полученных результатов.

Применимость метода экспертных оценок

Оценки от экспертов находят свое применение в любой сфере бизнеса на разных этапах проверок. Такие исследования могут проводиться при выходе компании на рынок, в случае застоев и кризисов, при необходимости расширения и поиска новых рынков сбытов. Чаще всего к таким методам прибегают, если при выборе конкретного пути нельзя оперировать точными расчетами.

Заключение

Экспертная оценка помогает собственнику бизнеса объективно взглянуть на происходящие процессы и скорректировать некоторые области. Если вовремя выявить проблему и оперативно решить ее, можно избежать ощутимых потерь в бизнесе.

Источник

Тема: Метод экспертных оценок.

— Специфика метода экспертных оценок и возможности применения.

— Виды экспертного оценивания.

— Основные процедуры исследования методом экспертных оценок.

Метод экспертных оценок как самостоятельный научный инструмент для решения неформализуемых проблем начал развиваться с конца 40-х годов ХХ столетия. Разработка данного метода как научного инструмента для решения задач долгосрочного прогнозирования впервые была осуществлена сотрудниками РЭНД Корпорейшн (США) Д. Гордоном и О. Хелмером. Ими была разработана одна из первых разновидностей метода экспертных оценок, известной под названием «Дельфы». В 1963 году в США на основе этого метода проводилось прогнозирование развития широкого круга социальных проблем на ближайшие десятилетия. В результате 4-х этапной экспертизы, проведенной 82 высоко квалифицированными специалистами, был построен прогноз научных достижений человечества на период до 2000 года.

В 1964 году фирмой Хониуэлл (США) была разработана методика «Паттерн», целью которой являлось обоснование направления деятельности фирмы в стратегической перспективе. Эта методика в дальнейшем использовалась для стратегического планирования и управления научными исследованиями и разработками крупных программ в общегосударственном масштабе.

В 1965 году в США осуществляется еще один тип экспертного проекта «Форекаст», который предусматривал разработку долгосрочного прогноза развития систем и средств вооруженной борьбы и планирования оперативной военной деятельности. К разработке этого проекта привлекалось огромное число экспертов (ученые и инженеры), 26

Университетов и колледжей, 70 корпораций, 10 некоммерческих организаций. Экспертная процедура проводилась в 7 этапов:

1) Оценка состояния науки и техники и прогноз ее развития на 10 лет;

2) Оценка политических целей США, влияющих на разработку проекта;

3) Определение научно-технического потенциала и его развития на 10 лет у вероятного противника;

4) Оценка возможности использования научно-технических достижений, признанных реальными в будущем;

5) Анализ и оценка предыдущих этапов;

6) Анализ вариантов использования прогнозируемых научно-технических достижений;

— Специфика метода экспертных оценок и возможности применения.

Метод экспертных оценок, с т.з. вовлекаемых ресурсов, требует тщательного выбора системы измерения объектов, доступа к специализированным банкам данных, отбора специалистов-профессионалов, и самое главное – наличия специализированных программ обработки данных экспертизы. Без этого анкетные бланки, на которых написано «Анкета эксперта» и результаты простого подсчета частоты ответов, обычно являются ни чем иным как срезом общественного мнения определенной профессиональной или социальной группы.

Экспертиза хорошо зарекомендовала себя в социологических исслеованиях самого разного проблемного профиля. Прежде всего, в иссследовании проблем управления и научного прогнозирования, где скапливается большое число неформализуемых социально-экономических, социокультурных, технологических и иных проблем.

При этом все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых предполагается наличие достаточного информационного потенциала, позволяющего успешно решать эти проблемы. Основные трудности в решении проблем этого класса при экспертной оценке заключаются в реализации наличного информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал имеющихся знаний недостаточен для уверенности в справедливости экспертной оценки. В связи с этим для проблем второго класса в основном должен применяться качественный анализ обработки результатов экспертизы.

В наше время возможная область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

1. Составление перечня возможных событий в различных областях за определенный промежуток времени;

2. Определение наиболее вероятных интервалов времени свершения совокупности событий;

3. Определение целей и задач управления с упорядочением их по степени важности;

4. Определение альтернативных вариантов решения задачи с оценкой их предпочтения;

5. Альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6. Альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности и т.п.

— Виды экспертного оценивания.

Для решения перечисленных типовых задач применяются различные разновидности метода эксперного оценивания. К основным их видам относятся: анкетирование и интервьюирование, мозговой штурм, дискуссия, совещание, оперативная и деловая игры, сценарный метод, метод «Дельфы». Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Читайте также:  жемчужная ляля актриса цыганка биография

Кратко рассмотрим каждый из названных методов. Итак, анкетирование и сценарный метод предполагают индивидуальную работу эксперта. Интервьюирование может проводиться как индивидуально, так и с группой экспертов. Остальные виды предполагают коллективное участие экспертов в работе. Независимо от индивидуального или группового участия экспертов в работе, принципиальным моментом является формирование выборки экспертов, как источников информации повышенной надежности. На этой основе получаются более значимые и новые в научном плане результаты, чем это бывает при использовании других методов исследования.

— Основные процедуры исследования методом экспертных оценок.

Основными процедурами исследования являются: подбор экспертов, организация процедур экспертизы, проведение опроса экспертов, обработка результатов опроса, представление результатов. Каждая из них, в свою очередь, может содержать ряд отдельных этапов.

Формирование группы экспертов как правило происходит методом «снежного кома». Для этого, в первую очередь, формируется предварительный список ведущих специалистовв данной области. Каждому из них предлагается назвать 10 специалистов, наиболее сведущих в изучаемом вопросе. Получив ответы, убедились, что в круг экспертов попали новые лица. Эти новые лица, в свою очередь, могут назвать еще по десять экспертов. Доля повторно названных экспертов увеличилась, но появились и несколько новых, еще не названных никем. Итак процедура повторяется до тех пор, пока в ответах перестают появляться новые фамилии и перечень закрывается. Мы получили полный список экспертов, сформированный самими экспертами. Можно прервать процедуру отбора и раньше, когда, например, накопится 90-95% повторений. Ошибка выборки в этом случае будет несущественна для дальнейших оценок.

Далее, составив коллектив экспертов, нужно предусмотреть учет неравноценности мнений его членов, поскольку существует объективная проблема разного уровня знаний и опыта специалиста, попавшего в список. Каковы здесь могут быть критерии авторитетности экспертов? Прежде всего, это частота перекрестных упоминаний одних специалистов другими (так называемый индекс цитирования). Для этого составляется таблица по типу социометрической, в вертикальные столбцы которой помещаются фамилии (или номера) тех экспертов, «кто назвал», а в горизонтальные строки – тех, «кого назвали». (таблица3). В результате получаются «весовые коэффициенты» авторитетности экспертов. Данный метод целесообразен для формирования любыхэкспертных, ученыхи научных комиссий.

Традиционное формирование группы экспертов заключается в том, чтобы в нее были включены лица, способные провести экспертизу с учетом самых разнообразных сторон оцениваемо го объекта. Проводя, например, экспертизу внешнего вида нового товара, необходимо включать в группу дизайнеров и инженеров в равной пропорции. Опасностью при подборе экспертов следует считать завышение доли какой-либо подгруппы экспертов, заведомо единой (или близкой) в своем мнении. По этой причине нежелательно включать в экспертную группу людей, авторитет которых резко отличается от «среднего» авторитета членов группы. Если авторитет одного из членов группы очень высок – прочие эксперты будут склоняться к его мнению, а если он крайне низко – возникнут противоречия. Устранить такое влияние можно с помощью анонимной экспертизы, но это весьма сложно сделать.

Таким образом, классически процесс формирования группы экспертов осуществляется в такой последовательности:

1) Уяснение и формализация решаемой проблемы (постановка задач);

2) Определение круга областей деятельности, связанных с проблемой;

3) Определение долевого состава экспертов по каждой области деятельности;

4) Определение количества экспертов в подгруппах;

5) Составление предварительного списка экспертов с учетом их местонахождения;

6) Анализ качеств экспертов и уточнение списка экспертов в группе;

7) Получение согласия экспертов на участие в работе;

8) Составление окончательного списка экспертной группы.

Далее надежность экспертизы зависит от следующего этапа – опроса экспертов. В современной экспертизе используются различные методики опроса – от заочного почтового до групповой дискуссии. Для правильного выбора метода опроса следует знать о достоинствах и недостатках каждого из них. Например, при заочном почтовом опросе эксперты не знают об оценках коллег, что способствует выработке самостоятельного мнения. Недостаток в том, что в этом случае обоснование экспертных мнений существенно слабее, чем в групповой дискуссии. При групповой дискуссии обоснование экспертных оценок становится более аргументированным, хотя возникает опасность, что мнение каждого эксперта не является независимым.

Одновременно с процессом формирования группы экспертов группа управления реализует план организации экспертизы. При этом решаются следующие вопросы: место и время проведения; методики проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом стратегического плана исследования является организация и проведение обработки данных опроса. Наиболее распространенные и надежные методы упорядочения мнений экспертов – это метод ранжирования, балльные оценки, последовательные сравнения, парные сравнения и т.п.

Разработанный в настоящее время математический аппарат в программах обработки данных дает возможность получать интервальные шкалы предпочтимости при обработке экспертной информации, полученной методами парных сравнений и последовательных интервалов.

Одна из основных проблем математического обеспечения экспертизы – это достижение устойчивости группового выбора. Чем нормативнее требуемый результат, например, чем категоричнее требуемая рекомендация, тем большее значение имеет анализ устойчивости группового экспертного суждения. Проверка на устойчивость проводится, как правило, путем исключения из экспертной группы некоторого числа случайно отобранных экспертов (крайние оценки) и выработки группового суждения без учета мнений этих экспертов. Однако если исключение одного эксперта влияет на содержание последующего этапа группового суждения, то устойчивость такого суждения следует признать неудовлетворительной.

Источник

Поделиться с друзьями
Моря и океаны
Adblock
detector