Мир экспертизы

Автор: С.Л. Братченко

Источник:Экспертиза в современном мире от знания к деятельности М., Смысл 2006

Экспертизу в самом общем виде можно определить как прояснение не имеющего очевидного ответа вопроса с опорой на мнение специалистов по данному вопросу (экспертов). Экспертные методы принято использовать в тех случаях, когда нет готовых решений и искомая информация не может быть получена с помощью инструментальных методов измерения.Такое понимание выглядит излишне неконкретным и расплывчатым зато оно не противоречит большинству определений экспертизы, имеющихся в литературе, а любая конкретизация сразу исключает многие виды деятельности, также претендующие на звание экспертных.

Проблема в том, что экспертиза сегодня это не что-то определенное и однородное; экспертиза это целое направление в человеческом познании, огромный и разноликий мир экспертиз: от мимолетной дегустации до сложнейших исследовательских процедур, от разнообразных рейтингов по неясным критериям до строго нормированной законом судебной экспертизы. Эксперты и экспертизы сегодня проникли практически во все сферы человеческой деятельности и число их видов и форм не поддается точному определению. Говорят о существовании влиятельного социального института экспертизы, о развитии самостоятельной научно-практической дисциплины и отрасли экспертных знаний, о становлении целой экспертной индустрии и т.д.

Такая множественность и почти тотальная востребованность экспертизы, с одной стороны, позволяет говорить о современном расцвете экспертизы (Косолапое, 2003), но, с другой стороны, неизбежно ведет к размыванию границ ее понимания и эрозии понятия. Может даже показаться, что все эти разнообразные экспертизы экологическая и лингвистическая, педагогическая и бухгалтерская, судебно-психологическая и судебно-баллистическая, искусствоведческая и географическая, экспертиза трупа и качества продуктов, гуманитарная и научно-техническая, экспертиза государственная, ведомственная и общественная и т.д. и т.п. не представители единого семейства экспертиз, а просто однофамильцы (а может и самозванцы), использующие общее имя для обозначения совсем разных видов деятельности.

Это вносит очевидную путаницу, и в такой ситуации можно, конечно, выработать четкие критерии и устроить безжалостную чистку экспертных рядов, но можно поступить и иначе. Не делить на верных и неверных, а постараться выстроить общие рамки, сохранив единство в мире экспертиз и рассматривая все его многообразие как некий общий континуум, который все же попытаться как-то структурировать. Попробую пойти по второму пути. Общее, на мой взгляд, у всех вариантов экспертиз состоит в том, что специалист дает ответ на вопрос; а вот различия в том, как он приходит к этому ответу, каким образом предъявляет и обосновывает его.

Исходя из этого в экспертном континууме можно выделить несколько условных крайних точек, полюсов, в пространстве которых будут располагаться разнообразные конкретные типы и виды экспертиз, различающиеся путями и способами осуществления экспертных процедур. В первом приближении я предлагаю выделить следующие условные полюса, задающие две основные оси экспертного пространства:

• экспертиза в узком и широком смыслах;
• экспертиза жесткая и мягкая.

Мне представляется, что большинство авторов, говоря об экспертизе, явно или неявно подразумевают или один из этих четырех видов, или некоторый промежуточный вариант, или их комбинацию.В основе первой оппозиции природа исходной экспертной информации и способы ее получения: если экспертиза в узком смысле (ЭУС) опирается на непосредственные суждения экспертов и использует в качестве базового метод экспертного опроса, то экспертиза в широком смысле (ЭШС) имеет гораздо больше разнообразных источников получения экспертной информации, прежде всего данные, полученные в результате специального исследования, и использует при этом широкий набор различных методов. Для краткости ЭУС можно также условно обозначить как экспертизу-опрос, а ЭШС как экспертизу-исследование.

Вторая пара полюсов задает другой вектор экспертного континуума по критерию степени формализованности экспертизы: от жесткой и однозначной регламентированности всех основных структурных элементов, этапов и процедур (жесткая экспертиза) до максимальной вариативности и отсутствия единых правил (мягкая экспертиза). Остановимся кратко на каждом из полюсов. Экспертиза в узком смысле использует в качестве средства получения исходной экспертной информации один основной метод метод экспертного опроса (экспертных оценок) который, впрочем, имеет множество разновидностей и конкретных форм, различающихся как процедурами сбора первичных суждений экспертов, так и способами их (суждений) обработки (в литературе описывают свыше 70 видов экспертных оценок Литвак, 1996 и др.).

На более формальном языке процесс экспертизы описывается как последовательное осуществление действий распознавания экспертом нужной информации, ее оценивания и выражения в виде мнения (суждения), а также анализа (Крымский, 1990, с. 14). Распознаванию может предшествовать поиск информации (внутренний или внешний). ЭУС это способ познания определенной реальности в тех случаях, когда эта реальность не поддается простому измерению, вычислению и вообще какому-либо объективному исследованию тогда и приходится опираться на субъективные мнения. Логика здесь, видимо, такова: если нет возможности изучать тот или иной аспект реальности, то можно подвергнуть анализу представления специалистов об этой реальности в расчете на то, что в конечном итоге удастся лучше понять и саму эту реальность.

Для этого должны быть соблюдены два основных условия: во-первых, мнения должны высказывать авторитетные специалисты, а, во- вторых, их субъективные суждения должны подвергнуться такой обработке, чтобы обеспечить максимальную объективность.Соблюдение первого условия, в свою очередь, предполагает решение двух задач: кто будет высказывать мнение и как это мнение получить. Выбор экспертов представляет собой весьма непростую проблему. В определенном смысле экспертный способ решения того или иного вопроса противостоит решениям, принимаемым по принципу большинства, так как опирается не на наиболее распространенные суждения, а на более компетентные.

Мнение мнению, как известно, рознь. Есть наивный носитель информации, а есть компетентный специалист (правда, разница между ними не всегда так очевидна и однозначна). Именно последний может обладать качеством экспертности способности выполнять функции эксперта. Основанием для этого служит, прежде всего, высокий профессиональный уровень, наличие глубоких знаний по экспортируемым вопросам (см., например, Джексон, 2001). Однако, чтобы претендовать на статус эксперта, специалисту, кроме собственно профессиональной компетентности, необходимы также и другие качества: авторитетность (то есть эта его компетентность должна получить признание социальное или хотя бы в глазах конкретных людей), практический опыт в обсуждаемой области, а также способность и готовность давать содержательную экспертную информацию, и т.д.

Для выбора достойных разработано большое число методов оценки качества эксперта (Литвак, 1982, с. 169): документальный метод, тестовый метод, методы самооценки и взаимной оценки, метод оценки непротиворечивости суждений и т.д. На практике же организаторы экспертных опросов опираются (явно или неявно) на принцип хорошего измерителя, который предполагает справедливость гипотезы (допущения) о том, что привлекаемый к экспертизе специалист как таковой является владельцем большого объема достоверных сведений и поэтому может рассматриваться как надежный источник информации. Иногда, однако, эта гипотеза не принимается на веру и тогда компетентность кандидатов в эксперты устанавливается в ходе предварительного специального исследования, в котором и происходит отбор специалистов с требуемым уровнем экспертности.

Следующая задача, формулируемая как извлечение знаний из эксперта (особенно интенсивно развивается в последнее время в контексте разработок так называемых экспертных систем, см. Джексон, 2001; Филимонов, 1994 и др.), по общему мнению относится к числу наиболее сложных, и, как представляется, здесь-то и зарыта собака всего опросного подхода к экспертированию. Важно понимать, что это не простая передача знаний друг другу, а целенаправленное получение одним человеком (все чаще называемым инженером по знаниям или когнитологом) вполне определенной информации от другого человека (обычно от нескольких людей экспертов) с помощью специальных процедур, основная среди которых это и есть экспертный опрос.

Задача инженера по знаниям извлечь из эксперта как можно больше наиболее ценной и точной информации (особенно сложной эта задача становится при работе с группой экспертов для этого понадобятся разнообразные дополнительные компетентности). Когнитолог также выполняет функции координатора, ведущего и несет ответственность за используемые в экспертизе методы экспертирования и обработки результатов (а иногда он является их автором и, в конечном итоге за всю процедуру экспертизы и ее результаты.

Сам процесс извлечения знаний из эксперта является очень сложным и имеет большое число трудностей, включая такие, как значительная доля личного знания и опыта эксперта, плохо поддающаяся формализации; барьеры когнитивной защиты, препятствующие полному осознанию и экспликации самим экспертом содержания своих познаний; упакованность специальных знаний в жаргон необходимость учитывать обширный, но часто неявный контекст и т.д. (см., например, перечень этих трудностей и описание некоторых из них Джексон, 2001, гл. 1).

Способов проведения экспертного опроса несколько: интервью, письменный опрос, протокольный анализ, игровая имитация и др. каждый из которых имеет довольно большое число форм и подвидов. Опора на упомянутый принцип хорошего измерителя позволяет рассматривать полученные в ходе опроса данные как достоверные и в дальнейшем применять к ним методы теории измерений и математической статистики. Однако чаще все же приходится признать субъективный характер полученной экспертной информации и тогда необходимы дополнительные усилия по ее объективации.

Субъективизм экспертных суждений расценивается обычно как недостаток, и устранить его пытаются разными путями. Один из них состоит в принятии еще одного допущения принципа хорошего измерителя, гласящего, что групповое мнение экспертов ближе к истинному решению, нежели индивидуальное. (Вообще стремление проблему качества решать количеством весьма характерно для современной психологии и социологии; но это тема отдельного разговора.) И тогда проблему объективизации пытаются решить путем использования групповых форм экспертного опроса с последующей количественной и/или качественной обработкой. Разработано большое число способов форм групповой работы экспертов (одна из наиболее сложных, но достаточно эффективных и популярных процедура Дельфи) и еще большее число весьма фундаментальных количественных методов обработки и анализа данных.

Получается, что собственно экспертное действие осуществляется в самом начале экспертного опроса. Но оно редко выступает в качестве непосредственного продукта экспертизы, так как в большинстве случаев рассматривается как субъективное сырье, которое проходит статистическую и иную обработку, в результате чего превращается во вполне формализованные объективные данные. Однако идея достижения объективности путем умножения числа субъективных вариантов и усложнения их математической переработки выглядит спорной. К тому же субъективность один из атрибутов именно экспертного знания; добиваясь объективности через стремление к отвлечению от субъективности даже при анализе субъективных явлений (Крымский, 1990, с. 15), мы тем самым рискуем устранить экспертизу как таковую. (Может быть, ценность экспертного опроса состоит именно в признании субъективного характера полученных результатов и сохранении персональной ответственности их авторов экспертов, а не в том, чтобы точки зрения выдавать за факты?)

Другой путь получения от экспертов более надежной информации — совершенствование опросного инструментария и всего процесса осуществления экспертизы. Общая логика такова: чем ниже уровень привлекаемого специалиста, тем изощреннее должны быть средства «извлечения». Работа в этом направлении ведется очень активная, но пока «не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более — однозначных рекомендаций по их применению» (Орлов, 2002). Перспективным выглядит использование концепции личностных конструктов Дж. Келли и техники репертуарных решеток, которая дает возможность выявлять не просто информацию, а именно знания и индивидуальные «правила» их организации, что позволяет достаточно эффективно работать даже с «наивными» респондентами; кроме того, при таком подходе есть возможность повысить роль самого эксперта (см. подробнее Патаракин, Травина).

Таким образом, подводя итог краткой характеристике экспертизы-опроса, важно отметить три принципиальных момента.

• Выводы экспертизы формулируются, как правило, в терминах описания изучаемых аспектов действительности, но делаются они на основании анализа не самой этой действительности, а мнений о ней.
• Уровень разработки ключевого компонента экспертизы — извлечения знаний — пока не позволяет решить проблему «субъективности—объективности».
• Хотя «на виду» находится фигура эксперта, которого обычно и представляют «автором» результатов экспертизы, реально он выступает в качестве респондента, «поставщика информации», а решающая роль принадлежит инженеру по знаниям, который, хотя часто и остается «за кулисами», имеет возможностьоказывать существенное влияние на всех этапах процесса — начиная с отбора экспертов и заканчивая анализом результатов.

Экспертиза в широком смысле — это исследование, которое имеет целью получить аргументированные ответы (валидные данные) на поставленные экспертные вопросы и в котором могут быть использованы самые разные методы — как собственно экспертные (типа экспертных опросов), так и другие, неэкспертной природы. Именно эта открытость для любых методов и способов изучения, эклектика и своеобразная «методическая толерантность» составляет важнейшую отличительную особенность этого класса экспертиз.

По сути своей, ЭШС очень близко к тому, что во многих сферах (в частности, в сфере образования) принято называть Evaluative Research («оценочное исследование», «исследование для оценки»), и не случайно «оценка (Evaluation)» и «экспертиза», «специалист по оцениванию (Evaluator)» и «эксперт» часто используются как синонимы (см.например, Кэмпбелл, 1980; Guiding Principles for Evaluators, 2004 и др.).

В зарубежной практике оценочные исследования в последние десятилетия получили чрезвычайно широкое распространение, пользуются немалым авторитетом и все больше утверждается понимание того, что ни один серьезный проект (программа) не может обойтись без экспертных (оценочных) исследований: «Программа считается незавершенной, если не проведена оценка ее эффективности» (Spector, 2000, р. 163).

Если для ЭУС ключевая проблема — извлечение знания из экспер¬та путем его опроса, то для ЭШС таковой является проведение всестороннего полноценного исследования для получения аргументированных данных по экспертируемому вопросу. Именно качеству исследования уделяется первостепенное внимание — тщательной разработке структуры исследования, его основных принципов, методов, процедур и т.д. А поскольку наиболее полноценными и эффективными принято считать научные исследования, то многие авторы склонны ориентировать ЭШС именно на стандарты научности. Однако, проблема в том, что наука, как известно, не однородна, и можно выделить как минимум два подхода: естественнонаучный и гуманитарный. Соответственно и ориентированные на науку экспертные исследования тоже развиваются в двух основных направлениях: с одной стороны — в русле более точных измерений и экспериментальных схем позити- визма, с другой — с опорой на гуманитарную парадигму и применение качественных методов. Есть также и интегральные, компромиссные варианты.

Для экспертизы-исследования (особенно в гуманитарном варианте) ключевыми являются вопросы, связанные с целями исследования, его ценностями и принципами, выбором вида оценивания и главных критериев, методологией, методами и процедурами, результатами и экспертным заключением, а также — фигурой самого исследователя (эксперта). Коснемся некоторых из этих вопросов. Цели, естественно, формулируются в каждом конкретном случае, но в самом общем виде цель исследования состоит в получении ответов на экспертные вопросы, для чего необходимо либо «вынесение суждений о ценности» изучаемого объекта, либо выяснение наличия у него тех или иных свойств и характеристик (или степени их выраженности). В отношении образовательных программ основная цель оценочного исследования состоит обычно в выявлении достигнутых результатов и их сопоставлении с заявленными.

Принципы играют в оценочных исследованиях очень важную роль и их соблюдению придается особое значение. Они тщательно разрабатываются и постоянно совершенствуются. В качестве примера приведем последнюю редакцию «Руководящих принципов для Оцен¬щиков», принятых Американской ассоциацией оценки в 2004 году. Их немного — всего пять — но они ясно определяют основания деятельности и ее границы для профессиональных экспертов-оценщи-ков.Вот эти принципы (Guiding Principles for Evaluators, 2004):

• Систематичность исследования.
• Компетентность исследователя (оценщика).
• Чистота и Честность исследования.
• Уважение к людям.
• Ответственность исследователя за общественные интересы и общественное благо.

Большое внимание уделяется также ценностям и этическим нормам проведения оценочных исследований, без знания и принятия которых «можно много знать о приемах оценки и все же не быть хорошим специалистом по ее проведению» (Ценности и этические нормы).Критерии. С точки зрения Майкла Скривена, одного из классиков теории и практики evaluative research, выбор критериев составляет «первый шаг в логике оценивания» (Scriven, 1991).

Но часто именно этот шаг представляет наибольшие трудности и чреват ошибками и упрощениями. Наиболее адекватный путь получения системы критериев и признаков — содержательное раскрытие и последовательная операционализация основных целевых понятий исследования.

Методы и процедуры оценочного исследования — тема сложная и неисчерпаемая, так как ЭШС, как уже подчеркивалось, отличается открытостью методическому разнообразию. Даже по отдельным параметрам невозможно отобрать строго определенный и универсальный набор методик для всех ситуаций. Есть весьма широкое и разнообразное «вариативное пространство» диагностических средств, ориентиром в котором служат конкретные задачи экспертирования, особенности конкретной ситуации, основные принципы проведения экспертного исследования и, конечно, — квалификация, опыт и интуиция самого эксперта.

В частности, ЭШС не отказывается от.методов ЭУС — различные формы «экспертного опроса» нередко входят в экспертизу- исследование как составная часть и могут быть использованы на любом ее этапе — от выдвижения гипотез и постановки целей до осмысления результатов. Однако здесь суждения экспертов уже выступают не в качестве основного источника экспертной информации, а лишь как один из возможных, который дополняется и сопоставляется с другими данными. Экспертиза-исследование вообще не отказывается ни от каких методов — важно, чтобы они были хорошего качества и адекватны конкретным исследовательским задачам. Более того, многие варианты экспертных исследований не просто допускают включение разных методик, но требуют следования принципу интерфейса {Шанин, 1999), то есть осознанному использованию комплекса методов, существенно различающихся по своей методологии, и прежде всего — сочетания количественных и качественных методов (о последних — см., например, Семенова, 1998). Показательно, что во многих исследованиях в русле гуманистической психологии, смысл которых очень близок к идеям гуманитарной экспертизы образования, был применен именно интерфейсный подход (хотя и без использования этого термина) — особенно в цикле работ под руководством К. Роджерса {Роджерс, Фрейберг, 2002).

Возможно использование и экспериментальной стратегии — в различных ее вариантах (см. Кэмпбелл, 1980). Еще одна важная особенность экспертизы-исследования — ее «многослойность» (не обязательная — но, по мнению многих авторов, весьма желательная), состоящая в сочетании «внешней» экспертизы и «внутренней» (последняя как раз часто и проводится методами экспертного опроса). Результаты. Научный подход к экспертизе обычно декларирует в качестве своей отличительной особенности объективность получаемых в исследовании результатов. Во многих случаях это, видимо, справедливо. Итоговый результат проведения ЭШС — это не просто чье-то «мнение», а выводы из исследования, специальной деятельности эксперта-исследователя (чаще — группы исследователей), направленной на получение обоснованных ответов на экспертные вопросы. Принципиальное отличие состоит в необходимости предоставления доказательств и аргументов, подтверждающих сделанные выводы (в то время как «мнение» как таковое не требует доказательства).

Однако справедливо и то, что в отношении социальной сферы (особенно — в вопросах познания индивидуально-психологических особенностей личности) объективность «научных фактов» недалеко ушла от субъективности «личных мнений» Тем не менее, следует признать, что в целом исследовательский формат экспертизы требует уделить особое внимание обоснованию и доказательству выводов и в целом позволяет получить более разностороннюю и потому — более реалистичную картину изучаемой действительности, нежели средствами экспертизы-опроса. Исследователь (эксперт). В ЭШС функции эксперта меняются и существенно расширяются: его экспертность включает теперь не только знания, личный опыт и способность их «предъявлять», но в первую очередь — исследовательскую компетентность. Не так важно, знает ли он сам ответ на экспертные вопросы, — важнее, понимает ли он, как его можно найти, способен ли осуществить полноценное исследование вопроса.

Таким образом, по сравнению с экспертизой-опросом экспертиза-исследование — это способ познания

• более сложный и разносторонний, но, как правило, более длительный и трудоемкий;
• имеющий возможности достичь большей доказательности и реалистичности в своих результатах и выводах;
• более свободный в выборе методов и процедур исследования;
• уделяющий особое внимание целям, ценностям, этическим нормам исследования;

в котором эксперт выступает уже не только (и не столько) как «измерительный прибор», сколько как измеряющий субъект, как автор и организатор всего исследовательского процесса, анализирующий его итоги и несущий за них ответственность.

При сравнении выделенных типов экспертиз важно иметь в виду два существенных момента. С одной стороны, необходимо понимать и учитывать условность такого разделения. Экспертиза всегда имеет сложную природу и включает в себя элементы как субъективного («личностного») знания, так и объективных данных. Разные методы проведения экспертизы различаются прежде всего соотношением этих двух базовых составляющих экспертного процесса. Полностью исключить один из компонентов вряд ли возможно (да и не нужно) — даже в интуитивном «личном суждении» эксперт всегда опирается (пусть и в неявной, «свернутой» форме) на те или иные объективные данные; а попытка полного исключения субъективной составляющей равносильна отказу от экспертизы как таковой и подмене ее процедурами сравнения с эталоном, вычисления по заданному алгоритму и т.п.

С другой стороны, тесные взаимопересечения и родство рассмотренных вариантов экспертиз (некоторые авторы даже пытаются представить их как идентичные), не должны заслонить и существенные различия между ЭШС и ЭУС. Во многих ситуациях — вчастности, при проведении экспертизы в образовании — эти подходы могут выступать как альтернативы. Экспертиза-опрос — может быть вполне адекватна (и даже неизбежна) в ситуации, где иные методы действительно неприменимы. Однако ограничение только опросами и отказ от полноценного исследования из соображений экономии, простоты, дешевизны, управляемости результатами и т.п. там, где возможно более разностороннее исследование, надо признать неадекватным. Иногда это может иметь и «защитный» смысл, стремление избежать полноценного обследования.

Вторая альтернатива — по степени формализованности процессов экспертизы — более простая и очевидная и потому ограничимся пока лишь констатацией самого важного. Жесткая экспертиза отличается тем, что в ней все элементы заданы четко, однозначно и, как правило, имеют правовую основу. Примером может служить большинство государственных экспертиз, в особенности различные виды судебных экспертиз, в которых предельно ясно прописаны все основные элементы: цели и задачи, объект и предмет, принципы и этапы проведения, методы и условия их применения, требования к экспертному заключению, к самому эксперту и многому другому (включая и такой важный, но мало разработанный вопрос, как «экспертные понятия» — см. Сафуанов, 1998). Причем, экспертное заключение может иметь силу юридического документа, сам эксперт несет за все свои действия в рамках экспертного исследования персональную ответственность, а нарушения заданных требований влечет за собой самые серьезные последствия.

Мягкая экспертиза — наоборот, предельно неформальная и вариативная, не имеющая универсальных норм, правил, форм и требований к проведению и использованию результатов. Ярким примером может служить разнообразная «аналитика» (особенно — политического толка). В «мягкой» экспертизе часто оказывается вполне приемлемым своеобразный вариант идеографического подхода — когда на примере отдельных (единичных) случаев делаются выводы общего характера. Здесь эксперт — полный хозяин в постановке вопросов, в выборе способов получения ответов, их интерпретации и т.д. При этом, как правило, если он и несет какую-либо ответственность, то только моральную.

Еще одно различие между жесткими и мягкими формами экспертизы состоит в соотношении объемов содержания фактов и выводов. В первом случае это соотношение явно в пользу фактов: часто весьма сложное, длительное исследование и накопление огромного массива фактических материалов завершается лишь кратким вердиктом (в пределе это может быть одно-единственное слово!). Во втором случае «пирамида» факты—выводы переворачивается: даже гомеопатическая доза фактов позволяет экспертам-аналитикам делать весьма пространные выводы и комментарии.

Еще раз подчеркну: представленные типы экспертиз задают только крайние и очень условные точки «экспертного мира». Тем не менее, в этом пространстве могут найти свое, более или менее определенное место большинство конкретных видов экспертиз. Например, гуманитарная экспертиза толерантности в образовании в моем понимании, с одной стороны, тяготеет к полюсу экспертизы-исследования, а с другой — пытается занять промежуточное место между жестким и мягким вариантами. Такое нахождение «своего места» позволяет, в частности, лучше понять, что гуманитарная она — прежде всего по своим целям и ценностям; а в методологии опирается не только на «родные» гуманитарные (качественные) методы, но следует принципу интерфейса (и что при этом вполне оправданно применять экспертные опросы — но неоправданно ими ограничи-ваться); что становиться государственной ей противопоказано — так как требуемая в этом случае жесткость противоречит ее сути и т.д. Такое самоопределение будет, хочется надеяться, способствовать более адекватному и осмысленному развитию этого вида экспертизы.

Литература
1. Джексон П. Введение в экспертные системы. М., 2001.
2. Косолапое Н. Политика, экспертиза, общество: узлы взаимозависимости // Pro et Contra. 2003. № 2. Т. 8.
3. Крымский С.В. и др. Экспертные оценки в социологических исследованиях. Киев, 1990.
4. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М., 1980.
5. Литвак Б.Г. Экспертная информация: методы получения и анализа. М., 1982.
6. Литвак Б.Г. Экспертные оценки и принятие решений. М., 1996.
7. Масленников Е.В. Метод экспертного опроса в социологическом исследовании. Программа учебного курса. М., 2002.
8. Морозов М.Н. Курс лекций по дисциплине «Системы искусственного интеллекта», http://www.marstu.mari.ru:8101/mmlab/home/AI/index.html
9. Орлов A.M. Эконометрика. М., 2002.
10. Патаракин Е.Д., Травина Л.Л. Руководство по интерактивному извлечению знаний у экспертов на основе техники персональных конструктов. http://dll.botik.ru/educ/PSYCHOLOGY/Library/exstraction.ru.html
11. Роджерс К., Фрейберг Д. Свобода учиться. М., 2002.
12. Сафуанов Ф.С. Судебно-психологическая экспертиза в уголовном процессе. М., 1998.
13. Семенова В.В. Качественные методы: введение в гуманистическую социологию. М., 1998.
14. Сидельников Ю.В. Экспертология — новая научная дисциплина // Автоматика и телемеханика, 2000. Вып. 2. С. 107—126.
15. Филимонов В.А. Курс «Экспертные системы». Омск, 1994. http:// www. ngosnews. ru/docs/nwcdc/library/06_eval/norm_eval.zi p
16. Шанин Т. Методология двойной рефлексивности в исследованиях современной российской деревни // Качественные методы в полевых социологических исследованиях. М., 1999. С. 317—344.
17. Guiding Principles for EvaluatorsAmerican Evaluation Association, 2004. http://www.eval.org/Guiding Principles.htm
18. Scriven M. Evaluation Thesaurus. 1991.
19. Spector P.E. Industrial and organizational psychology: Research and practice. New York, 2000.