Рейтинг «100 ведущих политиков России»: методическая экспертиза - davaiknam.ru o_O
Главная
Поиск по ключевым словам:
страница 1
Похожие работы
Название работы Кол-во страниц Размер
100 ведущих политиков россии в сентябре 9 745.74kb.
Рейтинг 100 лучших проектных, изыскательских организаций и фирм аналогичного... 1 90.29kb.
General ciДемографический кризис в России: вопросы к размышлению... 1 142.86kb.
Гонконг впервые обошел США и Великобританию и возглавил рейтинг ведущих... 1 53.2kb.
Читайте в январском номере tatler рейтинг. «Завидные наши» 1 13.82kb.
Автомобильные дороги, промышленное и гражданское строительство, экспертиза... 1 514.78kb.
А. Ю. Саломатин Модернизационные и постмодернизационные процессы... 1 371.02kb.
Рейтинг пары 2006 г. Дети 0 Партнер Партнерша Клуб Рейтинг к-во участий Н2 1 322.88kb.
Рейтинг пары 2008 г. Взрослые Партнер Партнерша Клуб Рейтинг к-во... 1 310.52kb.
Шанхайский рейтинг рейтинг лучших 500 университетов мира 9 1267.95kb.
Рейтинг вузовских центров в 2012 году Место Рейтинг 1 274.94kb.
Хлопаева Наталья Анатольевна Креативные методы анализа текстов сми... 8 1320.62kb.
Направления изучения представлений о справедливости 1 202.17kb.

Рейтинг «100 ведущих политиков России»: методическая экспертиза - страница №1/1





Рейтинг «100 ведущих политиков России»: методическая экспертиза

100 Leading Politicians’ Rating: An Expert Evaluation of the Method
Хазеева Наталия Минияновна,

аспирантка Государственного университета Гуманитарных наук (г. Москва).

Адрес для корреспонденции: 117279, Москва, ул. Островитянова, 35А-609.

Тел. (095)933-43-32.

Natalia M. Khazeeva,

PhD student, the State University of Humanities (Moscow).

Address for Correspondence: 35A – 609, ul. Ostrovitianova, Moscow, 117279, Russia

Tel. (095)933-43-32
Ключевые слова: вторичный анализ, рейтинг влиятельности политиков, оценка надежности измерения, выявление систематических ошибок, многомерный статистический анализ, факторы влиятельности политика.

Keywords: secondary analysis; ratings of political influence; assessment of measurement reliability; revealing the systematic error; multidimensional scaling; factors defining political influence.
Аннотация: Статья посвящена вторичному анализу экспертного рейтинга «100 влиятельных политиков России» Независимой газеты. Рассматриваются результаты методического анализа данных за 1998 год. Цель исследования – оценка качества первичного массива данных и надежности измерения. В статье описываются процедуры оценки правильности шкалы, устойчивости оценок экспертов, обоснованности измерения влиятельности политиков, поиска систематических ошибок измерения. В исследовании используются корреляционный, факторный, кластерный и дисперсионный анализ, непараметрическое сравнение средних, многомерное шкалирование. По результатам исследования предлагаются способы повышения надежности измерения влиятельности политиков.
Abstract: The article is devoted to the secondary analysis of the expert poll “Top 100 Political Leaders of Russia”. It contains a methodological analysis of the data published in “The Nezavisimaya Gazeta” in 1998. The research aims at the quality evaluation of primary data and reliability of political influence measurement. The article gives assessment of accuracy, validity and stability of expert opinions and reveals possible sources of non-random errors. The survey has been conducted by means of correlation, factor and cluster analysis, analysis of variation, multidimensional scaling. The investigation findings are described. The article is concluded with some suggestions for refining methodology of primary research.
_________________________________________________________________________________


Вторичный анализ в социальных исследованиях
Сравнительно недавно вторичный анализ данных был признан одной из ведущих позиций социального исследования. Существование многоцелевых исследований приводит к размыванию границ между первичным и вторичным анализом, и сегодня вторичный анализ может быть более широко определен как «любой последующий анализ существующего массива данных, который предоставляет интерпретации, выводы или знание, дополнительное или отличное от предоставленного в первом отчете по исследованию в целом и его основным результатам» [1]. Вторичный анализ – это не особый режим аналитических процедур или статистических техник. Первичный и вторичный анализ различаются главным образом тем, что первичный анализ включает как сбор, так и анализ данных, а вторичный анализ требует применения аналитических техник к уже собранным данным. При этом вторичный анализ следует отличать от мета анализа, который интегрирует находки из ряда исследований.

Главное преимущество вторичного анализа – экономия ресурсов и отсутствие проблем сбора данных. В современных условиях постоянного методического усовершенствования практики социологических исследований такая особенность вторичного анализа становится особенно ценной. Уровень обобщения во вторичном анализе может быть гораздо выше, чем в первичном исследовании. Вторичный анализ может решить проблемы, для которых требуется усовершенствование гипотез, улучшение измерения; результаты могут быть соединены с другими данными (например, первичного анализа), предоставляя возможность трендового исследования.

При огромных и очевидных преимуществах и кажущейся на первый взгляд легкости вторичный анализ имеет ограничения, игнорирование которых может обесценить его использование. К сравнительно простым проблемам использования вторичного анализа можно отнести доступность данных и поиск качественно нового подхода к анализу. Но во многих странах регулярно проводятся исследования, которые доступны для вторичного использования, и существуют архивы социальных данных. В России также существует свой Банк социологических данных, организованный в Институте Социологии в 1985 году. Более сложная проблема заключается в том, что трудно увидеть ошибки первичного исследования. При использовании вторичного анализа появляется проблема теоретического плана: если ученые постоянно используют одни и те же данные и ограничены содержащимися в них категориями, ограничивается научный кругозор и замедляется научный прогресс.

Вторичный анализ часто рассматривается как сравнительно новое направление в социальных науках, которое является следствием создания архивов, широкого доступа к компьютерам, более совершенных методов анализа данных. Но вторичный анализ имеет длительную историю в социальных науках, и с середины ХХ века данные опросов общественного мнения и академических исследований лишь предоставили новые типы материалов для вторичного анализа.

По оценкам самих ученых вторичный анализ данных в большей мере развит в США, чем в Европе. Российские социальные ученые реже прибегают к вторичному анализу, и методически данному направлению уделяется меньше внимания. В некоторых работах 80-90-х гг. есть упоминания вторичного анализа [2-4], но публикаций непосредственно по методике на сегодняшний день нет. Несмотря на это, российские социологи проводят вторичные исследования [например, 5, 6], в том числе и рейтингов политиков [7-9].

В России в 90-е годы был накоплен большой опыт проведения социологически грамотных рейтинговых исследований, но как показал обзор, возможности рейтингов используются неполно. Между тем данные исследований позволяют применять более широкий спектр и более сложные процедуры обработки и анализа данных для проверки исследовательских гипотез. Огромный массив данных рейтинговых исследований в основном используется для решения прикладных задач. Для объяснения результатов исследований редко используется теоретические подходы в области изучения элит и политического лидерства.

Поэтому для теоретико-прикладного изучения рейтингов российских политических лидеров было решено провести вторичный анализ уже имеющегося рейтинга, сформированного по результатам опроса экспертов. При выборе рейтинга учитывались следующие критерии:


  • социологическая корректность рейтинга. Для уверенности в этом рейтинг должен быть проведен социологической службой;

  • аналитические возможности данных: результаты исследования должны позволить использовать широкий спектр процедур анализа данных;

  • возможность проверки гипотез в соответствии с выбранной концепцией лидерства;

Из экспертных рейтингов журналов «Эксперт» и «Профиль», «Независимой газеты» и «Литературной газеты» [10-14] в наибольшей мере заданным критериям отвечает рейтинг «Независимой газеты» (НГ). Рейтинг НГ имеет важное преимущество - экспертам не предлагается заранее определенных исследователем критериев оценки политика. Это дает возможность применить методы многомерного анализа и выявить факторы, которые не подвержены влиянию со стороны теоретических подходов авторов исследования и которые можно использовать для проверки гипотез в рамках нашей теоретической модели лидерства.

Так как исследуемый массив очень обширен, то было решено остановиться на анализе данных только за 1998 год. Это диманичный и показательный год: на него приходится три смены кабинета министров и дефолт. В рамках каждого замера было отобрано 50 первых политиков из 100. Связано это с тем, что весь массив очень громоздкий, а во-вторых, оценки политиков в нижней части рейтинга слабо дифференцированы и менее устойчивы, больше подвержены ошибкам измерения, и потому представляют меньший исследовательский интерес.



Методическое исследование: цели, гипотезы
Прежде чем приступать к собственно вторичному анализу по выявлению латентных факторов влиятельности, необходимо реконструировать «историю жизни» первичного исследования и тщательно изучить выбранный массив данных. Это обязательная часть любого вторичного исследования. Но проблема оценки качества данных в нашем случае особенно важна. Во-первых, специфика экспертных опросов в том, что здесь предъявляются более высокие требования к надежности исходной информации [15]. Кроме того, методический анализ позволит рассмотреть критические замечания в адрес рейтинга НГ, появляющиеся на протяжении всего периода существования исследования [например, 16].

Цель методического исследования результатов экспертного опроса НГ – оценка качества первичного массива данных и надежности измерительных процедур. Это необходимо для поиска источников ошибок и оценки их значимости для последующего анализа, определения возможностей массива и формирования гипотез основного исследования.

В западной традиции для оценки качества данных используется два критерия: надежность и валидность. Надежность рассматривается как мера повторяемости измерений, валидность – как степень, в которой набор индикаторов измеряет понятие, которое призван измерять. Валидность отличается от надежности на величину систематической ошибки [17-19]. Отечественные исследователи (Г.И.Саганенко, В.И.Волович, В.И.Паниотто, В.А.Ядов) придерживаются другого подхода: надежность – интегральная характеристика, а валидность – ее составляющая. Выделяется несколько показателей надежности: устойчивость (отсутствие случайной ошибки измерения), правильность и точность (отсутствие систематической ошибки), обоснованность (уверенность, что фиксируется изучаемое свойство, а не какое-либо иное). Представленные подходы к оценке качества данных различны, но при всех несовпадениях в определении критериев оценки качества данных важно то, что можно провести проверку по каждому критерию. В нашем исследовании мы будем использовать подход отечественных социологов к определению и оценке надежности. Существуют также разные классификации источников ошибок. Представляется уместным выделить два источника ошибок: ошибки метода (ошибки отбора, изменения в процедуре исследования и др.) и содержательные ошибки (ошибки субъекта измерения и теоретические погрешности).

В рамках методического исследования выдвинуты следующие гипотезы:



  1. об отсутствии серьезных методических ошибок инструментария исследования, связанных с изменением методики исследования. Такое предположение было выдвинуто еще на стадии выбора массива для анализа, но нуждается в тщательной проверке.

  2. об отсутствии систематических ошибок отбора экспертов.

  3. об отсутствии содержательных ошибок измерения, связанных с субъектом измерения – экспертами.

  4. шкала измерения влиятельности является надежной.

  5. первичная шкала НГ для измерения влиятельности является обоснованной.

  6. о теоретической уместности использования в первичном исследовании одномерной шкалы оценки влиятельности политиков.



Анализ методики рейтинга «100 влиятельных политиков России»
1. Поиск изменений в процедуре исследования и методических ошибок

Оценка степени ротации экспертов/политиков проводилась двумя способами – с фиксированной точкой сравнения (каждый месяц по сравнению с январем) и с «плавающей» (сравнение каждого последующего месяца с предыдущим).

Всего в 1998 году приняли участие в опросе 107 экспертов. Из них примерно половина (56 чел.) принимали участие в шести опросах и более. Число экспертов в каждом опросе колебалось от 49 до 57, за исключением марта, когда участвовало 74 эксперта (график 1). Не менее 52% экспертов каждого месяца принимали участие в опросе в январе; самый высокий показатель ротации экспертов – в марте, когда произошла первая отставка премьера. Изменения списка экспертов по сравнению предыдущим месяцем опроса не превышали 25% (график 1). Трижды состав экспертов менялся более чем на треть – в марте, августе и сентябре, то есть во время смены кабинетов министров.

График 1



Все эксперты изначально в первичном исследовании разделялись на журналистов и политологов. К первичному массиву данных было добавлено еще несколько аналитических переменных: постоянные-разовые эксперты, эксперты с пропусками и без пропусков в оценках. Постоянные эксперты принимали участие в опросе 6 раз и более в 1998 г., эксперты с пропусками имели один и более пропуск в оценках.
График 2


Картина на протяжении всего года достаточно стабильна: журналисты и политологи представлены в равном соотношении, постоянные эксперты составляли в каждом замере более 80%. Единственное исключение – март, когда доля разовых экспертов оставила 29%. Именно в марте был один из самых высоких показателей числа экспертов с пропусками в оценках (46%), второй пик пропусков приходится на октябрь. Минимальный показатель числа экспертов с пропусками наблюдался в апреле (22%).

Список оцениваемых политиков подвергся за год меньшим изменениям, чем список экспертов. По сравнению с январем 1998 г. происходила постепенная плавная ротация политиков, и концу года состав политиков изменился на 25% по сравнению с январем (график 2). Заметные помесячные изменения в списке политиков наблюдались дважды – в марте (ротация составила 3,3%) и в сентябре (7,3%).

Как показывает изучение, проведение опроса в момент серьезных политических изменений существенно сказалось на его результатах. Характерно, что участники опроса по-разному оценивали влиятельность В.Черномырдина и С.Кириенко до и после смены кабинета в марте, хотя оценивалась влиятельность политиков исключительно за истекший месяц. У В.Черномырдина оценка влиятельности экспертами после отставки снизилась почти на 2 балла (с 7,2 до 5,16), а у С.Кириенко повысилась почти на 1,5 балла (с 3,28 до 4,82). Оценивая влиятельность за истекший период уже после политических перестановок, эксперты не способны абстрагироваться от них. В таких случаях корректнее завершить опрос сразу же после начала перестановок или не проводить опрос в текущем месяце вовсе (если изменения произошли незадолго до начала опроса).

Уровень ротации политиков и экспертов в течение года был невысоким, но значительные изменения в рейтинге происходили во время важнейших политических событий. На март и август 1998 г. приходятся потрясения в политической жизни страны, что сказалось на способности экспертов оценивать влиятельность политиков; в октябре наблюдается сильная ротация политиков. Так как во всех трех случаях (март, август и сентябрь) наблюдались значительные изменение оценок экспертов и состава политиков в методике исследования, то эти замеры было решено исключить из анализа по причине возможного наличия ошибок измерения.


2. Поиск ошибок отбора

В ходе нашего исследования особое внимание уделялось проблеме подбора экспертов в связи с постоянной критикой в адрес авторов рейтинга «100 влиятельных политиков». Проверялась гипотеза об отсутствии зависимости между профессиональной принадлежностью эксперта (журналист или политолог), регулярностью участия в исследовании и наличием пропусков в оценках экспертов. Профессиональная принадлежность и частота участия в опросе отнесены к числу формальных признаков экспертов.

Сравнительный анализ показал, что разовые эксперты чаще затрудняются с оценкой влиятельности политиков; разовых экспертов больше среди журналистов, чем среди политологов, у экспертов-журналистов больше пропусков в оценках. Эксперты с вариацией оценок более 6 баллов чаще допускают пропуски в оценках. Но вывод о том, что число пропусков в оценках экспертов напрямую зависит от профессиональной принадлежности эксперта и того, как часто он принимал участие в опросе, не подтвердился в ходе дальнейшего исследования с применением непараметрического сравнения средних и корреляционного анализа рядов.

Анализ с независимой контрольной переменной «разовый-постоянный эксперт» показал, что среди постоянных экспертов больше пропусков у журналистов, чем у политологов. Если рассматривать отдельно журналистов и политологов, то у журналистов складывается однозначная картина: постоянные эксперты реже затрудняются с оценкой влиятельности. У политологов картина сложнее: в половине замеров больше затрудняются с оценкой разовые эксперты, а в другой половине пропуски есть исключительно у постоянных экспертов. Но эти замеры ни чем не отличаются от других ни в плане политической ситуации, ни по составу политиков и экспертов. Дисперсионный, кластерный и факторный анализ формальных групп экспертов не позволяет говорить о наличии систематических ошибок измерения, обусловленных статусом экспертов и, соответственно, способом их подбора. Вывод об отсутствии связи между профессиональным статусом эксперта и критериям оценки политика, эмпирическими группировками экспертов подтвердился и в последующем анализе.


3. Поиск ошибок субъекта измерения

Гипотезы исследования относительно ошибок субъекта измерения были сформированы исходя из некоторого представления об идеальном эксперте. Это эксперт, который при оценке влиятельности политика учитывает текущее состояние элиты и политическую ситуацию в стране в целом. Это беспристрастный компетентный эксперт, который не подвержен групповому конформизму. Идеальный эксперт допускает минимальное число пропусков и оперирует не менее ½ шкалы влиятельности при оценке 50 политиков. Также предполагается, что экспертное сообщество является качественно однородным, а оценки экспертов согласованными.

Большинство экспертов оценивают всех политиков без исключения. Но по трем-четырем политикам ежемесячно дают оценки менее 90% экспертов. Эксперты, у которых есть пропуски в оценках, составляют примерно 30-40% в каждом замере. Число пропусков может достигать 15-20, но количество таких экспертов не превышает 5-6 человек.

Изучение выбросов и экстремумов, пропусков, вариации оценок экспертов с помощью дисперсионного анализа не выявило систематических ошибок. Крайние оценки экспертов не связаны с личными пристрастиями экспертов, а скорее являются индивидуальной особенностью оценивания некоторых экспертов или связаны с оценкой определенных групп политиков. Различия двух групп экспертов по размаху вариации (до 6 баллов и выше 6 баллов) встречаются в отношении публичных и закулисных политиков, для которых характерен высокий публичный интерес и полярные оценки со стороны СМИ (Черномырдина, Лужкова, Зюганова, Явлинского, Дьяченко, Вяхирева, Березовского, Юмашева). Группы экспертов с различным числом пропусков (со средней менее 1,0 и более 1,0) различаются по отношению к тем, кого принято считать закулисными политиками из числа бизнес-элиты (Смоленский, Ходорковский, Густов) или аппарата президента и спецслужб (Степашин, Кокошин, Булгак).

Можно предположить несколько возможных причин пропусков в оценках экспертов:


  1. Эксперты, оценивающие не всех политиков, более осторожны в своих оценках.

  2. Пропуски могут объясняться недостаточной информированностью или компетентностью экспертов.

  3. Эксперты, допускающие пропуски, не боятся показаться некомпетентными в случае затруднений в оценке политика.

Наше исследование показало, что причины пропусков в разных групп экспертов различны. Среди экспертов с большим числом пропусков значительна доля разовых экспертов, которые, как можно предположить, не так внимательно следят за политической ситуацией. Но отсутствие оценок вызвано не только субъективной некомпетентностью экспертов, но и объективным отсутствием информации о политиках. Наибольшее количество пропусков оценок приходится на месяцы нестабильной политической ситуации, в первую очередь эксперты затруднялись с оценкой закрытых непубличных политиков. Показательны оценки В.Трубникова – политика с максимальным числом пропусков. Оценки экспертов, которые все же выставили баллы В.Трубникову, имеют одну из самых маленьких вариаций. В пользу второго объяснения пропусков говорит и сопоставление оценок экспертов с динамикой ротации экспертов и изменениями политической ситуации.

Постоянные эксперты и, в первую очередь, эксперты-политологи, допускают пропуски в оценках по другим причинам. В ряде замеров только постоянные эксперты-политологи допускали пропуски в оценках, среди экспертов есть достаточно многочисленная группа (примерно 15%), которая постоянно затруднялась с оценкой ведущих политиков страны (Ельцина, Кириенко, Черномырдина). Можно предположить, что в данном случае эксперты могли подходить к своей задаче более требовательно, нежели остальные, либо не боялись показаться некомпетентными. Какая из возможных причин более вероятна, судить сложно.

На основе изучения можно предложить несколько вариантов улучшения качества первичных данных, ведущих к снижению количества пропусков в оценках экспертов:


  • стремиться свести к минимуму число разовых экспертов,

  • исключать из итогового рейтинга политиков, у которых число пропусков превышает некий допустимый «порог»,

  • исключать экспертов с большим числом пропусков.

Частично подтвердилось предположение о конформизме экспертов, выдвинутое в ходе бесед с авторами исследования. Эксперты в разной мере активно пользуются шкалой при оценке первых пятидесяти политиков: часть экспертов активно используют все градации шкалы при оценке, другие ограничиваются 5-6 баллами. Был проведен анализ двух групп экспертов: с размахом вариации оценок менее 6 баллов и свыше 6 баллов, который показал отсутствие различий. Можно предположить, что использование части шкалы связано с конформизмом экспертов, так как постоянные эксперты чаще используют ограниченную часть шкалы оценок влиятельности. Обнаружено также, что в оценках журналистов и постоянных экспертов чаще встречаются вылеты и экстремумы, чем у политологов и разовых экспертов.

Для оценки согласованности мнений экспертов и уровня надежности оценок использовался коэффициент альфа. Альфа составляет 0,96-0,98. В течение года 34 эксперта (31%) имели оценки с низкой корреляцией, 10 экспертов имело отрицательный коэффициент корреляции. Это группа экспертов с низкой надежностью оценок. У 80% данных экспертов число вылетов и экстремумов в оценках выше среднего, 56% имеет число пропусков больше среднего. Отметим, что среди таких экспертов много журналистов.

Возможно, что в рамках экспертного сообщества существуют некоторые группировки, которые невозможно установить в ходе анализа по формальным и статусным характеристикам, но которые могут свидетельствовать о несогласованности оценок экспертов и наличии разных критериев оценки влиятельности в рамках экспертного сообщества.

Для простоты проводилось изучение двух эмпирических группировок экспертов с использованием кластерного анализа двух типов: иерархического и методом к-средних. Оба способа дали похожие решения, коэффициент корреляции Спирмена двух рядов составил 0,49-0,73 на уровне значимости р=0,01. Кластеризация оказалась успешной: группировки экспертов оказались достаточно устойчивыми (более 80% экспертов постоянно входили в один и тот же кластер) и группы существенно различались в оценках политиков (это показали дисперсионный анализ и непараметрическое сравнение средних двух независимых подвыборок). Не наблюдается различий средних только для политиков с максимально отрицательными оценками влиятельности. В первую очередь, это Ш.Басаев и А.Масхадов на протяжении всего года, Н.Кондратенко и А.Макашов - в конце 1998 года.

Как правило, наблюдалось два кластера экспертов: кластер большинства и кластер меньшинства экспертов. Качественный анализ состава группы экспертов, которые чаще других попадали в кластер меньшинства, также не дал результата: в эту группу попали как эксперты, стремящиеся выделиться, так и эксперты, старающиеся принимать взвешенные решения. Единственное отличие этой группы меньшинства – здесь чаще представлены эксперты с низкой корреляцией оценок с оценками всего экспертного сообщества. Лицо этой группы формируют эксперты с экстремальными оценками политиков и с низкой надежностью оценок. Предположение, что у экспертов, регулярно входящих в кластер меньшинства, имеются особые критерии оценки политиков, не подтвердилось.

В зависимости от того, в какой кластер попадали эксперты на протяжении года, был вычислен коэффициент постоянства присутствия эксперта в кластере и выделено две группы экспертов: предсказуемые (чаще попадали в один и тот же кластер) и непредсказуемые (примерно равное число раз попадали в первый и во второй кластеры). Сравнительный анализ показал оправданность названий групп: у экспертов первой группы больше предсказуемых оценок В.Черномырдина и С.Кириенко, для непредсказуемых экспертов более характерно изменение мнений в знаковые периоды. Эксперты, постоянно попадающие в один и тот же кластер, предпочитают использовать ограниченную шкалу оценок, реже дают экстремальные оценки.

Неожиданным был результат, когда факторные решения для этих кластеров экспертов были громоздкими и плохо интерпретировались. Сравнение двух кластеров экспертов по формальным критериям не дало результата. Имеющихся в нашем распоряжении внутренних и формальных характеристик экспертов оказалось недостаточно для объяснения причин расхождения во мнениях; группы отличались только по числу затруднившихся дать оценку Б.Ельцину.

Поскольку выделенные кластеры экспертов различались только по отношению к Б.Ельцину, то было решено проследить отношение к ведущим политикам страны 1998 г. (Ельцину, Черномырдину, Кириенко) с учетом изменения политической ситуации в марте и августе-сентябре 1998 г. Резкие изменения балла влиятельности или смена знака без видимых политических причин связывались с неустойчивостью и ненадежностью оценок эксперта.

Наибольшим разнообразием отличаются оценки Б.Ельцина. Принимавшие участие в трех и более замерах эксперты (67,3% от общего числа) было поделены на 6 групп в соответствии с характером изменения оценок влиятельности. Самую большую группу (22,4%) составляют эксперты с постоянными оценками и одним-двумя затруднениями в ответах. Показательно, что группа экспертов с большим числом затруднений в оценках Б.Ельцина достаточно многочисленна – 17,8%. В эту группу в основном входят политологи и постоянные эксперты. Отношение экспертов к В.Черномырдину оказалось столь же разнообразным, как и к Б.Ельцину, и даже более эмоционально нагруженным, чем к С.Кириенко. Вопреки сложившемуся мнению о нейтральности фигуры премьера, некоторые эксперты постоянно давали ему отрицательные оценки, чего не встречалось в отношении Б.Ельцина и С.Кириенко. Оценки С.Кириенко менее дифференцированы. Для 39% экспертов характерно нарастание и снижение оценок его влиятельности после кадровых перестановок в правительстве, для 10% экспертов характерна смена знака в переломные периоды. Личные пристрастия экспертов сказываются в первую очередь на оценке знака, а не силы влиятельности политика. Как показал дисперсионный анализ, степень надежности и устойчивости оценок лидеров рейтинга никак не сказывается на оценках других политиков. Эксперты с неустойчивыми оценками Б.Ельцина лишь незначительно отличаются от остальных в оценках, различия касаются знаковых политиков конца 1998 г. (Макашов, Примаков).

Дисперсионный анализ оценок групп экспертов с оценками Ельцина выше и ниже средней дал интересный результат. Группы различаются по оценкам большинства из 50 анализируемых политиков, за исключением антигероев и некоторых публичных политиков. Это напоминает результаты дисперсионного анализа двух кластеров всех экспертов методом к-средних, но различие оценок между группами экспертов по отношению к Б.Ельцину менее выраженное. Оценки экспертов Б.Ельцина во многом предсказывают оценки остальных политиков рейтинга, делая президента центром координат в оценке влиятельности российских политиков.

Применение трех различных методов оценки надежности оценок экспертов (коэффициент альфа, кластерный анализ, динамика отношения к ведущим политикам страны) показали, что существует группа экспертов с низкой надежностью и устойчивостью оценок. По своим формальным характеристикам эта группа ничем не отличается от остальных экспертов, но она поддается выявлению и может быть исключена в последующих замерах. Второй важный вывод – в рамках экспертного сообщества не существует групп экспертов, имеющих свои отличные критерии для оценки влиятельности. Факторный анализ не выявил решений, которые свидетельствовали бы о наличии систематического паттерна в оценках экспертов. Ошибки экспертов (например, пропуски в оценках) не ведут к снижению надежности оценок и не являются источником систематических ошибок измерения.
4. Оценка надежности шкалы измерения

Для проверки групповой надежности было проведено сравнение двух случайных подгрупп экспертов примерно равного количества. Сравнение средних двух подгрупп с помощью дисперсионного анализа не выявило различий средних, факторный анализ двух подгрупп также показывает, что группы носят исключительно случайный характер (подгруппа с меньшим числом экспертов может давать более громоздкое решение).

Для всех замеров (переменные - политики) коэффициент альфа был выше 0,98, но в каждом замере есть несколько политиков с низким коэффициентом корреляции (менее 0,5) со всем массивом данных. Таких политиков всего 13 чел. за 1998 год, и все они имеют распределение оценок сильно отличное от нормального. В этой группе самый низкий коэффициент корреляции (менее 0,3 баллов) – у антигероев (Масхадова, Басаева, Илюмжинова, Илюхина, Макашова). Единственный политик, чей низкий коэффициент корреляции не находит объяснения ни в анализе характера распределения (напротив, распределение близко к нормальному), ни в анализе политической ситуации – Р.Аушев.

Рассмотрение политиков с полимодальным распределением не выявило какой-либо системности в оценках и причин такого разброса. В число таких политиков каждый раз попадали разные фигуры (всего более 40 политиков), только четверть из них имело подобное распределение в 2-3 замерах. Этих политиков не объединяет какой-либо формальный признак. Полимодальность распределения нельзя отнести на счет сильной поляризации мнений экспертов относительно данных политиков или, напротив, на счет малой вариации оценок.

Как правило, знаковые фигуры (политики с максимальной влиятельностью, входящие в десятку героев и антигероев месяца) имели наиболее неустойчивые оценки: с большой вариацией, со значительным (в 1,5 балла и выше) расхождением мер центральной тенденции. Эксперты чаще всего затруднялись с оценкой одних и тех же политиков на протяжении всего года: закулисных политиков из администрации президента и спецслужб, представителей бизнес-элиты (например, директора ФСБ Н.Ковалева и директора службы внешней разведки В.Трубникова, предпринимателя В.Виноградова). Для политиков этой группы уровень пропущенных оценок превысил 10% экспертов. Тем не менее, значительное число пропусков в оценках никак не сказалось на надежности оценок этих политиков.

В результате оценки правильности шкалы по рекомендуемым Г.И.Саганенко [20] критериям не обнаружено источников систематических смещений.


5. Проверка обоснованности измерения влиятельности

Для оценки обоснованности измерения используется теоретическая конструктная валидность. В качестве внешнего конкурентного критерия для сравнения выступают массовые рейтинги политиков ВЦИОМ и ФОМ для девяти ведущих политиков 1998 года (Б.Ельцина, В.Жириновского, Г.Зюганова, С. Кириенко, А.Лебедя, Ю.Лужкова, Е.Примакова, Г.Селезнева, Г.Явлинского). Использовались рейтинг доверия ВЦИОМ («Назовите 5-6 политических деятелей, которые вызывают у Вас наибольшее доверие»), два электоральных рейтинга ФОМ – открытый и закрытый («Скажите, пожалуйста, каких политиков Вы лично выдвинули бы сегодня кандидатами на пост президента?», «Если бы очередные президентские выборы проводились в ближайшее воскресенье, за кого из перечисленных кандидатов Вы бы скорее всего проголосовали?»), рейтинг лидеров как ньюсмейкеров ФОМ («Скажите, пожалуйста, действия и высказывания каких политиков за последнюю неделю привлекли Ваше внимание, запомнились Вам?»). Для сохранения единой размерности шкалы рейтинг НГ был перевзвешен с коэффициентом 10.

Сравнение показывает, что в целом рейтинги массовых опросов и рейтинг НГ достаточно схожи, не наблюдается случаев кардинально противоположных тенденций. Из графиков видно, что рейтинги политиков на основе опросов общественного мнения по различным основаниям двух социологических центров дают близкие результаты, а рейтинг экспертов отличается большей изменчивостью. Большие колебания рейтинга экспертов могут быть вызваны двумя возможными причинами. Это может быть подтверждением гипотезы о том, что экспертное сообщество действительно более чутко реагирует на изменения в политической элите и руководствуется в своей оценке большим числом критериев оценки влиятельности, нежели рядовые россияне. С другой стороны, колебания могут быть вызваны случайными ошибкам измерения.

Единого для всех политиков рейтинга опроса общественного мнения, который был бы максимально близок к рейтингу НГ, нет. Для публичных политиков – деятельность которых полностью открыта и чье политическое будущее зависит от победы на выборах – наиболее близким оказался рейтинг ньюсмейкеров. Это относится к Г.Зюганову, В.Жириновскому, Г.Явлинскому, А.Лебедю, Г.Селезневу (график 3). Для Ельцина в равной мере близок рейтинг ньюсмейкеров и электоральный рейтинг. Промежуточную позицию занимает Ю.Лужков: для него рейтингу НГ наиболее близким оказался рейтинг доверия (график 4). Возможно это связано тем, что Ю.Лужков представляет собой иной тип публичного политика. В отличие от парламентариев (которые составляют первую группу политиков), он ближе к избирателям по характеру своей деятельности и поэтому в отношении него больше работает другой критерий оценки политика. Рейтинг А.Лебедя ближе к рейтингу парламентариев, чем Ю.Лужкова, так как в 1998 г. он только выиграл губернаторские выборы.

В отношении невыборных публичных политиков, чья деятельность также доступна общественному вниманию, не наблюдается массового рейтинга, наилучшим образом повторяющего колебания рейтинга НГ. В случае с новыми премьерами (Кириенко, Примаков) у экспертов наблюдается резкий скачок в оценке влиятельности, в то время как существенных изменений в настроениях общества нет или они запаздывают (график 5). В этом случае более вероятные причины расхождения массовых и экспертных оценок – большая чувствительность экспертов к формальному статусу политиков и большая инертность общественного мнения.
График 3

График 4

График 5


Сопоставление рейтингов экспертов и населения России позволяет сделать некоторые выводы относительно критериев оценки влиятельности. Во-первых, очевидно, что критерии оценки политиков различного типа у россиян и экспертов неодинаковы (о том же говорят результаты факторного анализа). Для публичных политиков главным критерием оценки является публичная деятельность, для закулисных и полупубличных политиков – формальный статус.

Измерение влиятельности в исследовании НГ можно считать обоснованным, так как оценки экспертов и общественного мнения сильно коррелируют. Если допустить, что рейтинг влиятельности экспертов близок к несмещенной оценке влиятельности политика, то в опросе общественного мнения рейтинг лидеров как ньюсмейкеров вполне валиден для измерения влиятельности политика. Напротив, как можно заключить из анализа, массовые рейтинги закулисных и полупубличных политиков по любому основанию не являются удовлетворительными индикаторами влиятельности. Это подтверждает тот факт, что опросы как инструмент публичной политики не могут быть адекватными для решения других задач.


6.Проверка уместности использования агрегированной шкалы влиятельности

Очевидно, что влиятельность политика – сложная и интергативная характеристика. Теоретическая модель измерения исходит из ряда предположений принципиального характера. Во-первых, предполагается, что эксперты руководствуются некоторым общим для всех набором критериев оценки и что этот набор критериев ограничен и постоянен. Только в этом случае корректно обращаться к экспертам с целью оценки влиятельности политиков без предварительно заданного набора критериев. Результаты многомерного анализа рейтинга НГ позволяют сделать выводы о том, что такие латентные факторы существуют.

Второе необходимое условие – транзитивность латентных факторов, из которых складывается агрегированная одномерная шкала, используемая в первичном исследовании для оценки влиятельности. Если же выявленные факторы будут качественно неоднородными, то нужно будет сделать вывод о невозможности использования одномерной шкалы для оценки влиятельности политиков. Это будет свидетельствовать о необходимости перехода к многомерному шкалированию в измерении влиятельности и пересмотру всей методики исследования.

В ходе собственно вторичного анализа результатов, который был направлен на выявление латентных факторов влиятельности политиков, была предпринята попытка выйти на компактные и интерпретируемые решения на основе эмпирических и априорных группировок политиков и экспертов, поскольку решения для всех 50 политиков было очень громоздким (9-11 факторов). Сравнительный анализ применения методов многомерного анализа (факторного и кластерного анализа, многомерного шкалирования) показал, что решение многомерного шкалирования более компактно, постоянно и лучше интерпретируется. Содержательно наиболее интересным оказался анализ группировок политиков по формальным признакам. В качестве априорного основания выбрана принадлежность политиков к числу публичных и непубличных и к структурам федеральной исполнительной власти.

Для всех выделенных групп политиков (публичных и закулисных, исполнительной власти, первых двадцати политиков рейтинга) во всех замерах прослеживается один общий фактор - фактор оценки властных полномочий политиков, административного ресурса. Это тот формальный потенциальный ресурс влиятельности, который задается должностью/статусом политика в политической системе и не зависит от его личных особенностей. Этот фактор является доминирующим и во многом предопределяет расклад итогового рейтинга влиятельности.

Второстепенный фактор оценки в каждой группе политиков свой. Для публичных политиков это степень публичного интереса к нему (здесь на разных полюсах оказывались А.Масхадов, Ш.Басаев и Г.Селезнев, Е.Строев). Для закулисных – это вхождение в структуры политической власти страны; для политиков из исполнительной власти – принадлежность к правительству или администрации президента. В течение почти всего 1998 года (до октября) структурировал пространство первых двадцати политиков фактор реальных властных полномочий (политики, принимающие решения – официальные и теневые советники), а в конце года его место занял фактор отношения к президенту Ельцину (сторонники – противники президента).

На наш взгляд, выявленные факторы являются однородными и вполне укладываются в одномерную модель измерения влиятельности. Во всех группах политиков второй по значимости фактор уточняет доминирующий в соответствии со спецификой группы.
7. Оценка возможностей исследования

Как показал анализ, распределение оценок большинства политиков в изучаемых массивах не всегда является нормальным. Не более чем для 15-20% политиков в каждом замере подтверждается гипотеза о нормальности распределения (на уровне значимости более 0,1 по критерию Шапиро-Уилка). Политики с нормальным распределением в основном относятся к закулисным из числа исполнительной власти (Дубинин, Булгак, Лившиц, Бородин, Ястржембский, Уринсон и др.) или бизнес-элиты (Смоленский, Виноградов, Вяхирев), у публичных политиков нормальные распределение встречается редко. Встречаются политики с бимодальным и полимодальным распределением. Но у большинства политиков распределения все же симметричные (как видно из диаграммы «ящик с усами») и меры центральной тенденции (мода, медиана и средняя) близки.

Важная задача повышения качества первичного массива данных связана с увеличением согласованности оценок экспертов, с тем, чтобы распределение оценок политиков больше походило на нормальное. В противном случае средние оценки будут неадекватно отражать расстановку сил, а замена средней робастными мерами средней тенденции делает невозможным построение итогового рейтинга. В качестве мер, способствующих получению оценок с нормальным распределением, можно предложить следующие:


  • проведение предварительной разъяснительной работы с экспертами,

  • анализ выбросов и экстремумов в оценках экспертов и выявление причин таких оценок,

  • отслеживание экспертов, чьи оценки плохо согласуются с оценками остальных экспертов, и индивидуальная работа с такими экспертами,

  • отказ от привлечения к участию экспертов, чьи оценки систематически сильно отличаются от нормальных и плохо согласуются с оценками остальных экспертов.



Выводы
Анализ методики рейтинга «100 влиятельных политиков России» позволил провести всестороннюю оценку надежности измерения. Одномерная шкала первичного исследования является правильной и обоснованной для измерения влиятельности политиков.

Источники систематических ошибок исследования – внешние (резкие изменения политической ситуации) и методические (проведение исследования непосредственно в моменты политических изменений). Мы постарались снизить влияние выявленных источников, которые оказались существенными для целей вторичного анализа рейтинга влиятельности, и предложить способы их устранения в дальнейшем. Случайные ошибки измерения в первую очередь связаны с индивидуальными особенностями оценивания экспертов рейтинга. В исследовании рассмотрены способы определения групп экспертов с низкой надежностью и устойчивостью оценок и предложены меры по уменьшению случайных ошибок измерения влиятельности.



В целом выбранный массив данных является подходящим для целей нашего вторичного анализа – выявления латентных факторов оценки влиятельности российских политиков.

Литература


  1. Hakim C. Secondary analysis in social research. A quid to data sources and methods with examples. L.: George Allen & Unwin, 1982. P.1

  2. Саганенко Г.И. Компоненты надежности социологического исследования и проблема сравнимости //Сравнительный анализ и качество социологических данных. М.: ИСИ АН СССР, 1984.

  3. Алхасов М.М. Некоторые проблемы вторичного анализа данных массовых опросов //Сравнительный анализ и качество социологических данных. М.: ИСИ АН СССР, 1984.

  4. Сычева В.С. Метод вторичного анализа // Социологические исследования. 1995. № 11.

  5. Малышева М.М. Профессиональная работа женщин и демографическое поведение: опыт вторичного анализа международных сравнительных исследований // Социологические исследования. 1984. № 2/

  6. Трущенко О.Е. Использование вторичного анализа выборочных опросов в социально-проектных исследованиях //Вопросы социального проектирования. М., 1990.

  7. Горяинов В.П. Динамика и прогнозирование рейтинга доверия политическим лидерам России // Полис. 1997. С. 57-77; № 4.

  8. Политическая элита России по результатам опросов «100 политиков» // Независимая газета. 3 декабря 1993 г. № 232. С. 1,5.

  9. Ривера Ш.В. Тенденции формирования посткоммунистической элиты России: репутационный анализ // Полис. 1995. № 6. С. 61-66.

  10. Ведущие политики России в оценках региональных экспертов // Литературная газета. № 7. 17. 02.1999.

  11. Эксперт. 22.09.1997. № 36; 02.03.1998. № 8; 22.06.1998. № 23; 12.07.1999. № 26.

  12. Профиль. 04.03.1997. № 8 (30); 02.02.1998. № 4 (76); 15.02.1999. № 5 (217); 14.02.2000. № 5 (177).

  13. Считать не вредно. Политический рейтинг Путина можно оценить по голосам, отданным на парламентских выборах «Единству» // Профиль. 20.12.1999. № 48.

  14. Шмаров А., Полунин Ю. Все влиятельные люди России // Эксперт. 09.10.2000. № 38.

  15. Экспертные оценки в социологических исследованиях. Киев: Наукова Думка, 1990. С. 226.

  16. О минусах рейтинга «100 ведущих политиков России» // Независимая газета. 23.01.1999; Шахназаров Г. Плюсы и минусы рейтинга «100 ведущих политиков России» // Независимая газета. 16.08.1996; Борисов С. Минусы рейтинга «100 ведущих политиков России» и пути их преодоления // Независимая газета. 07.09.1996.

  17. Black Th.R. Evaluating Social Science Research. An introduction. L.: Sage Publications, 1993.

  18. Traub R.E. Reliability for the Social Sciences. Theory and Applications. L.: Sage Publications, 1985. Р.73-74.

  19. Zaller R.A, Carmines E.G. Measurement in the social sciences. The link between theory and data. Cambridge: Cambridge University Press, 1980.

  20. Саганенко Г.И. Надежность результатов социологических исследований. Л.: Наука, 1983.





В раю, конечно, климат получше, зато в аду гораздо более приятное общество. Тристан Бернар
ещё >>