Оценка результативности деятельности и «отрицательный отбор» | Вестн. Том. гос. ун-та. Экономика. 2015. № 2 (30).

Оценка результативности деятельности и «отрицательный отбор»

Понятие «отрицательный отбор» все чаще упоминается в контексте проблем высшего образования. В статье проведен анализ критериев принятия решений межведомственной комиссией в отношении вузов, признанных неэффективными по результатам мониторинга деятельности учреждений высшего образования. Автором обсуждаются теоретические основы систем мониторинга образовательной деятельности. На примере анализа данных о результатах научной деятельности одного из старейших учебных заведений Сибири показана целесообразность использования для этой цели метода DEA.

Performance assessment and "adverse selection".pdf Понятие «отрицательный отбор» все чаще упоминается в контексте проблем высшего образования [1]. Пытаясь бороться с этим явлением, Министерство образования и науки Российской Федерации на протяжении ряда лет осуществляет мониторинг деятельности образовательных учреждений. Его цель - анализ эффективности работы вузов и реорганизация неэффективных учреждений высшего образования. Оценка высших учебных заведений проводится по показателям: образовательная деятельность, научно-исследовательская работа, международная деятельность, финансово-экономическая деятельность, инфраструктура, трудоустройство. При достижении пороговых значений по любым трем показателям вуз включается в группу эффективных. В противном случае - в группу вузов, имеющих признаки неэффективности. В отношении образовательных учреждений, включенных в последнюю группу, специальной межведомственной комиссией принимается решение об оптимизации или реорганизации их деятельности [2] . Нами проведен анализ данных мониторинга деятельности 280 вузов за 2013 г., среди которых 19 попали в группу учебных заведений, имеющих признаки неэффективности деятельности [3]. Установлено, что вузы, отнесенные в разряд неэффективных, рабочей группой межведомственной комиссии были разделены на три подгруппы: - требующие оптимизации деятельности; - требующие реорганизации деятельности; - вузы, по которым не было принято единогласное решение. Какими критериями руководствовалась рабочая группа межведомственной комиссии при принятии своих решений? Чтобы определить эти критерии, нами было рассчитано уравнение множественной линейной регрессии. Показатель «характер принятого комиссией решения» получил статус результативного признака (у). Ему присваивались следующие значения: 3 - оптимизация деятельности, 2 - не принято единогласное решение, 1 - реорганизация деятельности. В качестве признаков факторов (хг) - утвержденные показатели оценки эффективности вузов: образовательная деятельность, научно-исследовательская деятельность, международная деятельность, финансово-экономическая деятельность, инфраструктура, трудоустройство (табл. 1). Таблица 1. Данные по вузам, признанным неэффективными (фрагмент) Наименование учебного заведения x1 x2 x3 x4 x5 x6 у Дагестанский государственный педагогический университет 56,82 25,96 1,12 862,65 7,43 98,286 3 Башкирский государственный педагогический университет им. М. Акмуллы 58,93 91,78 0,42 1434,58 7,75 97,128 2 Санкт-Петербургский государственный университет аэрокосмического приборостроения 63,27 349,51 5,08 2226,29 6,41 98,937 1 Амурский государственный университет 0 63,92 0,61 1426,19 8,7 95,084 3 Рязанский государственный университет им. С. А. Есенина 59,3 31,42 1,5 956,8 5,25 99,503 3 Новосибирская государственная архитектурно-художественная академия 65,68 12,87 4,06 1015,58 8,88 97,462 3 Костромской государственный университет им. Н.А. Некрасова 57,59 52,5 0,18 1062,78 11,72 97,008 2 Челябинский государственный педагогический университет 55,87 37,78 0,75 1135,25 8,83 97,572 2 Чеченский государственный педагогический институт 55,59 12,47 0 741,95 9,2 96,727 3 Комсомольский-на-Амуре государственный технический университет 51,88 147,21 0,87 2056,5 10,46 95,116 3 В результате проведенных расчетов было получено уравнение регрессии следующего вида: у=8,61 - 0,00557x1+.0,000967 x2 - 0,092 x3 - 0,000681 x4 + 0,035 x5 - 0,0524 x6. Из уравнения следует, что наибольшая положительная связь показателя «характер принятого решения» (у) наблюдается с критерием «инфраструктура». Это означает, что на положительный характер заключения межведомственной комиссией (оптимизация, а не реорганизация) в отношении вузов, попавших в группу неэффективных, решающее влияние оказывает значение лишь данного показателя. С остальными параметрами связь показателя «характер принятого решения» намного слабее и даже отрицательная. О достоверности полученного результата свидетельствует множественный коэффициент корреляции (R), оценивающий тесноту совместного влияния признаков-факторов на результативный признак. Он может принимать значения от 0 до 1. Чем дальше полученное значение R находится от 0, тем лучше уравнение регрессии описывает фактические данные. В рассматриваемом нами случае выявленная взаимосвязь может быть оценена как умеренная (R= 0,57). Такой во многом неожиданный результат, полученный при анализе, позволяет поставить вопрос об обоснованности используемых методов оценки результативности деятельности вузов и принимаемых на их основе решений. Концепцией, получившей в международной практике наибольшее признание для выбора критериев результативности, является концепция «добавленной стоимости» (Value Added) [4]. Высшее образование в ней рассматривается как процесс, способный трансформировать студентов. Приверженцы такого взгляда представляют одно из направлений более широкого научного движения, получившего наименование «трансформационный подход» (transformation approach). Его сторонники утверждают, что измерение показателей развития компетенций студентов на входе и выходе образовательного процесса позволяет представить зримые доказательства воздействия образования на учащихся и их трансформацию под влиянием указанных воздействий [5]. Однако, как показывают результаты нашего анализа, важным этапом в применении данной концепции является не только выбор наиболее результативных показателей оценки трансформационного воздействия образовательного процесса на студентов, но и выбор метода свертки показателей. Следует также отметить, что принципы трансформационного подхода могут быть распространены и на отдельные аспекты деятельности вуза, например, на его научную деятельность. Нами они были применены в процессе анализа данных о результатах научной деятельности одного из старейших учебных заведений Сибири. С целью определения эффективности использования научного потенциала, уровня научных исследований, их динамики, актуальности и конкурентоспособности разработок научным управлением данного вуза ежегодно проводится рейтинговая оценка его подразделений. При формировании руководством вуза структуры и содержания рейтинга за основу были приняты показатели по науке, учитываемые при его аттестации, аккредитации, а также входящие в различные независимые системы рейтингов высших учебных заведений. В результате в рассматриваемом вузе итоговое место подразделения определяется как сумма мест по ряду основных показателей: K - коэффициент, характеризующий выполнение основных плановых показателей; К2 - вклад подразделения в показатели вуза по науке; К3 - объем госбюджетных средств; К4 - объем внебюджетных средств; К5 - результативность деятельности подразделения и некоторым дополнительным показателям. Рейтинг составляется отдельно для научно-исследовательских подразделений и факультетов (табл. 2). Насколько справедливы и информативны результаты оценки деятельности, определяемые указанным выше способом? Мы применили метод DEA (Data Envelopment Analyses) для анализа результатов деятельности вуза. Он может использоваться в случаях, когда не все оцениваемые данные имеют стоимостное выражение. Таблица 2. Рейтинг подразделений по научной деятельности (фрагмент) Подразделение Выполнение плановых показателей Вклад в показатели вуза Внебюджетное финансирование Итоговый рейтинг А 3 2 1 1 Б 2 3 2 2 В 1 1 3 3 Г 7 1 1 1 Д 5 3 4 2 Е 10 6 2 3 Ж 3 4 9 4 З 2 12 6 5 И 6 2 10 6 К 8 5 8 7 Л 4 7 5 8 М 1 8 7 9 Н 11 10 3 10 О 9 11 13 11 П 12 9 11 12 Р 13 13 12 13 Таблица 3. Оценка подразделений с помощью метода DEA (фрагмент) Подразделение Вклад в показатели вуза Результативность деятельности подразделения Эффективность А 4,626 0,093 1 Г 9,41 0,061 1 Е 6,766 0,078 1 К 7,457 0,063 0,996 Ж 7,666 0,077 0,833 Б 4,136 0,061 0,79 Д 8,374 0,058 0,778 В 5,144 0,055 0,774 И 9,232 0,058 0,771 Л 5,447 0,057 0,652 З 2,828 0,05 0,631 М 4,213 0,027 0,469 П 3,574 0,014 0,456 О 3,317 0,033 0,454 Н 3,509 0,023 0,347 Р 1,555 0,015 0,231 Эффективность деятельности подразделений в рамках указанного метода определяется на основе соотношения входов (используемых ресурсов) и выходов (конечных результатов деятельности) [6]. В основе DEA-анализа лежит метод линейного программирования. Цель моделирования - определить весовые значения ur и vi, связанные с видом продукта или услуги на выходе (r) и видом используемых ресурсов на входе (i). Метод позволяет составить рейтинг подразделений по научной деятельности на основе оценки эффективности их работы. Для реализации процедур Data Envelopment Analyses применительно к научной деятельности подразделений исследуемого вуза в качестве входного нами был выбран показатель, характеризующий потенциал соответствующего подразделения, - данные о профессорско-преподавательском персонале, имеющем научную степень. В качестве параметров, характеризующих результаты научной деятельности, выбраны три показателя, так как при большом количестве показателей и небольшом количестве оцениваемых единиц различительная способность метода DEA снижается. Таким образом, в качестве выходных были использованы следующие показатели: вклад подразделения в показатели вуза по науке, объем привлеченных финансовых средств, результативность деятельности подразделения. Некоторые результаты проведенных расчетов представлены в табл. 3. Также с помощью данного метода были вычислены целевые значения оценочных показателей для подразделений, признанных по результатам расчетов недостаточно эффективными (показатель эффективности меньше 1). Они позволяют каждому такому подразделению наметить направление движения к результатам, достигнутым лидерами. Последние начинают играть, роль эталонных объектов, с которыми производится сопоставление, а сам DEA-анализ становится, также и инструментом бенчмаркингового исследования (табл. 4). Таблица 4. Целевые значения показателей для подразделений (фрагмент) Подразделение Вклад в показатели вуза Результативность деятельности подразделения А 5,237 0,086 В 6,647 0,078 Д 10,77 0,075 Ж 9,206 0,092 З 4,479 0,079 И 11,98 0,078 К 7,484 0,063 Л 8,348 0,087 М 8,986 0,058 Н 10,107 0,066 О 7,3 0,073 П 7,844 0,051 Р 6,741 0,065 Результаты сравнения эффективности подразделений, рассчитанные на основе метода DEA, с рейтинговой оценкой на основе принятой в вузе методики (табл. 5) выявили, что лучших показателей, чем представлялось ранее, достигли такие подразделения, как Е, К, П, Л. Хуже оказались результаты у подразделений Д, З, Н. Что же касается научно-исследовательских подразделений, то их положение не изменилось. Таблица 5. Сравнение рейтинга подразделений вуза, рассчитанного двумя методами Подразделение Место в рейтинге по DEA Место в рейтинге по методу, используемому в вузе Научно-исследовательские подразделения А 1 1 Б 2 2 В 3 3 Факультеты Г 1 1 Д 5 2 Е 2 3 Ж 4 4 З 8 5 И 6 6 К 3 7 Л 7 8 М 9 9 Н 12 10 О 11 11 П 10 12 Р 13 13 Таким образом, оценка подразделений вуза с помощью метода DEA существенно изменяет представление о результативности деятельности подразделений и позволяет выявить их потенциальные возможности.

Ключевые слова

Performance, Monitoring, Ranking, Multiple linear regression, результативность деятельности, мониторинг, рейтинг, множественная регрессия

Авторы

ФИООрганизацияДополнительноE-mail
Каз Михаил СеменовичТомский государственный университет; Томский политехнический университетдоктор экономических наук, профессор кафедры системного менеджмента и экономики предпринимательства; профессор кафедры экономикиmisk3@mail.ru
Всего: 1

Ссылки

Каз М.С. Концепции и дилеммы двухуровневой системы университетского образования // Вестн. Том. гос. ун-та. Экономика. 2012. №-3. С. 63-65.
Методика расчета показателей мониторинга эффективности образовательных организаций высшего образования [Электронный ресурс]. URL: http://base.consultant.ru/cons/ cgi/ online. cgi?req=doc;base=EXP;n=586415 (дата обращения: 09.01. 2015)
Информационно-аналитические материалы по результатам анализа показателей эффективности образовательных организаций высшего образования [Электронный ресурс]: Информационно-аналитические материалы по образовательным организациям. Электрон. дан. 2013. URL: http://miccedu.ru/monitoring/ (дата обращения: 15.03.2014).
Hanushek Eric A. and Rivkin Steven G. Generalizations about the Use of Value-Added Measures of Teacher Quality // American Economic Review. May 2010. № 100(2). P. 267-271.
Mezirow Jack. Transformative Learning: Theory to Practice // New Directions for Adult and Continuing Education. 1997, no. 74. P. 5-12.
Emrouznejad Ali, Cabanda Emilyn. Managing Service Productivity. Using Frontier Efficiency Methodologies and Multicriteria Decision Making for Improving Service Performance. Berlin: Springer, 2014. 394 p.
 Оценка результативности деятельности и «отрицательный отбор» | Вестн. Том. гос. ун-та. Экономика. 2015. № 2 (30).

Оценка результативности деятельности и «отрицательный отбор» | Вестн. Том. гос. ун-та. Экономика. 2015. № 2 (30).