On Application jf Rating Estimates in Management of Higher Educational Institutions.pdf Введени еИндустриальный век уходит в прошлое. Наступает век информацион-ный, когда решающим ресурсом для любой деятельности во всё большейстепени становится информация, знания. Усиление информационной со-ставляющей во всех проявлениях жизни общества идёт так интенсивно,что этот процесс называют «глобальной информационной революцией»,а степень использования информации в практике управления - «важней-шим стратегическим ресурсом».Томский университет находится в первых рядах российских органи-заций, развивающихся в направлении усиления информатизации. В стра-тегической программе информатизации ТГУ на ближайшие годы средидругих направлений предусмотрено и повышение качества управленияуниверситетом за счёт внедрения новых информационных технологий впроцессы принятия управленческих решений.Всякое управление состоит из пяти компонентов:- объект управления - управляемая система,- субъект управления - управляющая система,- цель управления - желаемое субъектом состояние объекта управле-ния,- модель управляемой системы - знания субъекта об управляемомобъекте,- управляющее воздействие - воздействие на вход объекта управле-ния, направленное на получение на его выходе показателей, определен-ных целью управления.Успешность управления определяется качествами всех пяти составля-ющих, но прежде всего тем, насколько качественно мы регистрируем те-кущее состояние объекта и оцениваем его отличие от целевого состояния.Среди способов выполнения этих операций в последнее время всё ширеиспользуются рейтинговые системы. Введение в практику управленияуниверситетом рейтинговой методики оценивания состояний подведом-ственных подразделений требует создания комплекса организационных,информационных, технических средств, обеспечивающих устойчивоеуправление в условиях непрерывных (и слабо предсказуемых) измененийв окружающей среде и в самом университете. В данной статье обсужда-ются особенности рейтингового оценивания и возможности их использо-вания в управлении вузом на примере Томского университета.1. Что такое рейтингТермин рейтинг происходит от английского слова rate - оценивание,сравнение и упорядочение состояний некоторых объектов.Иногда рейтинг основывается на единственном показателе. Например,рейтинг передач по радио и телевидению определяется числом слуша-телей или зрителей; рейтинг стран-претендентов на грант ЮНЕСКО поздравоохранению - по детской смертности, а на гранты по школьно-му образованию - по проценту неграмотного населения в стране; рейтингбестселлеров - по количеству проданных книг; и т. п.Однако гораздо чаще единственный показатель не может удовлетво-рительно охарактеризовать состояние объекта, и приходится учитыватьбольшее (иногда очень большое) число характеристик объекта, - тембольшее, чем более сложен этот объект. В соответствующем разделеданной статьи будет рассмотрен вопрос о том, от чего зависит количествои качество регистрируемых показателей в рейтинговых системах вообщеи применительно к университету, в частности.Таким образом, рейтинг является одномерной функцией многих пере-менных («показателей», «индикаторов»). Обсуждение проблем определе-ния такой упорядочивающей функции в многомерном пространстве при-водится в последующих разделах статьи.Министерство науки и образования уже несколько лет используетрейтинговую систему оценивания работы подведомственных вузов. Рей-тинговый подход используется также для определения сравнительногоуровня вузов различных стран. Любые оценки (в том числе и рейтинги)имеют субъективный (целевой) характер, но поскольку в данном случаеоценивание имеет экономические (министерский рейтинг) или политиче-ские (международный рейтинг) последствия, то мы вынуждены, нравит-ся нам это или нет, предпринимать усилия для повышения собственныхвнешних рейтингов.Кроме того, рейтинговую методику можно использовать и для внутри-университетского менеджмента, на всех уровнях управленческой иерар-хии: на общеуниверситетском уровне - для сопоставления факультетов,институтов, инфраструктурных подразделений; на уровне подразделенийуниверситета - для сравнения кафедр и лабораторий; на нижнем уровнеиерархии - для оценивания работы каждого преподавателя или студента.Руководство ТГУ решило ввести рейтинговую методику в практикуоперативного управления университетом. Дело это непростое: рейтинго-вые алгоритмы, сводящие воедино качественно разные показатели, могутприводить к «несправедливым» выводам. Есть несколько причин такихсбоев. Первая - нарушение чисто технических условий обработки дан-ных, например, применение недопустимых операций к исходным данным(типичным примером является выполнение арифметических операций надбаллами или операция деления над данными в интервальной шкале), чтолишает результат предполагаемого качества (вспомним, например, прова-лившуюся практику учёта «среднего школьного балла» при поступлении ввузы). Во-вторых, рейтинговая система, как и всякая система голосования(в окончательный результат вносит свой «голос» каждый показатель), об-ладает неустранимыми особенностями, приводящими (при определённомстечении обстоятельств) к парадоксальным результатам [4. С. 159-169].Один из парадоксов - победа меньшинства в мажоритарной системе - со-знательно используется в рейтинговом управлении: небольшому числупоказателей придаются веса, делающие их доминирующими над осталь-ными показателями (примером является число нобелевских лауреатовв международном рейтинге университетов). Третья причина - неадекват-ность набора показателей либо по отношению к природе оцениваемогообъекта, либо по отношению к цели сравнения.Поэтому введение рейтинговой технологии в управленческую практи-ку требует тщательной подготовки.2. В каких целях используют ся рейтингиОценивание и сравнение состояний объектов управления бывают не-обходимы для принятия различных управленческих решений. Рейтингииспользуются для разных целей:для слежения за текущим состоянием управляемой системы (ин-формационная функция, мониторинг); для выявления тенденций в текущем этапе жизненного цикла си-стемы (аналитическая функция, прогнозирование); для выработки управляющих воздействий на систему (функцияуправления, проектирование необходимых изменений, стимули-рование исполнителей).Приведем примеры таких ситуаций.2.1. Монит оринг и статич еское сравн ени еЧаще всего рейтинги используются при подведении итогов за опре-деленный отчетный период (обычно за год). Состояние сравниваемыхобъектов «фотографируется». Каждый объект характеризуется совокуп-ностью определенных показателей, и сравниваемые объекты упорядочи-ваются по предпочтению согласно определенной заранее упорядочиваю-щей функции этих показателей.Пользователями таких рейтингов являются: внешние руководящие, контрольные, исследовательские и другиеорганизации (Минобрнауки РФ, аккредитационные органы, со-циометрические организации и т.п.); абитуриенты - при выборе вуза и специальности для получениявысшего образования. (Зарубежные университеты, особенно аме-риканские, стремящиеся привлечь как можно больше абитуриен-тов из-за рубежа, уделяют своим рейтингам большое внимание.Однако в российской практике пока преобладающее значениев выборе абитуриентами вуза имеют рекомендации родственни-ков, друзей, знакомых); работодатели - при приеме на работу специалиста часто важнуюроль играет то, в каком вузе он обучался; сами вузы и их подразделения - для самооценки и для внутрен-него сопоставления подразделений. В этом случае к показателямрейтинга вышестоящей организации обычно добавляются соб-ственные показатели, учитывающие «местную» специфику.2.2. Выявл ени е тенд енци й и ди агн ости каСовокупность показателей объекта на конец отчетного периода длярейтинга является фиксацией состояния. Если взять эти данные за не-сколько периодов мониторинга, то можно проследить траекторию объ-екта в пространстве признаков и выявить происходящие изменения,определить тенденции. Правда, многомерные траектории не обладаютнаглядностью. При желании визуально наблюдать траекторию прихо-дится ограничиваться двух- или трехмерными изображениями на экранедисплея. Для этого выбираются 2 или 3 интересующих нас показателя, итраектория строится в этом пространстве. Другой прием заключается вобразовании 2 или 3 суммарных индикаторов («факторов»), объединяю-щих группы исходных показателей. Пример такого двухфакторного ана-лиза динамики университета на плоскости, обобщенно отображающейколичественные («масштабность») и качественные («эффективность»)параметры организации, приведен в [1].Пользователями таких представлений становятся первые руководите-ли организации.2.3. Уп равл ени еРейтинговая система может быть эффективным инструментом управ-ления, если моральное и материальное стимулирование объекта связатьс получаемым им рейтингом. При этом задание нужного управляющеговоздействия сводится к выбору желаемого направления движения управ-ляемого объекта в пространстве признаков. Это выражается в задании«политических коэффициентов» - весовых коэффициентов признаков иих комбинаций. Выбор этих коэффициентов является средством управле-ния и относится к компетенции руководителя.Использование рейтингов возможно на всех уровнях управления уни-верситетом, - не только в целях участия ТГУ в министерских или между-народных рейтингах, но и для внутреннего управления университетом вцелом со стороны ректората, а также для внутреннего управления каж-дым подразделением в отдельности, вплоть до базового уровня организа-ции, - стимулирования членов кафедры, научной лаборатории, студентовучебной группы и т.д. Это означает построение иерархической системырейтингов, каждый из которых играет локальную роль управления в соб-ственных интересах подразделения и выполняет свою роль составной ча-сти в рейтинге верхнего уровня, согласованную с рейтингами соседнихподразделений.Разработка такой системы потребует решить ряд специфических про-блем. Все они возникают, по существу, из одного факта: каждая органи-зация (и каждое ее подразделение), хотя и имеет общие для всех системхарактеристики, является особенным, отличающимся от других, а в чем-то уникальным объектом.Поэтому любое сравнение разных объектов может быть только услов-ным (по схожим характеристикам), целевым (привязанным к определен-ной цели последующих за сравнением действий), субъективным (связан-ным с культурой сравнивающего субъекта). Это препятствует сравнениюлюбых объектов и приводит к тому, что сравнивать имеет смысл лишьоднородные объекты. Так, Минобрнауки применяет рейтинговое срав-нение к группам вузов (классические университеты, технические вузы,медицинские, педагогические и т.д.), а в одном вузе сравниваются «род-ственные» подразделения («физики» и «лирики» - раздельно; научные,учебные и хозяйственные подразделения - тоже).Построение всей иерархии целесообразно производить поэтап-но, начиная с верхнего уровня. При этом следует придерживатьсяпринципов фрактального построения иерархии, соблюдая единствоорганизационно-технического, алгоритмического, информационного,программного обеспечения на всех уровнях иерархии.Особой заботой должен стать выбор программной основы для всейработы и обучение сотрудников эффективному использованию этих про-граммных продуктов. Например, в одной из крупных проектных работподобного типа за основу была принята система Lotus Notes 4.5, а дляоперативных контактов между всеми участниками в разных подразделе-ниях взята программа Microsoft's NetMeeting из Интернета [2].3. Возможность использовани я рейтинг овойсистемы в НСО ТОтдельного внимания заслуживает возможность использования рей-тинговой методики в НСОТ (новая система оплаты труда). В этой систе-ме предусмотрены поощрительные надбавки за повышенные объемы икачество труда; эти надбавки могут достигать 30% от основной частизарплаты.При этом предусмотрено, что право определять размер надбавок ра-ботникам предоставлено руководителю подразделения, исходя из кон-кретных обстоятельств в работе коллектива.Опыт внедрения НСОТ в школах уже обнаружил возникновение се-рьезного недовольства и даже конфликтов в учительских коллективах.Главным источником появления недовольства является несовершенствометодики определения личного вклада каждого работника в количествен-ное и качественное улучшение работы коллектива. Кроме неизбежныхразногласий из-за субъективности оценок, большие трудности возникаютиз-за того, что многие желательные характеристики деятельности людейненаблюдаемы непосредственно, и приходится пользоваться измерения-ми наблюдаемых величин, лишь косвенно связанных с интересующимнас явлением, либо прибегать к качественным, субъективным суждениямэкспертов. Кроме того, очевидная возможность измерять количественнохарактеристики результатов физического труда, неприменима для описа-ния результатов труда умственного, творческого.Такую ситуацию можно улучшить с помощью использования рейтин-га для определения пропорций распределения поощрительного фондамежду членами трудового коллектива.Снижения произвольной составляющей рейтинга, повышения сте-пени согласия в коллективе можно достичь путем вовлечения в процесспроектирования рейтинговой системы всех членов коллектива. Этоотносится как к выбору исходных параметров, характеризующих объеми качество работы каждого сотрудника, так и к определению «полити-ческих коэффициентов», определяющих значимость каждого параметра.При этом наибольшая эффективность в таком проектировании достига-ется при соучастии всех в принятии решений по принципу «один чело-век - один голос» и на основе единогласия («все за») или хотя бы консен-суса («никто не против»).Если будет принято решение о включении рейтинга в НСОТ, проекти-рование собственного рейтинга должно состояться в каждом подразделе-нии университета. Тогда АИС «Рейтинг» (в отличие от её составляющих,описанных в предыдущих разделах, где она развивается «сверху вниз»)станет развиваться «снизу вверх». При этом необходимо обеспечить,чтобы рейтинги нижнего уровня сохранили совместимость со всей АИС«Рейтинг» в целом.4. Пробл емы проекти ровани я алг орит ма рейтинг аДля того чтобы сконструировать конкретный адекватный способ вы-числения рейтинга, необходимо решить следующие проблемы:- выбрать показатели, которые должны дать исходную информациюдля рейтинга (рассмотрено ниже в п. 4.1);- определить одномерную функцию, преобразующую набор показате-лей в итоговую оценку (см. п. 4.2);- обеспечить адекватность операций, выполняемых над разношкаль-ными показателями в процессе их объединения (см. п. 4.3).4.1. Выб ор показателейОтправным пунктом для выбора показателей является осознание, чтокритерии суть модели целей.Стремясь достичь поставленную цель, мы должны оценивать (изме-рять) степень близости текущего состояния системы к состоянию целе-вому. Для этого необходимо найти такие наблюдаемые характеристики,величина которых связана со степенью близости к целевому состоянию.Таким образом, критерии содержат информацию о цели, являются ее мо-делью.Это проясняет во-прос о том, сколько икакие критерии брать -столько и такие, чтобы всовокупности они былиадекватной модельюцели (т.е. отображалиее с необходимым каче-ством). При этом имеетсмысл минимизироватьих число: избыточныекритерии не ухудшаютописания, но резко уве-личивают трудоемкостьих обработки. А если измеряемые характеристики зашумлены, то увели-чение их числа может и ухудшить итоговую оценку.Итак, многокритериальность оптимизации связана не только с тем,что целей может быть несколько, но и с тем, что часто одну цель можноадекватно отобразить лишь несколькими критериями. При этом замечено,что чем меньше мы понимаем природу объекта (чем «сложнее» объект),тем больше переменных мы включаем в его модель: некоторые показате-ли включаются «на всякий случай», т.е. на случай их возможной значимо-сти. Поэтому есть системы, включающие многие десятки показателей.Выбору показателей предшествует определение целей. Для ТГУ целиопределены документом «Миссия и основные приоритеты стратегиче-ского развития университета». Анализ этого документа показывает, чтоглавные цели ТГУ зависят от того, с какими внешними и внутреннимисистемами взаимодействует университет; их схема представлена нарис. 1. В «Миссии» формулируются цели ТГУ по отношению к каж-дой из этих систем. При выборе показателей, подлежащих измерению,можно поочередно подбирать индикаторы для каждого из указанных 12«направлений». «Миссия» также определяет приоритетные на текущиймомент направления деятельности ТГУ; эту информацию тоже следуетиспользовать при выборе показателей. При необходимости можно деком-позировать каждую цель на подцели, что облегчит подбор индикаторов.(Алгоритм декомпозиции приведен в [3]).Особое внимание должно быть уделено последнему уточнению стра-тегии Томского университета: в 2010 г. он получил статус исследователь-ского университета. Отличительной особенностью исследовательскогоуниверситета является преобладающее внимание к научной составляю-щей его деятельности. Главным продуктом исследовательского универ-Рис. 1ситета должны стать научные результаты: новые знания, новые тех-нологии, новые образцы техники, культуры, общественных отношений.Обязательная для университета функция образования тоже приобретаетспецифику: она должна сместиться в сторону подготовки кадров высшейквалификации - магистров, кандидатов и докторов наук. (Прототипомможет служить Чикагский университет, где вообще нет студентов бака-лавриата, - только магистранты и докторанты, где работает много лау-реатов Нобелевской премии, где был построен первый атомный реакторФерми и т.д.)Однако и для исследовательского университета остаются значи-мыми все пять видов деятельности вуза: учебная, научная, научно-методическая, культурно-воспитательная (внутренняя), общественнополезная (внешняя).В ходе определения набора показателей должны учитываться следу-ющие системологические требования.Во-первых, необходимо учесть действительные интересы всех стэйк-холдеров (существенных участников) проблемной ситуации; в нашемслучае это все 12 систем, представленные на рис. 1. Наиболее полными надежным источником этой информации являются, конечно, самистэйкхолдеры. Поэтому обычно выдвигается требование привлечения кразработке рейтинговой системы самих стэйкхолдеров либо их компе-тентных представителей.Однако в нашем случае дело облегчается тем, что проектируемаярейтинговая система - далеко не первая для всего высшего образова-ния.В многочисленных зарубежных и отечественных рейтингах, приме-няемых в российских вузах, уже выражены и представлены интересысоответствующих сторон. Поэтому при конструировании предложеннойсовокупности показателей, кроме мнений физических представителейнекоторых сторон (научной и учебной частей ректората ТГУ, экономи-стов, психологов, социологов), остальная информация получена путемсравнительного анализа опубликованных рейтинговых систем.Во-вторых, необходимо иметь в виду, что замечательная способностьэкспертов давать оценки сопровождается огорчительной, но, к сожале-нию, неизбежной их подверженностью ошибкам. Если ошибка первогорода (т.е. предложение критериев, которые на самом деле несуществен-ны) лишь увеличивает трудоемкость оценивания, то ошибка второгорода (отнесение существенных критериев к числу несущественных иневключение их в список) и ошибка третьего рода (незнание, неосведом-ленность о существенных аспектах ситуации) чреваты тем, что итоговаясовокупность критериев окажется недостаточно адекватной. Способыобнаружения и предотвращения ошибок носят эвристический характер.В них больше искусства, чем науки.Для частичной иллюстрации приведем опубликованный пример фор-мирования критериев для достаточно ясной цели: повысить качествоуборки мусора в большом городе. В результате анализа были отвергнутыпервоначально предложенные и, на первый взгляд, подходящие критерии:расходы на уборку мусора в расчете на одну квартиру, число тонн убирае-мого мусора в расчете на один человеко-час, количество мусороуборочнойтехники и т.д. Эти критерии характеризуют количественную сторону рабо-ты, но ничего не говорят о ее качестве. Более удачными были признанытакие критерии, как процент жилых кварталов без заболеваний, связанныхс качеством уборки мусора; снижение числа пожаров из-за возгорания му-сора; уменьшение числа укусов людей крысами. Этот список был продол-жен.Итак, важным требованием к алгоритмическому и программному обе-спечению АИС «Рейтинг ТГУ» является осуществление способности АИСадаптироваться и обучаться в ходе эксплуатации на обнаруженных ошиб-ках.В-третьих, для повышения адекватности набора признаков следуетуделить внимание тому, чтобы критерии характеризовали состояние систе-мы всесторонне, т.е. описывали статическое состояние в данный моментвремени, ее динамическое состояние (тенденции изменений во времени) иее синтетическое описание (эмерджентный, синергетический, ингерент-ный эффекты). В силу различия и специфики целей управления на каждомуровне организационной иерархии рейтинги на разных уровнях и в разныхподразделениях одного уровня будут различаться.4.2. От ображени е множеств а показателейна един ств енн ую ит оговую оценку (рейтинг )Обсудим проблемы, связанные с использованием рейтинга как сред-ства управления. Первой задачей является сравнение и упорядочениеобъектов по некоторому принципу, оценивающему эффективность ихдеятельности. Общепринятым и «очевидным» является построение не-которого обобщающего показателя q0(x), учитывающего все частные кри-терии {qi (x)}.Идея такого подхода состоит в том, что упорядочение по единому гло-бальному критерию является в принципе элементарным делом: сравни-ваемые объекты {xi} упорядочиваются естественным образом по вели-чине итоговой оценки q0(xi ): тот, кто добился более высокой оценки, тоти «лучше».Однако упорядочение в пространстве многих (более одного) крите-риев принципиально отличает-ся от однокритериального упо-рядочивания. Покажем это напримере двух критериев - q1 иq2 (см. рис. 2): увеличение чис-ла критериев лишь увеличива-ет трудоемкость оценивания, апринципиальное различие про-является уже при переходе отодного к двум критериям.Введение глобального кри-терия q0(x) означает введениеупорядочивающей поверхно-сти в многомерном простран-стве частных критериев {qi (x)}.Эта поверхность определяетсяуравнением q0(x)=a, и тот эле-мент xi, для которого величина aiбольше, тот и лучше. И резуль-тат, очевидно, зависит от того,какова упорядочивающая функ-ция = f [q1(x), q2(x), qk(x)]. Нарис. 2 приведены примеры не-скольких таких функций. Упо-рядочение состоит в том, что,увеличивая константу a, мы ото-двигаем поверхность f от нуля,и точки xi нумеруются в поряд-ке их пересечения этой поверхностью. Чем позже в своем движении по-верхность наткнется на соответствующую точку, тем большую итоговуюоценку получит эта точка.Главный вывод состоит в том, что упорядочение в многомерном про-странстве неоднозначно и определяется тем, какова упорядочивающаяфункция (на рис. 2 разные изображающие точки являются лучшими поразным критериям).Интегральный показатель q0(x) состояния x есть некоторая функцияf от значений критериев q1(x) … qк(x) и их коэффициентов важности α1,… , αk :q0(x) = f[q1(x) … qк(x); α1, … , αk )]. (1)(пока для простоты будем считать, что критерии характеризуют лишьодну цель).Рис. 2Рис. 3Функция f[q,a] в принципе может быть любой, но по соображениямдоходчивости ее обычно задают в виде линейной зависимости:q0(x) = α1 q1(x) + α2 q2(x) + … + αk qk(x). (2)В этом случае считается, что чем дальше соответствующая плоскостьот нуля, тем лучше; усилия руководителей направляются на продвижениеточки в направлении, перпендикулярном плоскости. На рис. 3 эта ситуа-ция иллюстрируется на примере двух критериев q1 и q2; поощряемое на-правление перпендикулярно соответствующим прямым.4.3. Пробл емы из мерени я и размерностейСерьезные трудности возникают в связи с тем, что выбранные пока-затели характеризуют качественно отличающиеся характеристики объ-екта. Даже в случае линейной формы глобального критерия необходимоучесть особенности обработки разнотипных данных, чтобы получаемыйинтегральный показатель (рейтинг) был адекватным, правильным, рабо-тоспособным.Во-первых, различные критерии могут исчисляться в разных изме-рительных шкалах. В этом случае их сложение является недопустимой,бессмысленной операцией: нельзя складывать часы, рубли и метры. Сле-довательно, необходимо обеспечить одноразмерность всех слагаемых влинейной форме. Это делают разными способами.Широко распространён способ экспертного оценивания всех показа-телей в баллах одной шкалы (обычно 100-балльной), с последующим ихсуммированием. Такой способ применён в рейтинговой системе «Рей-тОР» [5], во внутренних рейтингах некоторых вузов и НИИ.Опасность такого подхода состоит в том, что балльные оценки иногдаявляются огрубленными количествами, а иногда - сугубо качественнымисуждениями, не имеющими даже следов числовой природы. В последнемслучае арифметические операции над баллами приводят к неверным за-ключениям. К тому же такой подход весьма чувствителен к соотношени-ям между баллами разных показателей. (Например, в одном институтеРАН начисляют 100 баллов за публикацию в реферируемом журнале и 30баллов за публикацию тезисов в материалах конференции. Сотрудникитут же переключились на тезисы без личного участия в конференциях.)Второй способ приведения данных в одну шкалу - огрубление их досамой слабой шкалы (обычно это порядковая, балльная шкала). К отме-ченным выше особенностям балльных шкал добавляется тот факт, чтопри огрублении сильной числовой шкалы часть полезной информациитеряется.Третий подход применяется, если все критерии носят числовой харак-тер, но измеряются в разных шкалах. В этом случае разнотипные (раз-ноименные) данные приводятся к единой безразмерной шкале с помо-щью нормировки и масштабирования. При этом есть нюансы. Отнесениепоказателя к единице его измерения, хотя и дает безразмерную величину,положения не спасает: денежный критерий будет в несколько раз отли-чаться в рублях и долларах, масштабный критерий - в 100 раз в метрах исантиметрах. Следует также позаботиться о равнозначимости критериев.Выход видится в том, чтобы привести все критерии не только к единой(безразмерной) шкале, но и единому диапазону возможных значений, аименно, пересчитать каждый показатель так, чтобы он принимал значе-ние в интервале [0,1]. Это удается осуществить нормировкой видаqi*(x) = (qi(x) - qimin)/(qimax - qimin), (3 )где qimax и qimin - максимальное и минимальное значения критерия qi (поприроде или среди сравниваемых объектов).А как быть в случае единственной оцениваемой системы - при са-мооценке и самоуправлении? Напрашивается предложение нормироватькаждый показатель на потенциал оцениваемой организации по данномупоказателю: полученное число будет выражать степень реализации по-тенциала, и ее увеличение кажется разумным. Однако не по любому по-казателю удается определить «потенциал». Например, сколько опубли-кованных статей в отчетном году, даже в расчете на одного сотрудника,считать малым или большим? Одинаково или по-разному учитывать чис-ло публикаций для аспирантов и докторантов? Важным критерием счи-тается процент защитившихся в срок, но как учитывать защиты в годы,последующие за сроком окончания аспирантуры и докторантуры?Таким образом, нормировка и масштабирование всех показателей же-лательны, но не всегда осуществимы.В таких случаях применяются другие приемы.Один из них - «релейное» управление на основе политики руковод-ства. Например, ректорат может потребовать, чтобы каждый преподава-тель публиковал не менее одной статьи в год. Если это условие выпол-нено, преподавателю начисляется единица, если нет - нуль. Показателивсех преподавателей суммируются, и сумма делится на число штатныхединиц. Появляется возможность сравнения научной активности факуль-тетов.Другой прием - «бенчмаркинг»: круговая диаграмма желаемых и до-стигнутых уровней по каждому показателю (своеобразная «роза ветров»в пространстве показателей). Расхождение между контурами целевых идостигнутых показателей обнаруживает сильные и слабые стороны объ-екта. А сравнение таких контуров разных подразделений позволяет непросто суммарно упорядочить их, но и детально охарактеризовать отно-сительные достоинства и недостатки подразделений.4.4. О «политич еских коэфици ент ах»Коэффициенты {αi } в итоговой оценкеq*0(x) = α1 q*1(x) + α2 q*2(x) + … + αk q*k(x) (4)выражают значимость, важность i -того критерия в политике руковод-ства и должны определяться именно лицами, принимающими решения.Для сопоставимости разных политик следует придерживаться условиянормировкиα1+α2+…+αk=1. (5)Обобщение линейной формы итоговой оценки на случай многоуров-невой иерархической структуры критериев очевидно: на каждом уровнеобразуется своя линейная комбинация, которые с некоторыми весовымикоэффициентами линейно объединяются на верхнем уровне.Вопрос об итоговой оценке на основе нескольких критериев теперьвыглядит как бы решенным достаточно удовлетворительно. Однако этовпечатление слишком оптимистично.Уже очевидно, что упорядочение в многомерном пространстве су-щественно зависит от конкретного определения упорядочивающейфункции f. В частности, при линейной форме глобального критерия по-разному будут упорядочиваться сравниваемые варианты при изменениисоотношений между коэффициентами важности критериев {αi}. Эту от-носительность, условность и даже произвольность многомерного упоря-дочивания обнажил и довел до абсурда акад. Я.З. Цыпкин на одной изнаших конференций: «Задайте заранее порядок предпочтения альтерна-тив в многомерном пространстве, а я подберу такую упорядочивающуюфункцию, которая и обоснует это упорядочение».Первопричина такой произвольности заключается в стремленииопределить единственную наилучшую альтернативу. Это возможно лишьв том (практически нереальном) случае, когда существует единственнаяальтернатива, лучшая сразу по всем критериям. Обычно это не так, а вкаждой паре альтернатив одна из них превосходит другую по одним кри-териям и проигрывает ей по другим.Какой из них отдать предпочтение? Тут-то и привлекаются дополни-тельные (кроме самих критериев) соображения, типа «коэффициентовважности», добавочных критериев, формы упорядочивающей функциии т.д. Но все это - стремление применить однокритериальныйвариации. (Подробности мож-но узнать в [4]). Существуетдаже международное научноесообщество, которое каждыедва года проводит всемирнуюконференцию по многокрите-риальному принятию решений( MCDM).Однако хотелось бы при-влечь внимание руководителейк тому, что существует адекват-ный подход к многокритери-альному выбору. Он заключается в том, чтобы при выборе наилучшейальтернативы отбросить все те, для которых найдутся варианты, лучшиепо всем критериям (первые называются доминируемыми, вторые - доми-нирующими). В итоге останутся только недоминируемые альтернативы,лучше которых по всем критериям не существует (см. рис. 4). Они-то иявляются лучшими в том смысле, что лучше них по всем критериям нет.Множество недоминируемых альтернатив называется паретовским,по имени давшего этот метод математика-экономиста Парето. Оно и выра-жает неоднозначность многокритериального выбора. Варианты, вошед-шие в паретовское множество, считаются одинаково ценными, несрав-нимыми между собой (в самом деле, чем хуже факультет, лидирующийпо участию в международных конференциях, чем факультет, получившиймаксимальное число патентов?).Таким образом, рекомендация по многокритериальному выбору сво-дится к совету определить паретовское множество. (При большом числекритериев есть алгоритмы, сокращающие трудоемкость этой операции).А при необходимости выделить только один элемент паретовскогомножества можно использовать разные способы (волевое решение, слу-чайный выбор, применение дополнительного критерия, использованиеглобального критерия). Но подчеркнем, что не все методы многокрите-риального принятия решений выводят в паретовское множество. Именнопоэтому рекомендуется начать выбор с определения паретовского мно-жества.

Скачать электронную версию публикации