Приведены результаты сравнительной оценки эффективности крупномасштабных железнодорожных проектов. Высокая неопределенность по таким проектам требует адекватных методов оценки. Предлагается методология, которая учитывает не только сценарии развития внешней среды, но и «масштабность» проекта, оказывающая влияние и на сами сценарии. В результате работы с группой экспертов удалось получить приоритеты развития каждого проекта: ж.-д. перехода на о. Сахалин, Приполярной и Ленско-Камчатской магистралей.
A Model for Assessing the Public Effectiveness of Large-Scale Investment Projects: The Tree of Goals and Relative Import.pdf Введение На III общероссийском форуме «Инфраструктурные проекты России: партнерство бизнеса и власти» (сентябрь 2011 г.) председатель правления Национального агентства прямых инвестиций, модератор пленарного заседания «Мегапроекты России» И. Вдовин заявил, что «.. .успешная реализация долгосрочных капиталоемких проектов имеет невероятно важное, общегосударственное значение. От того, как осуществлен проект, зависит репутация страны. В нашей истории есть примеры удачно воплощенных в жизнь крупных проектов в сфере ТЭК, автопрома, транспортной инфраструктуры. Сегодня мы наблюдаем старт новой эпохи мегапроектов» [1]. Солидаризуясь с этим заявлением по существу, с сожалением отмечаем, что почти за 10 лет, прошедших с момента декларированного старта, партнерство бизнеса и власти при осуществлении инфраструктурных мегапроектов в России, именуемых нами крупномасштабными, если и состоялось, то точечно. Констатация касается как институциональных проектов типа 1 Автор выражает благодарность и глубокую признательность д-ру экон. наук, профессору, главному научному сотруднику Института экономики и организации промышленного производства СО РАН Евгению Борисовичу Кибалову за советы и ценные замечания при работе над данной статьей. Модель оценки общественной эффективности 111 структурной реформы ОАО «РЖД», так и проектов инвестиционных (капиталообразующих) типа сооружения высокоскоростных железнодорожных магистралей и проектов федеральной значимости на Восточном полигоне железнодорожной сети России. Неудачный старт объясняется: 1) перманентной ограниченностью инвестиционных ресурсов и родовыми дефектами системы финансирования проектов; 2) коррупцией; 3) непрозрачностью работы государственных служб; 4) низкой профессиональной подготовкой государственных чиновников; 5) неэффективностью принимаемых инвестиционных решений [2]. В других странах ситуация несколько иная, но и там, если судить по монографии [3], оценка последствий реализации мегапроектов для экономики и общества неоднозначна, колеблется в диапазоне «негативная - позитивная». В целом в монографии конструктивного ответа на вопрос «что делать?» в турбулентно развивающемся мире нет. Далее мы сконцентрируем внимание на особом классе крупномасштабных инвестиционных проектов, а именно на российских железнодорожных проектах (КИПжд). Основная задача данного исследования - учет фактора неопределенности при реализации проекта и последствий реализации крупномасштабных железнодорожных проектов с помощью гибридной модели (ГМ). Предполагаем при этом, что ориентировочный перечень таких проектов уже выявлен проектантами и экспертами действующих научно-исследовательских структур (государственных или корпоративных), а описания проектов стуктуризованы в назывной шкале «хорошо - слабо -неструктуризованые», предложенной Г. Саймоном [4]. Кроме того, подразумевается, что правила и показатели, с помощью которых существующая практика оценивает стандартные инвестиционные проекты, исчерпывающим образом описаны в официальных методических материалах. Проблема оценки. Крупномасштабные инвестиционные железнодорожные проекты, в отличие от маломасштабных, фактом своей реализации изменяют структуру экономики не только железнодорожной отрасли. Под их воздействием меняются темпы развития экономики страны и, следовательно, система цен, с помощью которой обосновывается эффективность самих КИПжд. Возникает ситуация типа circulus vitiosus. Указанный порочный круг постоянно порождает радикальную неопределенность оценки долгосрочных последствий КИПжд, и «раскрыть» ее полностью теоретически невозможно [5]. Однако снизить уровень неопределенности, переведя ее из категории «радикальная» в категорию «вероятностная», нередко удается. Собственно, реализаторы крупномасштабных проектов (мегапроектов, по западной терминологии) это постоянно делают, но из-за слабости теории осуществляют оценку эмпирически. Для проектов маломасштабных, реализуемых на сравнительно коротких временных интервалах, допущенная здесь ошибка увеличивает рискованность проектов, но она не катастрофична. Тогда как в случае долгосрочных КИПжд ошибочный выбор может привести к нежелательным последствиям не только для инвесторов, но и к суще- М.В. Пятаев 112 ственным потерям для экономики и общества страны в целом. Российская история железнодорожного строительства содержит немало таких примеров. В настоящей статье обсуждаются КИПжд, реализованные в разной степени, но находящиеся в опасной зоне неопределенных последствий. До сих пор не достроен БАМ, «заброшены»: Приполярная железнодорожная магистраль (ПМ) [6]1, Северо-Сибирская железнодорожная магистраль (СевСиб) [7]2, железнодорожный переход на о. Сахалин «Материк-Сахалин» (МС) [8]3, Ленско-Камчатская магистраль (ЛКМ) [9]4. Строительные работы по большинству из них начинались еще в сталинские времена, но были свернуты в конце 1953 г. Сегодня программа реконструкции системы «БАМ-Транссиб», несмотря на личный контроль со стороны Президента РФ, осуществляется со сбоями [10], а МС, наиболее продвинутый на сегодня проект, не имеет четкой реализационной перспективы [8]. Потери страны, Сибири и Дальнего Востока из-за таких многолетних инфраструктурных «недостроев» трудно переоценить. И дело не только в ущербах экономических, социальных и экологических, хотя и они в условиях санкций имеют тенденцию к росту. Национальная безопасность на северовостоке России существенно укрепилась, если бы ПМ, ЛКМ и МС функционировали сегодня в штатном режиме. Желательно, чтобы все, но и одна, выделенная военными как наиболее приоритетная широтная магистраль, параллельная Транссибу, сделали бы оборонный потенциал страны в Зауралье более надежным. Потому, что военные угрозы со стороны США, Канады и их сателлитов5 требуют создания надежной сухопутной 1 Данная публикация особенно интересна тем, что ее источниковая база опирается на анализ первичных архивных документов и малоизвестные цифровые данные о фактических потерях государства из-за необоснованного прекращения строительных работ по ПМ на участке Чум - Лабытнанги - Игарка, находившемся к моменту прекращения финансирования во временной эксплуатации. Были «омертвлены» 6 млрд руб. (более $200 млн по курсу 1946 г.). Но кроме того, по оценке академика РАН А.Г. Аганбегяна, опубликованной в газете «Правда» 7 мая 1979 г., отказ МПС достроить действовавший участок «обернулся для страны миллиардным убытком» (в ценах 1979 г.). 2 Эта публикация не менее интересна, чем предыдущая. В ней со ссылкой на расчеты ИЭОПП СО РАН показано, что «отказ от Севсиба приводил к снижению среднегодовых темпов прироста ВВП России при разных гипотезах на 0,2-0,3 процентных пункта и к уменьшению российского целевого показателя (потребления населения) на 6-10%, что заметно превосходит прямые затраты на строительство этой магистрали». 3 В публикации показано, к каким геоэкономическим последствием приведет реализация проекта МС в «усеченном» виде, т.е. без выхода на железнодорожную сеть Японии. 4 В публикации дано описание ЛКМ как проекта стратегической магистрали, осуществление которого намечено после 2030 г. Магистраль протяженностью 5000 км через Усть-Кут, Якутск, Охотск, Магадан соединяет крупнейший незамерзающий порт на востоке сраны Петропавловск-Камчатский с Западной Сибирью и Центром, способствует освоению природных богатств Дальневосточного федерального округа и упрочняет военно-стратегическую роль Камчатки как непотопляемого авианосца России в северной части Тихого океана. 5 Конгрессом США в 2017 г. был утвержден законопроект H.R.3203 о новых санкциях в отношении России. Одновременно активизировались военные приготовления в Модель оценки общественной эффективности 113 железнодорожной сети восточнее Урала, опорной для успешных действий ВМФ РФ в акваториях Северного Ледовитого и Тихого океанов, а если потребуется, то и на суше. Принимая во внимание сказанное и прежде всего масштабность и стратегическую значимость названных КИПжд, инвестором ПМ, ЛКМ и МС везде в дальнейшем считается государство. Как следствие, оценка общественной эффективности КИПжд должна производиться на федеральном уровне и на ранней стадии предынвестиционных проектировок, когда анализируется проектный замысел и уровень неопределенности затрат и результатов максимален. В качестве методологического инструмента, альтернативного западному «мейнстриму», нами при построении модели оценки используется системная парадигма Корнаи [13]. В парадигме, в частности, утверждается, что «эконометрика и другие виды общественных наук, использующие математические методы... вынуждены анализировать узкий “кусок” реальности, поскольку это - единственный способ построить модель, подходящую для математического анализа». Таким образом, предметом обсуждения на данной стадии выработки сложного инвестиционного решения являются: 1) целевые установки инвестора в долгосрочной перспективе; 2) допустимый уровень затратности проекта в сравнении с иными проектными альтернативами; 3) состав участников проекта: генеральные проектировщик и подрядчик, ключевые субподрядчики и иные стейкхолдеры, взаимодействующие с инвестором по вертикали и горизонтали; 4) устройство организационной структуры управления проектом и схемы его финансирования, способных обеспечить его (проекта) высокую адаптивную эффективность в ситуации неопределенности, приближающейся сегодня к полному хаосу [11]. Методы исследования Реперной точкой для соответствующих измерений в разрезе пунктов 14, является проект сооружения Транссибирской железнодорожной магистрали (Транссиб), оказавшийся успешным при царизме, развитом социализме и нынешнем отечественном крони капитализме (crony capitalism) [12]. Понятно, что копировать один к одному модели оценки и организационные решения по Транссибу теоретически и практически малопродуктивно. Сегодня перед наукой и практикой в качестве первоочередной, на наш взгляд, стоит проблема сочетания в процедурах оценки вербальных (логико-эвристических) моделей, опирающихся на суждения экспертов, и Арктическом бассейне в рамках директивы «Новая арктическая стратегия США», подписанной президентом Б. Обамой еще в 2009 г. В ее развитие, например, главнокомандующий НАТО предложил считать Северный морской путь (СМП) продолжением Гибралтарского пролива, просто расположенным немного севернее. М.В. Пятаев 114 моделей экономико-математических, базирующихся на статистической информации Системы национальных счетов. В обоих случаях степень агрегации данных на макроуровне предельно высока, в то время как проблема агрегирования более или менее корректно математически решена лишь для частных случаев. В настоящей статье мы конструируем гибридную модель оценки КПжд (ГМ), т.е. стремимся найти компромисс между эвристикой и математикой, следуя положениям системной парадигмы Корнаи [13]. Делается это с помощью методологии т.н. неосистемного анализа [14, 15], который, будучи клоном упомянутой парадигмы, позволяет, не потеряв конкретику, выявить общее в различных системах, формализуемое с помощью экономико-математических моделей [16]. Каким образом предлагается снизить уровень неопределенности описанной выше многоаспектной ситуации [13], имеющей место при оценке общественной эффективности КИПжд, излагается ниже. Гибридная модель оценки (1). ГМ структурно состоит из моделей (рис. 1), образующих иерархию по входимости. Рис. 1. Структура гибридной модели оценки общественной эффективности КИПжд В блоке «Подмодель проекта» (2) инвестор проекта является оперирующей стороной в стратегической игре с «природой» - экономикой России. Инвестор «имплантирует» модель проекта в модель экономики России «Подмодель среды проекта» (3) и по изменению уровня общественной эффективности последней, рассчитанного «без проекта» с уровнем «с проектом», судит об эффективности оцениваемого КИПжд. Такова концептуальная схема работы гибридной модели, при помощи которой и при поддержке группы экспертов инвестор в интерактивном режиме принимает сложное инвестиционное решение. Подмодели, входящие в состав ГМ, в зависимости от вариантов информационного обеспечения процедур оценки в блоках 2 и 3 могут быть описаны одним из трех способов: вербально, полувербально (средствами системного анализа) либо с помощью прикладных математических моделей. Например, модель КИПжд в блоке 2 может быть описана с помощью сетевой модели комплекса укрупненных операций либо содержать вербальное описание проекта, структурированное с применением логических и табличных моделей; в блоке 3 может использоваться математическая модель Модель оценки общественной эффективности 115 «затраты выпуск» и ставиться различные экстремальные задачи на множестве допустимых планов этой модели. И в том и другом случаях описания проекта должны соответствовать способам описания экономики России. Смешанный способ, когда описание проекта в блоке 2 выполнено полувербально, а сценарии развития экономики России в долгосрочной перспективе моделируются с помощью экономико-математической модели, продемонстрирован в работах [17-20]. Ниже показан способ апробации оценки, когда в блоках 2 и 3 «работают» оцифрованные экспертами вербальные модели. С точки зрения информационной «недостаточности» это самый тяжелый случай, а субъективность экспертной оценки предпочтительности сравниваемых КИПжд общеизвестна. Тем не менее наш опыт показывает, что по сравнению с традиционными межотраслевыми, отраслевыми и региональными методиками получения искомой оценки предлагаемая методика не вуалирует проблему, скажем так, «недоучета фактора» неопределенности, и содержит логически непротиворечивые способы снижения его уровня и качество принимаемых решений. Модельный эксперимент. Его содержание и результаты в пошаговой развертке представлены ниже. Первый шаг. На рис. 2 приведена графическая информационная модель, демонстрирующая размещение объектов оценки на территории Сибири и Дальнего Востока. Уже первый шаг показывает, что изыскательский цикл с разной степенью глубины к настоящему времени осуществлен и трассы будущих магистралей, изображенные на рис. 2, уже послужили ориентирами для частич- М.В. Пятаев 116 ной реализации крупномасштабных проектов. Видно, что ПМ, ЛКМ и МС представляют собой железнодорожные магистрали, предназначенные для освоения территорий. В совокупности они образуют широтные элементы будущей транспортной решетки - инфраструктуры северо-восточного вектора развития России в XXI в. Стратегический замысел системы очевиден: усилить связность Европейской и Азиатской России как ответ на попытки коллективного Запада расчленить страну и получить право неограниченного доступа к ее природным ресурсам. Территориальная рассредоточенность производительных сил страны затрудняет адекватный ответ на этот вызов. «Железнодорожное» решение, несмотря на высокую затратность, позволяет существенно укрепить целостность страны и получить эмер-джентный макроэффект, связав европейскую часть страны с умеренным климатом и плотно заселенную, но с истощенным потенциалом полезных ископаемых с зауральской частью, слабо заселенной и с преимущественно суровым климатом, но имеющую запасы полезных ископаемых мирового уровня. Реализация данного стратегического замысла в полном объеме и в кратчайшие сроки (по соображениям национальной безопасности) из-за ограниченности инвестиционных ресурсов в каждый конкретный момент времени состояться не может. Необходимо эшелонирование проектов по срокам исполнения, что требует их ранжирования по критерию сравнительной общественной эффективности, понимаемой комплексно, когда требования национальной безопасности в моделях оценки учитываются непосредственно, а не косвенно, как в большинстве известных нам моделей национального уровня. Второй шаг. Заключается в построении некоего аналога детерминистской аналитической иерархии Т. Саати [21, 22], модифицированной с целью учета факторов неопределенности конкурирующих альтернатив в процессе оценки их общественно полезной эффективности. Т. Саати проводит свой анализ и строит дерево критериев в единственном сценарии состояния внешней среды сравниваемых проектов. Следовательно, не учитывается эндогенная неопределенность при квантификации критериев оценки, что и позволяет определить подход автора метода как детерминистский. Модификация описана в работе [17] применительно к проблеме освоения ресурсов арктического шельфа России, а ее развитие (модификации) в настоящей статье иллюстрируется рис. 3, с дальнейшей апробацией в ходе проведения опросов экспертов. Указанный подход синтезирует предлагаемый подход с методами Т. Саати, PATTERN, «затраты - эффективность», что позволяет учесть фактор неопределенности при оценке КИПжд лучше, чем в перечисленных зарубежных методиках, и, как следствие, принимать сложные инвестиционные решения более обоснованно. Структурировав в назывной шкале ДЦ и сценарии-контрасты, экспер-ты1 приступают к их квантификации в шкалах сначала порядковой, затем 1 Для сохранения сравнимости предлагаемого нами подхода с методом аналитической иерархии Т. Саати в статье в качестве ЛПР (как у Т. Саати) выступает зксперт- Модель оценки общественной эффективности 117 количественной. Для этого эксперты упорядочили подцели по невозрастанию значимости для достижения цели верхнего уровня, причем так, что ранжировки подцелей (военно-стратегической, социальной и экономической) зависят от сценария, т.е. эксперты упорядочивали эти подцели три раза (в условиях оптимистического, пессимистического и промежуточного сценариев). Полученные упорядочения были обработаны с помощью компьютерного продукта ASPER на базе алгоритма [24]1. Рис. 3. Дерево целей для оценки проекта с коэффициентами относительной важности (приоритетами) подцелей в трех разных сценариях Полученные числовые значения КОВ для случая трех подцелей генеральной цели проектов в трех сценариях развития внешней среды представлены на рис. 3. На рис. 3 каждая подцель после обработки ответов экспертов получила КОВ в рамках определенного сценария, при этом сумма КОВ в рамках одного сценария равна максимуму, т. е. 1, что отражает степень достижения генеральной цели. Однако «значимость» или «ценность» этого максимума в разных сценариях неодинаковая. В этой связи был проведен второй тур лидер, выявленный нами при групповой экспертизе в работе [23]. Такой прием не меняет логику процедур оценки и способов оценки экспертом-лидером проектных альтернатив с помощью компьютерных продуктов в интерактивном режиме, но упрощает изложение. 1 Подобная процедура экспертного оценивания проектных альтернатив формализованно описана в работе [24], и здесь для упрощения изложения это описание опускается. М.В. Пятаев 118 экспертизы, в котором приняли участие 17 экспертов. Экспертная группа состояла из профессоров и доцентов Сибирского государственного университета путей сообщения, а также представителей компаний, оказывающих транспортные и логистические услуги. Экспертам во втором туре экспертизы предлагалось упорядочить с точки зрения важности композиции «КИПжд+сценарий» по степени их полезности для достижения каждой подцели ДЦ. В нашем случае три проекта и три сценария составляют девять возможных сочетаний пар «стратегия-сценарий», которые необходимо было упорядочить экспертам по степени их полезности для достижения каждой подцели из числа указанных на рис. 31. Результаты представлены в табл. 1. Перечень этих сочетаний пар: 1 - «ПМ + оптимистический сценарий»; 2 - «ПМ + пессимистический сценарий»; 3 - «ПМ + промежуточный сценарий»; 4 - «ЛКМ + оптимистический сценарий»; 5 - «ЛКМ + пессимистический сценарий»; 6 - «ЛКМ + промежуточный сценарий»; 7 - «МС + оптимистический сценарий»; 8 - «МС + пессимистический сценарий»; 9 - «МС + промежуточный сценарий». Таблица 1. Результаты обработки анкет экспертов КОВ (приоритет) по подцелям проекта Композиция «альтернатива + сценарий» военно стратегическая социальная экономическая «ПМ + оптимистический сценарий» 0,26 0,07 0,01 «ПМ + пессимистический сценарий» 0,10 0,07 0,00 «ПМ + промежуточный сценарий» 0,26 0,07 0,00 «ЛКМ + оптимистический сценарий» 0,01 0,05 0,11 «ЛКМ + пессимистический сценарий» 0,01 0,03 0,05 «ЛКМ + промежуточный сценарий» 0,02 0,04 0,11 «МС + оптимистический сценарий» 0,09 0,45 0,31 «МС + пессимистический сценарий» 0,04 0,07 0,10 «МС + промежуточный сценарий» 0,20 0,15 0,31 Сумма 1 1 1 Затем ранжировки от всех экспертов были обработаны (переведены в количественные значения), а полученный вектор оценки нормировался к единице. Результаты заносятся в табл. 2. На следующем этапе матрицу нормированных приоритетов КОВ из табл. 2 умножаем на КОВ подцелей (см. рис. 3), предварительно записав их 1 В общем случае количество оцениваемых проектов, сценариев и композиций может быть разным, но, учитывая сложность КИПжд и ограниченные возможности даже высококвалифицированных экспертов (память, интеллект и личностные качества), по нашему опыту, большим быть не может. Модель оценки общественной эффективности 119 виде матрицы-столбца, таким образом, получим степени достижения генеральной цели, какой бы сценарий ни реализовался. Полученный результат представим в виде оценочной матрицы. Таблица 2. Нормирование КОВ из табл. 1 Нормированные КОВ (приоритет) _по подцелям проекта_ Композиция «альтернатива + сценарий» военностратегиче ская социальная экономическая «ПМ + оптимистический сценарий» 1,00 0,02 0,09 «ПМ + пессимистический сценарий» 0,40 0,01 0,41 «ПМ + промежуточный сценарий» 1,00 0,01 0,27 «ЛКМ + оптимистический сценарий» 0,05 0,36 0,31 «ЛКМ + пессимистический сценарий» 0,02 0,17 0,07 «ЛКМ + промежуточный сценарий» 0,09 0,36 0,17 «МС + оптимистический сценарий» 0,36 1,00 1,00 «МС + пессимистический сценарий» 0,17 0,34 0,12 «МС + промежуточный сценарий» 0,75 1,00 0,40 Таблица 3. Оценочная матрица крупномасштабных железнодорожных проектов КИПжд i Сценарий j оптимистический пессимистический промежуточный ПМ 0,68 0,15 0,35 ЛКМ 0,14 0,12 0,19 МС 0,58 0,27 0,56 Анализ табл. 3 с помощью критериев теории принятия решений в ситуации неопределенности дал результаты, приведенные в табл. 4. Таблица 4. Выбор стратегии по критериям теории принятия решений Критерии КИПжд Вальда Максимакса Севиджа Гурвица1 Байеса2 Лапласа3 ПМ * ЛКМ * МС * * * * Как видим, по правилам теории принятия решений для случая, когда ни объективная, ни субъективная вероятность актуализации сценариев развития экономики России не известны, наиболее предпочтительным по крите- 1 При а = 0,66. 2 При вероятности актуализации оптимистического, пессимистического и наиболее вероятного сценариев 0,2; 0,6; 0,2 соответственно. 3 При равновероятной возможности актуализации оптимистического, пессимистического и наиболее вероятного сценариев. М.В. Пятаев 120 риям (военно-стратегическому, социальному и экономическому) является МС - проект «Материк - Сахалин». Если же вероятности актуализации сценариев могут быть спрогнозированы, то по критерию Байеса наилучшим определяется проект ПМ - Приполярной магистрали. В случае отсутствия достаточных оснований для исчисления вероятности актуализации одного из трех сценариев-контрастов в качестве наиболее предпочтительного по критерию Лапласа рекомендуется ЛКМ - проект Ленско-Камчатской магистрали. Полученные выводы о предпочтительности анализируемых объектов по критерию Лапласа, как показали наши расчеты, устойчивы при любых изменениях а в промежутке [0,1]; при изменении распределения вероятности актуализации сценариев-контрастов в некоторых вариантах изменений проекты ПМ и ЛКМ меняются местами по предпочтительности. Результаты. В ходе исследования была апробирована методика, дополняющая методику PATTERN и метод аналитической иерархии, а именно процедура, предусматривающая учет разной «ценности» достижения генеральной цели проекта в различных сценариях. В ходе апробации данной процедуры и обработки суждений экспертов предпочтительным оказался проект «Материк - Сахалин». Выводы. В России недостаточно внимания уделяется оценке эффективности крупномасштабных проектов в части общественной эффективности. Крупномасштабные железнодорожные проекты, такие как Приполярная магистраль, переход на остров Сахалин и Ленско-Камчатская магистраль, требуют огромных инвестиционных вложений и имеют с точки зрения коммерческой эффективности очень большие сроки окупаемости, что делает подобные проекты мало привлекательными для частных инвесторов. Строительство таких объектов без участия государственных инвестиций не представляется возможным, для принятия решения необходимо использовать методологию несистемного анализа, которая позволяет учитывать военно-стратегические, социальные, экономические и другие критерии при оценке эффективности крупномасштабных железнодорожных проектов.
Новая эра мегапроектов России // Эксперт.га. 20 сентября 2011. URL: https://expert.ru/2011/09/20/novaya-era-megaproektov-rossii/(дата обращения: 11.02.2021).
Бизнес и государство: в чем взаимный интерес? // Все про ИП. URL: https://vseproip.com/biznes-ip/o-biznese-ip/vzaimodejstvie-gosudarstva-i-biznesa.html#i-6 (дата обращения: 11.02.2021).
Flyvbjerg B., Bruzelius N., Rothengatter W. Megaprojects and risk: An anatomy of ambition. Cambridge University Press, 2003. 207 p.
Simon H., Newell A. Heuristic problem solving: the next advance in operations research // Operation Research. 1958. Vol. 6, № 6.
Богачев В.Н. Регион БАМ: Концепция развития на новом этапе. Новосибирск : Изд-во СО РАН, 1996. 160 с.
Ламин А.В. Преемственность замыслов и начинаний хозяйственного освоения Сибири // Сибирь: проекты ХХ века : сб. науч. статей / под ред. Л.М. Горюшкина, В. А. Ламина. Новосибирск, 1996. С. 33-51.
Суслов В.И. Северо-Сибирская история // Эксперт-Сибирь. 2008 (21-27 апреля). № 16 (205). URL: https://expert.ru/siberia/2008/16/zhelezhnye_dorogi/(дата обращения: 26.04.2020).
Кибалов Е.Б., Кин А.А. К вопросу об эффективности железнодорожного проекта «Материк - Сахалин» // Регион: экономика и социология. 2018. № 3. С. 6-20.
Космин В. Магистраль на Камчатку // Гудок. № 54 (242870). 30.03.2009. С. 5.
Кибалов Е.Б. Крупномасштабные железнодорожные проекты: организационные решения как инструмент снижения неопределенности затрат и результатов // Вопросы новой экономики. 2019. № 1 (49). С. 60-66.
Нассим Талеб. Патология нашего времени - потеря контакта с реальностью // Портал РБК. 16.11.2017. URL: https://www.rbc.ru/interview/own_business/16/11/2017/5a0c361d9a7947003e4aff7c (дата обращения: 11.02.2021).
Кибалов Е.Б., Кин А.А. Проблема учета фактора неопределенности при оценке ожидаемой эффективности крупномасштабных инвестиционных проектов // Регион: экономика и социология. 2007. № 3. С. 67-91.
Корнаи Я. Системная парадигма // Вопросы экономики. 2002. № 4. C. 4-22.
Клейнер Г.Б. Новая теория экономических систем и ее приложения // Вестник РАН. 2011. № 11. С. 1-25.
Клейнер Г.Б. Системные сдвиги и опорные точки мирового развития // Глобальный мир: системные сдвиги, вызовы и контуры будущего : XVII Международные Лихачевские научные чтения, 18-20 мая 2017 г. СПб. : СПбГУП, 2017.
Каценелинбойген А.И. Системный анализ и проблема ценностей // Системные исследования : ежегодник. М. : Наука, 1972. С. 46-71.
Кибалов Е.Б., Хуторецкий А.Б. Альтернативы транспортного обеспечения освоения арктического шельфа России // Регион: экономика и социология. 2015. № 1. С. 3-19.
Оценка ожидаемой эффективности крупномасштабных инвестиционных проектов // Системное моделирование и анализ мезо- и микроэкономических объектов / отв. ред. В.В. Кулешов, Н.И. Суслов. Новосибирск, 2014. С. 294-361.
Гельруд Я.Д., Кибалов Е.Б., Пятаев М.В. Компьютерная поддержка процедур оценки воздействия крупномасштабных железнодорожных проектов на показатели общественной эффективности // Вестник Южно-Уральского государственного университета. Серия Экономика и менеджмент. 2020. Т. 14, № 3. С. 48-56.
Быкадоров С.А., Кибалов Е.Б., Нехорошков В.П. К вопросу оценки общественной эффективности крупномасштабных железнодорожных проектов в ситуации неопределенности // Вопросы новой экономики. 2020. № 3-4 (55-56). С. 118-129.
Saaty T.L. The Analytic Hierarchy Process. New York : McGraw-Hill, 1980.
Kearns K.P., Saaty Th.L. Analytical Planning: The Organization of Systems. Oxford : Pergamon Press, 1985. P. 216.
Кибалов Е.Б., Кин А.А., Пятаев М.В. Крупномасштабные железнодорожные проекты на востоке страны: экспертная оценка // Регион: экономика и социология. 2019. № 2 (102). С. 207-223.
Хуторецкий А.Б. Экспертное оценивание объектов по неквантифицируемому критерию с помощью модели Бержа-Брука-Буркова. Новосибирск : ИЭИОПП, 1994. 7 с.