Подход к оценке территориальной дифференциации развития цифровой экономики | Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2020. № 51. DOI: 10.17223/19988605/51/14

Подход к оценке территориальной дифференциации развития цифровой экономики

Предлагаются построенные на основе принципов иерархичности, модульности и сбалансированности модель и методика интегральной оценки уровня цифровизации территорий, разработанные с учетом доступности данных о соответствующих процессах. Выявлена дифференциация уровня цифровизации регионов России, сопоставлены европейская и российская практики. Построены модель определения интегральной меры, которая используется для оценки однотипных объектов по множеству критериев для выявления различий между ними, и оценка уровней цифровизации территорий, сложившихся к настоящему моменту. Полученные данные могут быть использованы для корректировки политики в области цифровой трансформации общественных отношений.

Аpproach to assessing the territorial differentiation of the digital economy development.pdf С целью повышения конкурентоспособности страны, качества жизни, обеспечения экономического роста и национального суверенитета России в 2017 г. утверждена программа «Цифровая экономика Российской Федерации», преобразованная в 2018 г. в национальный проект. Сегодня вопросам развития цифровой экономики уделяется значительное внимание. Во многих работах [1-4] исследуется взаимосвязь между отдельными сферами общественных отношений и тенденциями цифровых трансформаций. Вместе с тем вопросы измерения последних отражены фрагментарно. Так, например, Московской школой управления СКОЛКОВО разработана методология расчета индекса «Цифровая Россия» субъектов Российской Федерации [5]. В качестве параметров формализованы и обоснованы 7 составляющих (нормативное регулирование и административные показатели; кадры и учебные программы; исследовательские компетенции и технологические заделы; информационная инфраструктура; информационная безопасность; экономические показатели; социальный эффект) и их веса, которые позволяют получить значение индекса цифровизации по каждому региону. Несмотря на общую прозрачность указанного подхода, он имеет ряд «узких» мест: чрезмерную опору на экспертные суждения; невозможность адаптации методологии для иных целей и территорий; отсутствие описания применения процедур многомерного статистического анализа. Также следует отметить, что его основу составляет квалиметрическая оценка уровня цифровизации экономики в России, предложенная А.В. Тебекиным, ориентированная, согласно [6], на оценку эффективности реализации Программы «Цифровая экономика Российской Федерации», а не цифровизации как таковой. В работе В.Г. Халина и Г.В. Черновой [7] анализируются некоторые подходы, с помощью которых возможно прямо или косвенно оценить степень цифровизации на международном уровне: индекс сетевой готовности (Networked Readiness Index); глобальный инновационный индекс (Global Innovation Index); индекс цифровизации экономики и общества (Digital Economy and Society Index); индекс международной цифровизации экономики и общества (International Digital Economy and Society Index). Ю.Е. Хохловым и соавт. данный перечень дополняется посредством включения иных методик [8]: индекса развития информационно-коммуникационных технологий (ICT Development Index); индекса цифровой эволюции (Digital Evolution Index); глобального индекса кибербезопасности (Global Cybersecurity Index); глобального индекса коннективности (Global Connectivity Index). Анализ этих подходов приводит к следующему выводу: оценка во многом основывается на экспертных суждениях, что может приводить к манипуляции результатами. ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА 2020 № 51 Управление, вычислительная техника и информатика Предлагаемый подход ориентирован на повышение объективности получаемых результатов посредством определения весовых коэффициентов частных показателей при аддитивной свертке на основе оценки одной из мер вариации [9] в противовес использованию в методиках, применяемых для решения аналогичных задач (например, ICT Development Index, Networked Readiness Index, Digital Economy and Society Index и т.п.), экспертных оценок. Отказ от привлечения экспертов к определению значений весовых коэффициентов также позволяет снизить объем временных, финансовых и организационных ресурсов в рамках процедуры нахождения значения интегрального показателя, структура которого построена с использованием многослойной функциональной сети [10]. 1. Модель и интегральная оценка уровня цифровизации территорий Следует признать, что ни одна из существующих методик оценки уровня цифровизации территорий не может быть признана универсальной, что связано со многими обстоятельствами, в числе которых слабая адаптация тех или иных подходов к существующей системе информационного обеспечения рассматриваемой процедуры, выраженная в неполноте сведений по всем оцениваемым объектам, периодическом пересмотре критериев оценки, отсутствии достоверных исходных данных и т.п. Указанные ограничения оказывают существенное влияние на качество модели, которая может быть положена в основу расчета интегральной меры. В работе для оценки уровня цифровизации субъектов Российской Федерации в контексте его сопоставления с европейским опытом предлагается использовать модель, основывающуюся на пересекающемся наборе исходных показателей, собираемых Росстатом [11] и Евростатом [12] (табл. 1) для характеристики развития информационного общества. Таблица 1 Исходные показатели для определения уровня цифровизации территориальных образований, % Условное обозначение Наименование показателя g1 Удельный вес домашних хозяйств, имеющих персональные компьютеры, в общем числе домашних хозяйств 2 g Удельный вес домашних хозяйств, имеющих доступ к сети Интернет с мобильных устройств (мобильного телефона или смартфона, устройства для чтения электронных книг и др.), в общем числе домашних хозяйств g 3 Удельный вес домашних хозяйств, имеющих широкополосный доступ к сети Интернет, в общем числе домашних хозяйств g 4 Удельный вес населения, когда-либо использовавшего сеть Интернет, в общей численности населения в возрасте 15-74 лет 5 g Удельный вес населения, использующего сеть Интернет практически каждый день, в общей численности населения в возрасте 15-74 лет g 6 Удельный вес населения, использующего мобильные устройства для выхода в сеть Интернет, в общей численности населения в возрасте 15-74 лет 7 g Удельный вес населения, использующего сеть Интернет для заказа товаров, услуг, в общей численности населения в возрасте 15-74 лет g 8 Удельный вес населения, использующего сеть Интернет для получения публичных услуг в электронной форме, в общей численности населения в возрасте 15-72 лет, получающего публичные услуги g 9 Удельный вес организаций, использующих сеть Интернет, в общем числе организаций g10 Удельный вес организаций, имеющих широкополосный доступ к сети Интернет, в общем числе организаций 11 g Удельный вес организаций, имеющих веб-сайт, в общем числе организаций g12 Удельный вес организаций, использующих облачные сервисы, в общем числе организаций g13 Удельный вес организаций, использующих электронный обмен данными между своими и внешними информационными системами по форматам обмена, в общем числе организаций Модель информационного общества, согласно [13], в рамках которого формируются и развиваются процессы цифровизации, представляется совокупностью подсистем, которые на макроуровне могут быть обозначены как «государство», «бизнес» и «население». «Государству» отведены функции интеграции коллективных интересов и создания совместных благоприятных условий для «бизнеса» и «населения». Его деятельность, направленная на повышение собственной эффективности, в том числе во взаимоотношениях с двумя другими элементами модели, находит отражение в функционировании и развитии социума, с одной стороны, и реального сектора экономики - с другой. Данный тезис позволяет исключить прямое рассмотрение государства в модели интегральной оценки уровня цифровизации территорий, трансформировав его роль в формирование потенциала для развития и населения, и бизнеса через создание (поддержание, содействие в реализации) необходимой инфраструктуры. Таким образом, в структуре интегрального показателя выделяется не три направления, соответствующих количеству подсистем рассматриваемой модели, а два (рис. 1), из которых формируется обобщенная мера: уровни цифровизации, отражающие соответствующие процессы в секторе населения и / или домашних хозяйств (bJ[) и бизнеса / хозяйствующих субъектов (b2k). Каждый из них, в свою очередь, формируется за счет инфраструктурного потенциала (с11 - для населения, с2 -для бизнеса) и сложившегося к моменту проведения оценки уровня вовлеченности в характерные для информационного общества взаимодействия и трансформации (с- для населения, cf - для бизнеса). Каждый из субинтегральных компонентов оценки, представленных на третьем и четвертом уровнях / слоях сети, а также интегральный показатель (см. рис. 1) рассчитываются посредством аддитивной свертки (v = 2 J= ЛJwJ , где ЛJ - весовой коэффициент нормированного значения исходного или субинтегрального показателя; wJ - значение показателя) соответственно из нормированных значений исходных показателей (слой 2 на рис. 1) или субинтегральных величин нижестоящего иерархического уровня функциональной сети. Отображение для каждого k-го объекта из gk в e3k (см. рис. 1) в рамках приведения в сопоставимый вид всех показателей осуществляется на основе линейного масштабирования, подробно рассмотренного в [10]. Модель интегрального показателя, сопряженная с содержательным обоснованием структуры, представляется впервые. Рис. 1. Структура интегрального показателя уровня развития информационного общества: авторская модель Fig. 1. The structure of the integral indicator of the level of development of the information society: author's model В [14] представлен подробный обзор методов, используемых для расчета весовых коэффициентов: 1) методы, основанные на парном сравнении; 2) методы, использующие аналитические зависимости показателей важности; 3) формальные методы. При этом доказано и сделаны выводы, что при строгом ранжировании использование методов парного сравнения или методов, основанных на аналитической взаимосвязи весовых коэффициентов, приводит к тому, что весовые коэффициенты наиболее важного и наименее важного показателя отличаются друг от друга в строго фиксированное количество раз, которое, в свою очередь, не учитывает суть оцениваемой категории и зависит исключительно от используемой вычислительной процедуры и числа рассматриваемых критериев. Формальные методы также не свободны от недостатков: они предусматривают задавание в качестве исходных данных численного значения коэффициента превосходства, являющегося также субъективной величиной, и на практике это может привести к «намеренным» искажениям обобщенной меры. Кроме того, установление значений весовых коэффициентов может быть поручено экспертам, каждый из которых вкладывает в понятие собственный смысл, что подразумевает замену строгих обоснований «разумными соображениями». Недостатки такого подхода очевидны: чрезмерный субъективизм, сложность организации экспертного опроса, трудность в подборе экспертов, затраты ресурсов и т.п. В связи с изложенным более уместным способом нахождения значений весовых коэффициентов представляется подход, предложенный в [9], применение которого возможно без модификаций. Для определения искомого значения первоначально необходимо рассчитать оценку среднекватрати-ческого отклонения (аJ) по каждому нормированному частному критерию: аJ = ^(£(е/ -eJ)2) / (n -1), где е/ - нормированное значение j-го показателя для i-го объекта; е3 - среднее арифметическое значение j-го показателя по совокупности всех i-х объектов. В связи с тем, что значения первичных показателей нормированы в интервале [0; 1], значение а3 будет находиться в пределах 0 < аJ < 0,5 . Для объяснения смыслового содержания этих значений целесообразно рассмотреть граничные величины. Равенство аJ = 0 означает, что все значения j-го показателя равны между собой. Получается, что если значение какого-либо частного показателя для всех объектов одинаково, то в рамках сравнения им можно пренебречь. При аJ = 0,5 получается, что разброс значений ej по j-му показателю максимален. В связи с этим на него следует обратить особое внимание в случае сравнения однотипных объектов, что обусловлено следующим: необходимо добиваться от «худших» объектов достижения уровня передовых по данному показателю, а соответственно, его вес при расчете интегрального показателя должен быть максимальным. Получается, что чем больше значение аJ, тем больше и значение лJ . Для выполнения требования XJ=1 ЛJ = 1 необходимо произвести масштабирование: лJ =а3 /X J=1 а3 . Представленная на рис. 1 новая модель не только построена с учетом доступности данных о процессах цифровизации, но и учитывает ряд важнейших принципов проведения оценки: 1) системности, предполагающей рассмотрение цифровизации на основе целостного понимания данной категории за счет полного перебора образующих элементов (табл. 2); Таблица 2 Множество «элементов-состояний» информационного общества " ----Параметр Субъект " " ---- Потенциал / исходный уровень Вовлеченность / активность Население с12 ck Бизнес с21 ck Универсальный характер модели, опирающейся на сформулированные принципы, позволяет осуществить оценку уровня развития цифровизации государства как в целом через сопоставление с иными подобными объектами (другими странами), так и в контексте составных частей (территорий). 2. Оценка уровня цифровизации: регионы России и страны Европы На основе данных, содержащихся в [11] и уже представленных относительными величинами, а также предложенной структуры интегральной оценки уровня цифровизации, были найдены нормированные значения (интервал от 0 до 1) исходных показателей по 85 регионам за 2017 г., которые позволили рассчитать весовые коэффициенты для определения значений субинтегральных показателей третьего слоя модели (см. рис. 1). Данные по весовым коэффициентам, используемым для получения значений субинтегральных оценок каждого k-го объекта, представлены в табл. 3. Таблица 3 Весовые коэффициенты для расчета субинтегральных показателей 3-го слоя Обозначение показателя Оценка среднеквадрати-ческого отклонения (ст1) Весовой коэффициент (q1) Обозначение показателя Оценка среднеквадрати-ческого отклонения ( ст 1 ) Весовой коэффициент ( • 1 ) e111 0,140 0,273 e125 0,190 0,209 e112 0,222 0,433 e211 0,211 0,485 e113 0,151 0,294 212 Kk 0,224 0,515 e121 0,185 0,203 221 ek 0,188 0,355 ern 0,186 0,204 222 Kk 0,157 0,296 e123 0,182 0,200 223 ek 0,185 0,349 e124 0,168 0,184 Аналогичным образом определяются весовые коэффициенты субинтегральных показателей 4-го слоя (табл. 4) и интегрального показателя (табл. 5). Таблица 4 Весовые коэффициенты для расчета субинтегральных показателей 4 слоя Обозначение показателя Оценка среднеквадрати-ческого отклонения (ст1) Весовой коэффициент ( • 1 ) Обозначение показателя Оценка среднеквадрати-ческого отклонения ( ст 1 ) Весовой коэффициент ( • 1 ) 41 0,146 0,527 с21 ck 0,212 0,599 46 0,131 0,473 C 22 k 0,142 0,401 Весовые коэффициенты для расчета интегральной оценки Таблица 5 Обозначение показателя Оценка среднеквадрати-ческого отклонения (ст1) Весовой коэффициент ( • 1 ) Обозначение показателя Оценка среднеквадрати-ческого отклонения ( ст 1 ) Весовой коэффициент ( • 1 ) Ь1 0,131 0,430 bl 0,174 0,570 Итоги расчета интегральной оценки уровня цифровизации представлены в табл. 6. Кроме значения собственно интегральной оценки может быть определена группа, к которой относится та или иная территория (на основе равномерного разбиения размаха интегральной оценки на равные промежутки: менее 0,34 - «низкий» уровень; 0,35-0,48 - уровень «ниже среднего»; 0,49-0,60 - «средний» уровень; 0,61-0,73 - уровень «выше среднего»; более 0,74 - «высокий» уровень). Как видно, самыми малочисленными оказались пограничные зоны: группы «лидеров» и «аутсайдеров» включают всего по три региона. Попадание Москвы и Санкт-Петербурга в авангард наиболее цифровизированных территорий очевидно и связано как с центральным социо-экономико-политическим положением в общероссийском пространстве, так и с сугубо физико-географическими особенностями (компактные территории с высокой степенью концентрации населения, не требующие формирования протяженной инфраструктуры). Таблица 6 Результаты определения уровня цифровизации субъектов Российской Федерации в 2017 году Субъект Российской Федерации Интегральная оценка Место Субъект Российской Федерации Интегральная оценка Место г. Москва 0,86 1 Вологодская область 0,56 42-45 г. Санкт-Петербург 0,83 2 Калужская область 0,56 Республика Татарстан 0,77 3 Пермский край 0,54 46-48 Республика Ингушетия 0,73 4 Кабардино-Балкарская Республика 0,54 Ямало-Ненецкий автономный округ 0,70 5-6 Брянская область 0,54 Московская область 0,70 Рязанская область 0,53 49 Ханты-Мансийский автономный округ 0,69 7 Ростовская область 0,52 50 Ставропольский край 0,68 8-9 Республика Саха (Якутия) 0,51 51 54 Республика Крым 0,68 Республика Северная Осетия - Алания 0,51 Оренбургская область 0,67 10-12 Псковская область 0,51 Ленинградская область 0,67 Архангельская область 0,51 Тамбовская область 0,67 Красноярский край 0,50 55 56 Мурманская область 0,66 14-17 Курская область 0,50 Нижегородская область 0,64 Амурская область 0,49 57-59 Республика Башкортостан 0,64 Республика Тыва 0,49 Астраханская область 0,64 Удмуртская Республика 0,49 Белгородская область 0,64 Республика Марий Эл 0,48 60 Сахалинская область 0,63 18-26 Иркутская область 0,47 61-64 Хабаровский край 0,63 Забайкальский край 0,47 Камчатский край 0,63 Кировская область 0,47 Республика Алтай 0,63 Орловская область 0,47 Тюменская область 0,63 Омская область 0,45 65-67 Карачаево-Черкесская Республика 0,63 Кемеровская область 0,45 Калининградская область 0,63 Алтайский край 0,45 Липецкая область 0,63 Чукотский автономный округ 0,44 68-70 Воронежская область 0,63 Чеченская Республика 0,44 Республика Адыгея 0,62 27 Республика Калмыкия 0,44 Свердловская область 0,61 28-29 Республика Хакасия 0,43 71-72 Республика Карелия 0,61 Тверская область 0,43 Тульская область 0,60 30 Еврейская автономная область 0,42 73-75 Смоленская область 0,59 31 Волгоградская область 0,42 Челябинская область 0,58 32-36 Костромская область 0,42 Чувашская Республика 0,58 Новосибирская область 0,38 76-77 Краснодарский край 0,58 Ульяновская область 0,38 Ненецкий автономный округ 0,58 Томская область 0,37 78-79 Владимирская область 0,58 Саратовская область 0,37 Магаданская область 0,57 40-41 Самарская область 0,35 80-82 Приморский край 0,57 Республика Мордовия 0,35 Республика Коми 0,57 г. Севастополь 0,35 Ярославская область 0,57 Республика Бурятия 0,31 83 Ивановская область 0,57 Курганская область 0,30 84 Пензенская область 0,56 42-45 Республика Дагестан 0,22 85 Новгородская область 0,56 Заслуживают внимания управленческие и технологические практики Татарстана, который также входит в лидирующую группу. Можно было бы предположить, что существенное влияние на достигнутый уровень цифровизации оказывают природные факторы (площадь территории, климатический пояс и т.п.), но среди пространств, близких к передовым, оказались Ямало-Ненецкий и Ханты-Мансийский автономные округа (5-6 и 7 места соответственно). Их никак нельзя отнести к «малогабаритным» и привлекательным с климатической точки зрения. В связи с этим причины того или иного положения в рейтинге, скорее всего, объясняются политикой в области информатизации (объемами финансирования) того или иного региона. Очевидно, что Российская Федерация не может рассматриваться вне глобальных трендов. В этой связи были рассчитаны интегральные оценки для некоторых стран Европы (табл. 7). Весовые коэффициенты в формулах свертки брались из модели, применяемой для оценки территориальной дифференциации регионов России (см. табл. 3-5), а не определялись для рассматриваемой совокупности объектов. Данное допущение принимается на основе целей проведения оценки: определение места России в глобальных процессах цифровизации с позиции внутренней национальной приоритетиза-ции. При отсутствии исходных данных за 2017 г. брались значения показателей по наиболее близким периодам (2016 или 2018 г.). Т а б л и ц а 7 Результаты определения уровня цифровизации стран Европы в 2017 году Страна Интегральная оценка Место Страна Интегральная оценка Место Страна Интегральная оценка Место Финляндия 0,96 1 Великобритания 0,66 12-14 Кипр 0,50 23 Дания 0,89 2 Франция 0,66 Венгрия 0,49 24-25 Нидерланды 0,86 3 Испания 0,66 Хорватия 0,49 Швеция 0,85 4 Ирландия 0,63 15 Польша 0,48 26 Норвегия 0,81 5 Литва 0,63 16 Черногория 0,47 27 Австрия 0,74 6-7 Мальта 0,62 17 Россия 0,35 28-29 Люксембург 0,74 Латвия 0,60 18-19 Болгария 0,35 Словения 0,72 8 Чехия 0,60 Греция 0,22 30 Бельгия 0,71 9 Словакия 0,59 20 Румыния 0,12 31 Германия 0,68 10 Португалия 0,58 21 Эстония 0,67 11 Италия 0,53 22 Территориальная дифференциация уровня цифровизации среди стран Европы еще более разительна, нежели внутри России. В связи с этим были скорректированы границы групп качественной оценки (менее 0,29 - «низкий» уровень; 0,30-0,46 - уровень «ниже среднего»; 0,47-0,62 - «средний» уровень; 0,63-0,79 - уровень «выше среднего»; более 0,80 - «высокий» уровень). Согласно полученным данным лидерами европейского рейтинга являются Финляндия, Дания, Нидерланды, Швеция, Норвегия. Россия совместно с Болгарией входят в группу с уровнем «ниже среднего», существенно отставая от «середняков» рейтинга и оставляя на значительном расстоянии от себя аутсайдеров - группу с «низким» уровнем (Греция и Румыния). Заключение 1. Предложена модель интегральной оценки уровня цифровизации территориальных образований, использующая экспертное мнение только на этапе построения структуры обобщенной меры. Отмечаются ее простота и прозрачность, ориентированные на облегчение процедур сбора и обработки данных, а также уменьшение возможностей манипулирования результатами. 2. Модель основывается на построении структурированной по слоям функциональной сети как разновидности ориентированного графа. Каждая составная часть сводного индекса (субинтегральный показатель) может рассматриваться как самостоятельная обобщенная мера, характеризующая отдельный аспект цифровизации. Основанием для определения весовых коэффициентов при аддитивной свертке частных критериев выступает значение среднего квадратического отклонения по совокупности оцениваемых объектов, что отличает предложенный подход от аналогичных, где, как правило, для этих целей используются экспертные опросы. 3. Проведены апробация предложенной модели для выявления внутрирегиональной дифференциации уровня цифровизации регионов России и также сопоставление европейской и российской практик.

Ключевые слова

интегральная оценка, цифровизация, весовые коэффициенты, the integral assessment, digitalization, weighting coefficients

Авторы

ФИООрганизацияДополнительноE-mail
Сидоров Анатолий АнатольевичТомский государственный университет систем управления и радиоэлектроникидоцент, кандидат экономических наук, заведующий кафедрой автоматизации обработки информацииastroasregion@gmail.com
Сенченко Павел ВасильевичТомский государственный университет систем управления и радиоэлектроникидоцент, кандидат технических наук, проректор по учебной работеpvs@tusur.ru
Тарасенко Владимир ФеликсовичНациональный исследовательский Томский государственный университетдоктор технических наук, профессор кафедры системного анализа и математического моделированияvtara54@mail.ru
Всего: 3

Ссылки

Rozite K., Balina S., Freimane R. Digital competence rating and economic development in the EU // 11th International Scientific Conference on New Challenges of Economic and Business Development - Incentives for Sustainable Economic Growth, may 16-18, 2019, Univ Latvia, Riga, Latvia, 2019. P. 701-708.
Gerpott T.J., Ahmadi N. Composite indices for the evaluation of a country's information technology development level: Exten sions of the IDI of the ITU // Technological forecasting and social change. 2015. V. 98. P. 174-185.
Архипова М.Ю., Сиротин В.П. Региональные аспекты развития информационно-коммуникационных и цифровых техно логий в России // Экономика региона. 2019. Т. 15, вып. 3. С. 670-683.
Sachs J.D. Some Brief Reflections on Digital Technologies and EconomicDevelopment // Ethics & International Affairs. 2019. Book 33, v. 2. P. 159-167.
Методология расчета индекса «Цифровая Россия» субъектов Российской Федерации // Московская школа управления СКОЛКОВО; Центр Финансовых инноваций и безналичной экономики. 2018. URL: https://finance.skolkovo.ru/downloads/ documents/F inChair/Research_Reports/SKOLKOVO_Digital_Russia_Methodology_2019-04_ru.pdf (дата обращения: 10.05.2019).
Тебекин А.В. Квалиметрическая оценка уровня цифровизации экономики в Российской Федерации // Журнал техниче ских исследований. 2018. Т. 4, № 3. С. 1-13.
Халин В.Г., Чернова Г.В. Цифровизация и ее влияние на российскую экономику и общество: преимущества, вызовы, угрозы и риски // Управленческое консультирование. 2018. № 10. С. 46-63.
Хохлов Ю.Е. Оценка уровня развития цифровой экономики в России // Институт развития информационного общества, М., 2018. URL: https://www.econ.msu.ru/sys/raw.php?o=46780&p=attachment (дата обращения: 10.05.2019).
Раев А.Г. Об одном способе определения весовых коэффициентов частных критериев при построении аддитивного инте грального критерия // Автоматика и телемеханика. 1984. № 5. С. 162-165.
Сидоров А.А. Методологический подход к интегральной оценке состояния и динамики многомерных объектов социально-экономической природы // Проблемы управления. 2016. № 3. С. 32-40.
Информационное общество: основные характеристики субъектов Российской Федерации : стат. сб. / сост. М.А. Сабель-никова и др. М. : Росстат; Нац. исслед. ун-т «Высшая школа экономики», 2018.
Eurostat metadata // Eurostat, EU. URL: https://ec.europa.eu/eurostat/data/database (accessed: 05.05.2019).
Chaffey D. E-Business and E-Commerce Management: Strategy, Implementation and Practice. 4th ed. Upper Saddle River, NJ : Prentice Hall Press, 2009.
Постников В.М., Спиридонов С.Б. Методы выбора весовых коэффициентов локальных критериев // Наука и Образование. МГТУ им. Н.Э. Баумана : электрон. журнал. 2015. № 6. С. 267-287. URL: http://engineering-science.ru/doc/ 780334.html (дата обращения: 10.05.2019).
 Подход к оценке территориальной дифференциации развития цифровой экономики | Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2020. № 51. DOI: 10.17223/19988605/51/14

Подход к оценке территориальной дифференциации развития цифровой экономики | Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2020. № 51. DOI: 10.17223/19988605/51/14