Comparative analysis of scientometrics indicators of journals Math-Net.ru and elibrary.ru.pdf Сегодня научный уровень журнала, подтвержденный высоким значением некоторого «импакт-фактора», признанного государственными органами управления наукой как показатель результативности научной деятельности, прямо или косвенно определяет зарплаты, стимулирующие надбавки, карьерный рост и возможность получения грантов для большинства ученых. Как правило, в России и других странах используется «...семейство “импакт-факторов” (двухлетний и пятилетний импакт-фактор, различные их модификации), индекс Херфиндаля, а также многочисленные комбинации этих индикаторов, включая композитный Science Index» [1]. Вопрос о том, кому нужны институализированные методы формальной оценки результатов научной деятельности, рассмотрен в работе [2], где указаны четыре заинтересованных субъекта: государство в лице чиновников от науки, руководители научных организаций, организации и исследователи, специализирующиеся в области наукометрии, систематизации и распространения научной информации, и сами ученые. Причины заинтересованности у этих субъектов различные. Руководителям приходится заниматься оценкой индивидуальных и коллективных результатов подчиненных. Ученым «.например, вникая в новую для себя предметную область, полезно иметь в качестве ориентиров “объективные” характеристики приоритетов и трендов в этой области» [2]. Отмечается, что использование механизмов формальной оценки научной деятельности необходимо «.в сочетании с экспертизой в каком-то варианте» [2]. Об этом же говорится и в работе [3]: «.сопоставление научных журналов, основанное на наукометрических показателях, должно обязательно подтверждаться экспертной оценкой». В работе [4], посвященной системе Web of Science, указывается на «.необходимость привлечения экспертных групп в целях обеспечения полноты оценки научной деятельности». В статье [5] вопрос об экспертных оценках ставится еще более жестко: «.я вообще не уверен, что существующее интуитивное знание, формирующее мнение экспертного сообщества о российских экономических журналах, нужно замещать какими-то формальными рейтингами». Следует учитывать, что сама процедура коллективной экспертной оценки (чего бы то ни было) является очень непростой, зачастую трудоемкой и затратной. Например, тот или иной принцип подбора экспертов или алгоритм определения результирующих экспертных оценок зачастую вызывают не меньшие дискуссии (в любой области человеческой деятельности), чем импакт-факторы, используемые «государством в лице чиновников от науки». Примером такой работы (и дискуссий) является экспертная оценка качества российских научных журналов с целью выделения лучших журналов в РИНЦ и размещения их в базе данных Russian Science Citation Index (RSCI) на платформе Web of Science [6]. 112 Сравнительный анализ наукометрических показателей журналов Math-Net.ru и eLibrary.ru В данной работе мы поставим вопрос несколько иначе. В качестве основы для экспертной оценки официальных показателей предлагается использовать уже имеющиеся интернет-площадки, неформально и добровольно объединяющие ученых в некоторой области знаний и обладающие достаточно большим объемом информации о публикациях и цитированиях по данной теме. Если у нас есть официальные показатели результативности научной деятельности и некая интернет-площадка, то основной вопрос заключается в том, может ли она служить средством для верификации показателей, признанных органами управления наукой? Для математических наук в России в качестве такой интернет-площадки был взят Общероссийский математический портал Math-Net.ru (http://www.mathnet.ru), который начинался в 2006 г. как инновационный проект Математического института им. В.А. Стеклова РАН. В настоящее время он является известным веб-ресурсом, предоставляющим российским и зарубежным математикам большие возможности в поиске информации о математической жизни в России. Портал Math-Net.ru был выбран как объект исследования нескольким причинам. Первая из них заключается в том, что в Math-Net.ru каждому автору статьи присваивается уникальный идентификатор базы данных [7], что позволяет находить список его публикаций по коду, а не поиском по фамилии, как в некоторых других библиографических ресурсах. Это обеспечивает высокую достоверность построенных моделей. Вторая причина заключается в том, что журналы Math-Net.ru составляют большую (и наиболее значимую) часть журналов по математике, имеющих ненулевой рейтинг Science Index Научной электронной библиотеки eLibrary.ru. Кроме этого, в работе мы показываем с использованием индекса Херфиндаля, что журналы Math-Net.ru обладают двумя очень важными, на наш взгляд, свойствами, характеризующими высокую репутацию данного ресурса: отсутствие монополизации статей и ссылок. Индекс Херфиндаля (HHI), точнее, индекс Херфиндаля-Хиршмана [8], используемый, например, при корректировке Science Index в eLibrary.ru [9], является экономическим показателем оценки степени монополизации отрасли. В eLibrary.ru этот показатель служит для оценки распределения ссылок на статьи из данного журнала, опубликованные в других журналах. Мы будем рассматривать его в несколько ином качестве для определения степени концентрации распределения статей и ссылок между журналами. Используем определение индекса HHI применительно к концентрации распределения публикаций между странами [10]. Пусть n - общее количество стран, а S1, S2, ..., Sn - отношение количества публикаций страны i (i е 1 ... n) к общему количеству публикаций. Тогда HHI = Si2 + S22 + ... + Sn2. (1) Значение HHI выше 0,25 указывает на высокую концентрацию, между 0,15 и 0,25 - на умеренную, ниже 0,15 - просто на концентрацию, а ниже 0,1 - уже на высокую конкуренцию [11]. В экономике результат расчета индекса HHI часто дополняется коэффициентом концентрации конкуренции CR. Пусть Di - доля продаж i-го продавца в объеме реализации рынка. Упорядочим фирмы по убыванию объема продаж и зафиксируем первые k из них (как правило, этот показатель рассчитывается для трех-четырех крупнейших продавцов). Тогда CRk = Di + D2 + ... + Dk. (2) Далее с использованием HHI и CRk определяется несколько типов рынка. Часто используется случай k = 3 [12]: 1) высококонцентрированный: 0,7 < CR3 < 1 и 0,2 < HHI < 1; 2) умеренно концентрированный: 0,45 < CR3 < 0,7 и 0,1 < HHI < 0,2; 3) низкоконцентрированный: CR3 < 0,45 и HHI < 0,1. Далее с использованиеиндекса HHI и коэффициента CR показано отсутствие монополизации статей и ссылок в Math-Net.ru. Был построен граф цитирования журналов для Math-Net.ru, позволяющий вычислить такие формальные характеристики вершин графа, как PageRank и собственный вектор центральности, и принять их в качестве показателей значимости журналов. Для eLibrary.ru с помощью предоставлен-113 А.А. Печников ных ресурсом возможностей получены такие показатели этих же журналов, как ScienceIndex и средняя оценка по результатам общественной экспертизы. Для тех и других показателей выполнен анализ корреляционных связей, показывающий сильную положительную статистическую взаимосвязь для ряда из них, что позволяет сделать вывод о возможности использования данных Math-Net.Ru для верификации некоторых показателей eLibrary.ru в области математики. 1. Данные Math-Net.Ru Информационная система Math-Net.ru индексирует списки литературы и хранит их в базе данных в структурированном виде [7]. Списки литературы всех публикаций объединены в одну таблицу базы данных Microsoft SQL, в которой в отдельных колонках хранятся данные об авторе, названии, годе, томе, страницах цитируемой публикации. Каждой индивидуальной ссылке соответствует одна запись в таблице. Такой подход, в частности, позволяет с помощью запроса сформировать требуемую нам базу данных цитирования журналов с записями вида: . Данные о статьях, в свою очередь, имеют поля, позволяющие точно идентифицировать список авторов, название, год, страницы и т.д. База на дату исследования содержит более 264 тысяч записей, в которых цитирующие статьи датируются с 1936 по 2019, а цитируемые - с 1866 по 2019 гг. Около 90 тысяч записей относятся к случаям «журнального самоцитирования», когда в статье, опубликованной в некотором журнале, цитируется статья, ранее опубликованная в этом же журнале. В [13] утверждается, что самоцитирование журналов требует исключения из индексов цитирования. Мы считаем, что самоцитирование журналов, как и самоцитирование авторов, является особой формой публикационной научной коммуникации и требует внимательного изучения, но это выходит за рамки данной работы. Здесь мы ограничились изучением случая без самоцитирования. Таким образом, в выборке из базы цитирования были оставлены только записи, содержащие статьи, которые цитируют и / или которые цитируются в статьях других журналов, входящих в Math-Net.ru. Выборка содержит 114 678 статей, опубликованных в 180 журналах. Общее количество сделанных между ними ссылок превышает 173 тысячи. При этом 106 журналов имеют как входящие, так и исходящие ссылки, 7 журналов не имеют исходящих ссылок, а 67 - входящих. Из 180 рассматриваемых журналов, проиндексированных в Math-Net.ru, по классификации eLibrary.ru более 85% относится к тематике «математика», а остальные к тематикам «информатика», «кибернетика» и «автоматика и вычислительная техника». Ряд журналов относится сразу к нескольким из этих тематик. Из 86 журналов, имевших в 2018 г. ненулевой показатель Science Index в eLibrary.ru, 59 входят в Math-Net.ru. В первую десятку с наибольшим Science Index по тематике «математика» входят 9 журналов Math-Net.ru, а в первые 50 журналов входят 46 из них. В табл. 1 приводится выборка из общего списка для первой восьмерки и двух последних журналов. Здесь представлены показатели количества статей, количества цитирований, сделанных на другие журналы, и количество цитирований данного журнала; журналы упорядочены по убыванию количества статей. Далее проводим вычисления по формуле (1), полагая для журналов Math-Net.ru в качестве Si количество статей в i-м журнале, n = 1 ... 180, и получаем HHI = 0,030, что не только является признаком отсутствия концентрации, но и указывает на высокую конкуренцию. Для вычислений по формуле (2) считаем, что Di - это доля статей i-го журнала в общем количестве статей в Math-Net.ru. Три крупнейших по публикациям журнала («Математические заметки», «Теоретическая и математическая физика» и «Доклады Академии наук») дают в сумме 19 948 статей, откуда CR3 = 0,174. Это позволяет сделать вывод о низкой концентрации публикаций в Math-Net.ru. 114 Сравнительный анализ наукометрических показателей журналов Math-Net.ru и eLibrary.ru Таблица 1 Показатели количества статей и цитируемости для некоторых журналов Math-Net.Ru n Название журнала Количество статей (Si) Количество цитирований других журналов Количество цитирований журнала 1 Математические заметки 7 033 11 198 11 814 2 Теоретическая и математическая физика 6 495 7 506 3 823 3 Журнал вычислительной математики и математической физики 6 418 7 134 6 775 4 Успехи математических наук 5 795 20 875 15 260 5 Математический сборник 5 678 14 406 17 329 6 Письма в Журнал экспериментальной и теоретической физики 4 036 1 966 1 617 7 Известия высших учебных заведений. Математика 4 023 5 485 5 391 8 Известия Российской академии наук. Серия математическая 3 551 11 423 10 196 179 Theory of Stochastic Processes 99 1 197 180 Вестник российских университетов. Математика 16 2 48 С использованием формул (1), (2) был исследован вопрос о концентрации ссылок. Пусть в формуле (1) Si - количество ссылок, сделанных на статьи, опубликованные в i-м журнале. Получаем CR3 = 0,294, а HHI = 0,0514. Если же принять Si как количество ссылок, сделанных со статей, опубликованных в i-м журнале, то получаем CR3 = 0,268, а HHI = 0,041. Концентрации ссылок не наблюдается ни в том ни в другом случае, скорее, если ориентироваться только на HHI, можно даже говорить об определенной конкуренции журналов (хотя содержательная трактовка конкуренции в этом случае затруднительна). Таким образом, множество журналов Math-Net.ru, занимающих в eLibrary.ru самые высокие позиции в своей области, не является монополизированным ни по количеству статей, ни по количеству взаимных ссылок между журналами. 2. Граф цитирования журналов Math-Net.ru и его характеристики Естественным способом моделирования связей между журналами является его представление в виде ориентированного графа, в котором журналы соответствуют вершинам, а отношения цитирования - дугам [14]. Обозначим граф цитирования журналов Math-Net.ru как GjM, E, W), где M - множество вершин, соответствующих журналам, E - множество (направленных) дуг, связывающих пары вершин (i, j) £ М, если существует хотя бы одна ссылка со статьи из журнала i на статью в журнале j, W- множество весов дуг. Вес дуги (i, j) £ Мравен количеству ссылок, сделанных статьями из журнала i на статьи журнала j. Соответствующие выборки из базы данных цитирования позволяют: 1) сформировать множество M и связанный с ним массив журналов, цитируемых и / или цитирующих журналы из Math-Net.ru (без учета самоцитирования), содержащий идентификаторы и названия 180 журналов, |М| = 180; 2) построить множество Е, содержащее 4 751 дугу; 3) построить множество W, в котором наименьший вес дуги равен 1, а наибольший - 4 114. Связность графа Gcj очевидна по построению. Максимальная компонента сильной связности одержит 106 вершин. Остальные 74 вершины являются висячими, т.е. содержат только входящие или только исходящие дуги, причем 7 из них не имеют входящих дуг, а 67 - исходящих. Отсутствие исходящих дуг в графе во всех случаях имеет содержательное объяснение и не всегда касается только реального отсутствия ссылок с этих журналов на другие журналы Math-Net.ru. 115 А.А. Печников В ряде случаев журналы не зарегистрированы на портале, и поэтому ссылки с них не проиндексированы в системе. Есть случаи, связанные с техническими проблемами, когда пристатейные списки невозможно обработать автоматически, как в случае «Докладов Академии наук». Есть и содержательные объяснения: например, журнал «Успехи химии», зарегистрированный на портале, имеет более 500 входящих ссылок и ни одной исходящей. Можно предположить, что работы «на стыке» математики и химии чаще публикуются в математических журналах, чем в специализированном журнале по химии, с чем и связан такой дисбаланс. Исключим из рассмотрения висячие вершины и построим граф GqSCC, равный максимальной компоненте сильной связности графа Gcj. Он содержит 106 вершин и 3 956 дуг, веса которых находятся в интервале от 1 до 3 538. Диаметр графа равен 4, средняя длина пути 1,702. Плотность графа (по дугам, без учета их весов) равна 0,355. Распределение степеней вершин ближе к линейному, чем к степенному [15]. Если рассматривать взвешенные степени вершин с учетом веса дуг, то в результате аппроксимации получаем степенное распределение с показателем, равным 1,53. Все эти характеристики отличают GcfCC от известных моделей случайных графов, например от модели Барабаши-Альберт [16], основанной на принципе предпочтительного присоединения, когда с новой вершины ссылки преимущественно делаются на вершины, уже имеющие много ссылок. Поэтому принцип предпочтительного присоединения в качестве объяснения появления ссылок не может рассматриваться в данном случае. Этот результат косвенно подтверждает отсутствие в Math-Net.ru эффекта монополизации ссылок, показанного ранее. Значимость вершин для ориентированного графа можно определить различными способами, и каждый из них требует содержательной интерпретации. Оценка PageRank (PR) дает возможность сравнить относительную «важность» вершин графа по аналогии с важностью веб-страниц [17]. Содержательная интерпретация значимости вершин по PR в графе GqSCC может быть следующей: если представить себе некоего «ученого-серфера», бесконечное число раз перемещающегося от одного журнала к другому по пристатейным ссылкам, то с наибольшей вероятностью он будет попадать на журнал с наибольшим значением PR. Например, вероятность попадания «серфера» на «Математический сборник» в 75 раз больше, чем на журнал с наименьшим PR в нашем графе. Т аблица 2 Значения PR и EC для некоторых журналов Math-Net.ru, входящих в GgsCC Название журнала PR EC Математические заметки 0,979 0,072 Теоретическая и математическая физика 0,874 0,025 Журнал вычислительной математики и математической физики 0,973 0,035 Успехи математических наук 1,000 0,106 Математический сборник 0,994 0,107 Письма в Журнал экспериментальной и теоретической физики 0,554 0,018 Известия высших учебных заведений. Математика 0,959 0,029 Известия Российской академии наук. Серия математическая 0,973 0,075 Вестник российских университетов. Математика 0,018 0,001 Theory of Stochastic Processes 0,013 0,001 Значимость вершин может быть определена и как степень их влиятельности с использованием собственного вектора центральности - Eigenvector Centrality (EC) [18]. Высокая степень влиятельности вершины в графе GqSCC означает, что журнал связан со многими журналами, также имеющими высокие степени влиятельности. В табл. 2 приведены значения PR и EC для журналов из табл. 1. 3. Показатели журналов в eLibrary.ru Научная электронная библиотека eLibrary.ru представляет собой гигантское хранилище электронной информации о 12 миллионах публикаций российских авторов, а также о цитировании этих публикаций для более чем 6 000 российских журналов. 116 Сравнительный анализ наукометрических показателей журналов Math-Net.ru и eLibrary.ru Как уже было сказано, несмотря на кажущуюся малочисленность, рассматриваемые в статье журналы Math-Net.ru по математике занимают здесь существенное место. Значительно меньшее представительство журналов Math-Net.ru - всего 17 из 180 - наблюдается по тематикам «автоматика и вычислительная техника», «информатика» и «кибернетика»: от 12 до 15% с низким представительством в первой десятке (от 1 до 3 журналов). При этом 9 из указанных 17 журналов позиционируют себя и по тематике «математика». Отметим для полноты картины, что среди 180 журналов Math-Net.ru есть еще 6 журналов по тематике «физика» и 2 многопрофильных журнала, которые формально не относятся к широкому направлению «математика, компьютерные и информационные науки». Для последующего сравнения и анализа с полученными ранее значениями PR и CE журналов Math-Net.ru было выбрано два показателя журналов eLibrary.ru: показатель в рейтинге Science Index (SI) и средняя оценка по результатам общественной экспертизы (PEX). Методика расчета SI описана в [9], основой для ее расчета является пятилетний импакт-фактор с поправками на принадлежность журнала не более чем к трем из десяти предложенных направлений рубрикатора. Кроме того, делается корректировка результатов с учетом индекса Херфиндаля-Хиршмана. Процедура экспертной оценки качества российских научных журналов описана в [6]. Для сбора данных использовались базовые возможности eLibrary.ru, в частности раздел «Сравнение библиометрических показателей российских научных журналов» (https://elibrary.ru/titles_compare.asp) с соответствующей настройкой параметров (тематика, показатель SI или PEX и 2018 г.). По некоторым журналам, отсутствующим в соответствующих выборках, выполнялись поиск по наименованию и просмотр данных об их публикационной активности. В табл. 3 приводятся значения SI и PEX для журналов из табл. 1. Таблица 3 Значения SI и PEX для некоторых журналов Math-Net.ru Название журнала SI PEX Математические заметки 3,098 3,807 Теоретическая и математическая физика 1,480 3,683 Журнал вычислительной математики и математической физики 4,022 3,817 Успехи математических наук 7,696 3,888 Математический сборник 3,529 3,888 Письма в Журнал экспериментальной и теоретической физики 3,953 3,918 Известия высших учебных заведений. Математика 2,058 3,249 Известия Российской академии наук. Серия математическая 4,321 3,871 Theory of Stochastic Processes 0 0 Вестник российских университетов. Математика 0 0 Первоначально полная таблица значений SI и PEX журналов Math-Net.ru была сформирована для всех 180 журналов, но затем она была подвергнута следующим корректировкам: 1. Из таблицы были удалены все журналы, которые не вошли в граф GcfCC, поскольку далее предполагается сравнение показателей SI и PEX с показателями EC и PR, которые вычислены именно для этого графа. Осталось 106 журналов. 2. Удалено 6 журналов, относящихся по терминологии eLibrary.ru к тематике «физика», а значит, имеющих другие критерии оценки SI и PEX, нежели журналы по математике. Осталось 100 журналов. 3. Удалено 8 зарубежных журналов, поскольку они имеют нулевые показатели SI и PEX. Осталось 92 журнала. 4. Удалено 27 российских журналов, не имеющих оценок показателя SI. Осталось 65 журналов. Проверка выборок SI и PEX на нормальность распределения результатов дает отрицательный ответ, то же самое можно сказать и о распределении показателей CE и PR. Наиболее близкое к нормальному распределению показывает PEX - со средним значением 2,8 и дисперсией 0,57. Показатель CE имеет ярко выраженное равномерное распределение со средним значением 0,5 и дисперсией 0,08. 117 А.А. Печников 4. Статистическая взаимосвязь показателей Math-Net.ru и eLibrary.ru Коэффициенты ранговой корреляции, в отличие от традиционного коэффициента линейной корреляции Пирсона, позволяют успешно обнаруживать нелинейные зависимости, не требуют предположения о нормальном распределении выборки и более устойчивы к ошибкам измерения в реальных данных [19]. Поэтому для анализа корреляционных связей показателей PR, EC, с одной стороны, и SI, PEX - с другой, был использован ранговый коэффициент Спирмена. В основу метода положен принцип нумерации значений статистического ряда. Каждому элементу совокупности присваивается порядковый номер в ряду, который упорядочен по уровню признака (например, по убыванию). Таким образом, ряд значений признака ранжируется, а номер каждого элемента будет его рангом. Пусть n - количество наблюдаемых значений признака, Хі - ранг i-го элемента первого статистического ряда, yi - ранг i-го элемента второго статистического ряда, а di -разность между рангами. Тогда ранговый коэффициент Спирмена равен П 6Z di P = 1 -г- • n(n2 -1) Коэффициент p принимает значения от -1 (строго обратная связь) до +1 (строго прямая связь), 0 показывает, что признаки независимы. Чем ближе |p| к единице, тем более сильной является связь между измеряемыми величинами. Связь принято считать сильной, если |p| > 0,7, средней силы - для 0,5 < |p| < 0,69. Критические значения а для рангового коэффициента Спирмена определяются из соответствующей таблицы, например [20]. В нашем случае коэффициент Спирмена был вычислен для пар переменных p(PR, SI), p(PR, PEX), p(EC, SI) и p(EC, PEX), а результаты сведены в табл. 4. Т аблица 4 Значения коэффициента Спирмена p SI PEX EC 0,665 0,661 PR 0,696 0,760 Как видно из табл. 4, наибольшее значение имеет коэффициент p(PR, PEX), что свидетельствует о сильной положительной статистической взаимосвязи результатов, полученных для оценки PageRank в Math-Net.ru и средней оценки по результатам общественной экспертизы eLibrary.ru. Положительная статистическая взаимосвязь средней силы наблюдается и для остальных трех случаев. Заметим также, что взаимосвязи EC с SI и PEXнесколько ниже, чем те же взаимосвязи для PR. Заключение Основной вопрос исследования заключался в том, может ли интернет-площадка, объединяющая ученых в некоторой области знаний, и сопутствующая этому объединению база публикаций в значимых журналах по данной теме служить основой для верификации наукометрических показателей, признанных органами управления наукой? В более узкой постановке этот же вопрос формулируется так: насколько показатели журналов, получаемые с помощью данных математического портала Math-Net.ru, соответствуют наукометрическим показателям Научной библиотеки eLibrary.ru. Работа основана на анализе взаимоцитирования множества из 180 журналов Math-Net.ru, содержащего в себе ядро из 59 ведущих математических журналов России в области фундаментальной и прикладной математики, подтверждаемое также их высокими позициями в eLibrary.ru. Определение степени концентрации распределения статей и ссылок между журналами в Math-Net.ru с помощью индекса Херфиндаля-Хиршмана показало отсутствие концентрации как таковой, т.е. журналы, обладающие малыми «долями» в общем количестве статей и ссылок на них, занимают важное место. 118 Сравнительный анализ наукометрических показателей журналов Math-Net.ru и eLibrary.ru В качестве показателей значимости журналов Math-Net.ru были вычислены PageRank и собственный вектор центральности. Соответственно, из eLibrary.ru для этих же журналов были получены ScienceIndex и средняя оценка по результатам общественной экспертизы. Было проверено наличие статистической связи между показателями значимости Math-Net.ru и показателями eLibrary.ru, показавшими сильную положительную статистическую взаимосвязь PageRank и средней оценки по результатам общественной экспертизы. Результаты выполненного исследования позволяют сделать два основных вывода: 1) использование данных математического портала Math-Net.ru дают возможность из нескольких рейтинговых оценок eLibrary.ru определить такую оценку, которая наилучшим образом соответствует показателям значимости Math-Net.ru, давая инструментальное обоснование такого ранжирования в eLibrary.ru; 2) поскольку в качестве наилучшей рейтинговой оценки eLibrary.ru выявлена средняя оценка по результатам общественной экспертизы, можно говорить о ее определенной успешности, подкрепляемой сравнением с ранжированием в Math-Net.ru. Благодарности. Автор выражает благодарность всем разработчикам проекта Math-Net.ru и Дмитрию Евгеньевичу Чебукову, заведующему информационно-издательским сектором Математического института им. В.А. Стеклова РАН.

Скачать электронную версию публикации