The use of Russian Science Citation Index for evaluation of humanities research.pdf Введение Российский индекс научного цитирования (РИНЦ) - библиометри-ческая база данных, индексирующая более 7 млн научных публикаций российских (в перспективе - любых) ученых - была создана на платформе eLIBRARY.ru в 2005 г. отечественной компанией «Научная электронная библиотека», выигравшей конкурс Министерства образования и науки России на создание национального индекса научного цитирования. Однако с середины 2013 г., после смены руководства Министерства образования и науки РФ (май 2012 г.), в большей степени ориентированного на оценку эффективности российских ученых по наличию публикаций в иностранных библиометрических базах, государственная поддержка РИНЦ прекратилась. В настоящей статье предпринимается попытка показать, какие возможности заложены в РИНЦ для создания максимально полной карты российской науки, прежде всего, в гуманитарных областях, какие недостатки системы препятствуют достижению этой цели, а также сравнить подходы РИНЦ и Web of Science к наукометрии. Российская база уже не раз становилась объектом анализа, в том числе философов (Мотро-шилова 2012) и историков (Тихонов 2013). Под удар критики в этих работах обычно попадают принципы отбора журналов в РИНЦ, в соответствии с которыми в систему включаются любые научные периодические издания, но не учитывается то обстоятельство, что в eLIBRARY.ru никогда не провозглашали своей целью составить рейтинг качества журналов. Высказывавшееся часто замечание, что РИНЦ не учитывает монографии и сборники, также не соответствует действительности. Возможности и проблемы РИНЦ РИНЦ является мощным аналитическим инструментом, позволяющим быстро посмотреть и сравнить наукометрические (публикационная активность, цитируемость, импакт-фактор журнала, индекс Хирша и др.) и другие (распределение публикаций по тематике, типу, годам и др.) показатели авторов, журналов и организаций. Использование этой базы может стать надежным подспорьем при экспертизе научной деятельности отечественных ученых, вузов и научно-исследовательских институтов). Особенно РИНЦ важен для гуманитариев, которые, в силу традиционных особенностей своих наук, имеют, как правило, низкие показатели в библиометрических базах Web of Science1 или Scopus2. Это характерно не только для России, но и для других стран, в том числе англоязычных, так как, во-первых, в гуманитарных науках принято представлять значительную часть результатов исследований в виде монографий и статей в тематических сборниках, которые выпадают из поля зрения этих баз, а во-вторых, многие престижные научные журналы до сих пор не включены в Scopus и, тем более, Web of Science, особенно, если они выходят не на английском языке. РИНЦ отличает от названных выше баз нацеленность на широкий охват всех видов публикаций (монографий, учебных пособий, статей в журналах, тематических сборников, сборников трудов конференций, диссертаций, патентов и пр.), что открывает возможности не только для количественного, но и качественного анализа. На настоящий момент база включает3 2 194 382 книги и статьи в сборниках, в основном, с 1995 г., хотя немалая часть имеет более раннюю датировку. Для сравнения: Book Citation Index, являющийся частью Web of Science, содержит лишь около 70 000 книг, вышедших с 2005 г. в определенных издательствах4. eLIBRARY.ru содержит сведения о 53 835 журналах, выходящих во всем мире, из них 13 123 российских. РИНЦ индексирует 5 667 журналов (из них российских примерно 4 700), т.е. издательства заключают договор на безвозмездной основе и предоставляют все выпуски своих журналов со списками использованной литературы и сведениями об авторах. Около 3 000 журналов представляют также полные тексты. Ежегодно в РИНЦ добавляется более 1 млн публикаций российских ученых. Можно внести любую работу, вышедшую не ранее 1900 г. Все зарегистрированные авторы имеют доступ к еще одной удобной функции: по соглашению с компаниями Thomson Reuters и Elsevier, eLIBRARY.ru позволяет бесплатно получать сведения о цитировании публикаций, имеющихся в РИНЦ, в Scopus и Web of Science. Поскольку основная задача проекта РИНЦ видится его руководством в создании полной и объективной базы данных о научных публикациях российских ученых, то «в идеале каждому автору должен соответствовать весь список его публикаций, независимо от того, где и когда была опубликована статья - в частности, в российском издании или зарубежном»5. Этот подход часто становится объектом критики (Мотрошилова 2012; Хантемиров 2014). Отказ от селективного принципа включения журналов в базу приводит к высокой вероятности попадания туда некачественных изданий, накрутке цитирований и импакт-фактора журнала. Индекс Хирша может быть искусственно завышен с помощью самоцитирований, цитирования по договоренности («ты процитируешь меня, а я процитирую тебя») или подключения административного ресурса (недвусмысленные просьбы начальников включать их в качестве соавторов или просто ссылаться на их работы). Впрочем, это больше проблема научной этики, а не базы данных, к тому же склонность к махинациям растет прямо пропорционально увеличению внимания к формальным числовым показателям со стороны администрации и зависимости от них размера материального вознаграждения. Эта тенденция наблюдается и в других странах6. Поэтому, благодаря таким свойствам базы, как открытость (в отличие от Scopus и Web of Science, которые требуют подписки для анализа их данных) и прозрачность (в отличие от Google Scholar7, который не дает ясного механизма выявления цитат и предоставляет мало инструментов сравнения), РИНЦ позволяет составить представление о стиле работы того или иного автора и увидеть общий срез науки. С 2011 г. любой зарегистрированный автор может в открытом доступе самостоятельно проверять и уточнять списки собственных публикаций и цитирований в РИНЦ, удалять из своего «профиля» публикации и цитирования однофамильцев и, наоборот, добавлять «непривязанные» данные, т.е. работы и ссылки на них, которые уже попали в систему, но еще не подтверждены автором как свои. Если автор по невнимательности или по злому умыслу «привязывает» к себе публикации и ссылки на своего однофамильца, иногда из совершенно другой научной области, возникают ошибки с отображением количества публикаций и цитирований. Эта особенность, впрочем, распространенная и в других системах, уже несколько раз становилась предметом резкой и, порой, чрезмерной критики (Фрадков 2015). Нельзя не признать справедливыми претензии противников РИНЦ к процессу наполнения базы. Если декларируется цель охватить все возможные публикации российских ученых, то в eLIBRARY.ru должны прилагать усилия по индексации каталогов библиотек и иных ресурсов и получению сведений о публикациях и цитированиях. Разумеется, реализация этого проекта требует немалых вложений, но сейчас в РИНЦ попадает только то, что добавляют сами издательства и организации. Вуз или НИИ может заключить платный договор на предоставление расширенного набора инструментов системы («Science Index для организаций»), которые позволяют исправлять ошибки в описаниях публикаций и списках литературы, находить «потерянные» цитирования, добавлять отсутствующие в базе публикации (в том числе монографии и сборники трудов конференций на любых языках). Предлагается удобная форма ввода данных, учтены практически все типы научных публикаций (статья в журнале, глава в книге, статья в сборнике трудов конференции, рецензия, статья в энциклопедии, перевод и т.д.). После внесения добавлений или исправлений, публикация проходит контроль сотрудниками РИНЦ на достоверность предоставленных сведений и может быть возвращена на доработку или отклонена. Исходя из личного опыта работы с базой, можно утверждать, что особенно тщательно проверять поступающую информацию стали примерно с 2014 г., до этого система, видимо, была отлажена хуже. Отсутствие в базе у многих добавляемых публикаций «списков литературы» негативно отражается на приросте ссылок и, соответственно, искажает общую картину цитирований. Особенно остро это касается диссертаций, которые автоматически попадают в РИНЦ, как правило, через сайт РГБ, который не предоставляет списки литературы вместе с данными об авторе и названии диссертации, дате защиты, сведениями о диссертационном совете. Таким образом, ссылки из диссертаций отражаются в РИНЦ, только если представитель организации, заключившей договор Science Index, вручную добавит список литературы к диссертации (напр., с сайта www.dissercat.com), в которой есть ссылки на сотрудников этой организации, что весьма трудоемко. Получается, что цитирования из основного массива диссертаций остаются неучтенными системой. Это часто справедливо также для монографий и сборников. В то же время, помимо собственно научной литературы, в РИНЦ попадает много иных публикаций, например статьи в периодической печати, которые учитываются при расчете наукометрических показателей и «смазывают» картину собственно научной деятельности. В целом ссылки из списков литературы сравнительно часто обрабатываются неаккуратно, теряются или дублируются. Например, неаккуратный разбор «списка литературы» приводит к тому, что самостоятельным цитированием часто считается ссылка типа «Иванов И.И. Ук. соч. С. 2». Это искусственно завышает индекс цитируемости условного Иванова. Другая проблема связана с журналами, вынужденными оформлять «списки литературы» в соответствии с требованиями Scopus, а именно дублировать их на родном языке и в транслитерации. Если в РИНЦ загружается выпуск такого журнала целиком без удаления транслитерированных «списков литературы», каждый процитированный автор автоматически получит в два раза больше ссылок. Отслеживание и исправление подобных искажений затруднены, прежде всего, нехваткой у компании eLIBRARY.ru разработчиков и сотрудников (всего 35-40 человек). Thomson Reuters может себе позволить штат из нескольких сотен сотрудников, которые точно так же вручную проверяют ссылки для Web of Science. Транслитерация названий русскоязычных статей отечественных ученых при цитировании за рубежом вообще является острой и трудноразрешимой проблемой. Учитывая разные способы транслитерации кириллицы, написание программного кода для корректной и эффективной обработки таких ссылок представляет техническую сложность. В итоге ссылки теряются, их сложно находить через поисковые запросы, подкрепляется ощущение отсутствия интереса за рубежом и невостребованности текстов на русском языке, что не всегда соответствует действительности. В первую очередь, это затрагивает гуманитариев. При анализе наукометрических показателей РИНЦ показывает процент самоцитирования и цитирования соавторами, что расширяет возможности для экспертной оценки. С конца 2014 г. начала реализовы-ваться опция «контекст цитирования», которая позволяет узнать не только, кто процитировал, но в каком контексте. Правда, технически это возможно только, если издатель загружает полный текст публикации через специальную программу разметки (Articulus), а не заполняет форму добавления новой публикации на сайте. Сам принцип является новацией и попыткой решить проблему «негативного» цитирования (ссылки не ради преемственности и поддержки идеи, а ради ее опровержения). Тем не менее перспективы его широкого внедрения видятся туманными, так как значительная часть публикаций попадает в систему через интерфейс сайта, где возможность добавления ссылки в контексте не предусмотрена. Важным отличием РИНЦ от Web of Science являются учет цитирований всех типов публикаций и способность извлекать сведения о публикациях из списков литературы. Даже если какая-то работа автора не представлена в РИНЦ, но на нее есть ссылка, эта ссылка учитывается в общих показателях. В Web of Science в «citation report» учитываются только ссылки на статьи в журналах, индексируемых в базе. «Cited reference search» выдает ссылки на все остальные публикации, включая монографии, а также ссылки, оформленные неправильно и необработанные автоматически. Для гуманитариев результат может отличаться в разы от основного в «citation report», поскольку до 65% цитирований в гуманитарных и общественных науках приходится на непериодические издания (Glanzel, Schoepflin 1999. Цит. по: Солодкин 2013), но эта цифра никак не используется при расчете рейтинга в Web of Science, который создает представление о невостребованности ученого. Дополнительным инструментом анализа российских журналов может служить введенный в РИНЦ в 2015 г. индекс Херфиндаля, использующийся в экономике для анализа степени монополизации рынка (Григорьева, Зарипова 2015: 180). Применение этого индекса к журналам позволяет увидеть, насколько широко журнал известен и востребован за пределами своего круга авторов. Если значение индекса Херфиндаля «по цитирующим журналам» достигает максимума (10 000), это означает, что все ссылки сделаны из одного журнала, если то же самое «по организациям авторов» - значит все авторы журнала являются сотрудниками одной организации. Этот показатель, в отличие от импакт-фактора, сложно обмануть с помощью самоцитирования или взаимного цитирования. Хотя стремление индекса к верхним значениям, безусловно, указывает на наличие проблем у журнала, уровень низких значений, определяющий востребованность издания, нужно оценивать в каждом случае индивидуально. Рассмотрим это на конкретных примерах с журналами по истории. В табл. 1 представлены Вестники ряда университетов серии «история». Цифры показывают, что, с одной стороны, в Вестниках МГУ и СПбГУ, в основном, интересно печататься сотрудникам и аспирантам этих вузов. С другой стороны, Вестник НГУ, привлекающий больше авторов из других организаций, имеет цитирования из менее широкого круга журналов при сопоставимом с Вестником МГУ импакт-факторе. В табл. 2 представлено несколько известных журналов по медиевистике. Индекс Херфиндаля указывает на кризис, который переживает некогда знаменитый «Одиссей»8, индексы «Средних веков» и «Византийского временника» сопоставимы, что отражает их примерно одинаковую востребованность в сообществе медиевистов, крайне низкий им-пакт-фактор последнего может быть объяснен узким кругом специалистов по Византии. В то же время индексы также популярного у медиевистов «Диалога со временем», в котором, правда, печатаются статьи не только по истории Средних веков, демонстрируют, что там стремится публиковаться гораздо более широкий круг авторов и его публикации цитирует большее количество журналов. Хорошие показатели журнала «Древняя Русь. Вопросы медиевистики» объясняются тем, что его тематика востребована более многочисленными специалистами по отечественной истории. Т а б л и ц а 1 Индекс Херфиндаля Вестников некоторых российских вузов 5- лет- Херфин-даль по организациям (2014) Херфинний им- Название журнала даль по цит. (2014) пакт-фактор без само-цит. Вестник Московского университета. Серия 8: История 8 698 802 0,058 Вестник Санкт-Петербургского университета. Серия 2. История 6 966 982 0,088 Вестник Православного Свято-Тихоновского гуманитарного университета. Серия 2: История. История Русской Православной Церкви 3 703 606 0,157 Вестник Новосибирского государственного университета. Серия: История, филология 1 638 2278 0,051 Вестник Тверского государственного университета. Серия: История 1 456 381 0,156 Вестник Томского государственного университета 1 263 312 0,148 Вестник Пермского университета. Серия: История 573 700 0,09 Т а б л и ц а 2 Индекс Херфиндаля журналов по медиевистике Название журнала Херфиндаль по организациям (2014) Херфиндаль по цит. (2014) 5- летний импакт-фактор без самоцит. Одиссей. Человек в истории 5 000 5 000 (за 2012)9 нет Византийский временник 2 857 (за 2013) 2 500 0,041 Средние века 2018 2 158 0,157 Диалог со временем 672 1 132 0,151 Древняя Русь. Вопросы медиевистики 584 1 240 0,224 Таким образом, индекс Херфиндаля оказывается информативен, если сравнивать издания из одной исследовательской области. Распределение журналов по странам и языкам Во многих гуманитарных областях включенность в мировую науку не определяется только наличием публикаций на английском языке. Для специалиста по французской истории естественно стремление быть известным во Франции и печататься по-французски, специалист по испанской литературе, вероятно, будет рад опубликовать что-то по-испански. В РИНЦ представлены журналы из 125 стран на 62 языках. В табл. 3 приведены данные по первым 15 странам. Обращает на себя внимание несбалансированность этого списка. Сведения об иностранных журналах РИНЦ частично получает из Scopus и Web of Science, частично - из других источников. Выборочный анализ показал, что выпуски представлены неполно, по всей видимости, статья из иностранного журнала попадает в базу в том случае, если либо один из ее авторов - россиянин, либо если ее процитировали в другой статье из базы РИНЦ, либо по иным причинам. Получается, что база комплектуется по принципу «снежного кома». Т а б л и ц а 3 Страны, журналы которых представлены в РИНЦ (Топ-15) 1 США 12 289 23,18% 2 Россия 11 547 21,78% 3 Великобритания 6 697 12,63% 4 Германия 2 532 4,78% Страна не указана 2 198 4,15% 5 Нидерланды 2 107 3,97% 6 Франция 1 570 2,96% 7 Украина 1 260 2,38% 8 Китай 900 1,70% 9 Италия 858 1,62% 10 Япония 839 1,58% 11 Швейцария 760 1,43% 12 Испания 655 1,24% 13 Индия 589 1,11% 14 Польша 586 1,11% 15 Канада 550 1,04% К сожалению, для 39% журналов, представленных в РИНЦ, не указаны данные о языке. Тем не менее сравнение даже этих неточных данных с аналогичными в Web of Science приводит к интересным выводам. Не только русский, но и китайский, польский и японский языки в РИНЦ представлены лучше (табл. 4). Сравнительно большая доля украинского и белорусского языков обманчива: выборочный анализ статей, опубликованных в журналах, для которых указаны эти языки, показал, что абсолютное большинство из них написано на русском, хотя названия журналов могут сохранять национальный язык. Что касается других языков, то в обеих базах ситуация с ними неадекватна, и в данном случае РИНЦ здесь, видимо, находится в прямой зависимости от Web of Science и Scopus. Для проверки был взят французский язык. В РИНЦ имеются сведения о 1 570 французских журналах (по всем научным дисциплинам), однако эта цифра показалась заниженной. В интернете не удалось найти полных статистических данных по количеству выходящих в стране научных журналов, хотя некоторые исследователи также говорят о 1 500 журналах (Vieira 2004: 51). Тогда в национальном французском библиотечном каталоге SUDOC был задан поиск только среди периодических изданий, издававшихся во Франции после 2010 г. и содержащих в названии слово «revue» (журнал). Без указания слова для поиска система не выдала бы список, хотя очевидно, что названия множества журналов не содержат слова «revue», как, например знаменитые «Анналы» («Annates. Histoire, Sciences sociales»). Но даже такой заведомо ограниченный запрос выявил 2 662 французских журнала, что существенно отличается от сведений из баз данных. Т а б л и ц а 4 Языки журналов в РИНЦ и Web of Science Язык РИНЦ Web of Science 1 Английский 18 764 35,40% 96,22% 2 Русский 12 619 23,81% 0,13% 3 Украинский 960 1,81% Неизвестно 4 Немецкий 606 1,14% 1% 6 Французский 463 0,87% 0,86% 7 Китайский 348 0,66% 0,31% 8 Испанский 312 0,59% 0,61% 9 Итальянский 140 0,26% 0,20% 10 Белорусский 127 0,24% Неизвестно 11 Польский 116 0,22% 0,07% 12 Португальский 95 0,18% 0,24% 13 Японский 73 0,14% 0,07% 14 Голландский 17 0,03% Неизвестно Не указан 20 662 38,98% Множество работ гуманитариев, активно публикующихся за границей и на других языках (не только на английском), увы, не может попасть в РИНЦ автоматически, так как часто речь идет о статьях не в журналах, а в тематических сборниках или материалах конференций. Единственным выходом сейчас являются заключение вузом или научно-исследовательским институтом договора «Science Index для организаций» и ввод данных вручную. Поскольку это обычно происходит хаотично и неравномерно, можно лишь констатировать, что на данный момент информация в РИНЦ представлена избирательно. Но система развивается, совершенствуется и имеет шансы в будущем составить конкуренцию иным аналогичным системам на мировом рынке. Появление в конце 2015 г. обособленной региональной базы данных Russian Science Citation Index (RSCI) на платформе Web of Science, в которую, по договору между eLIBRARY.ru и Thomson Reuters, вошли 652 (на март 2016 г.) журнала из РИНЦ - важный шаг не только к лучшей представленности российских журналов в мире, но и к их более качественному отбору. Выводы Суммируя все вышеизложенное, можно прийти к следующим выводам: 1. РИНЦ несовершенен. Разработчикам предстоит еще проделать долгую и трудную работу по улучшению системы, устранению небрежностей и ошибок. Но заложенные в нем возможности уже сейчас открывают огромные перспективы. Функции системы способны заинтересовать представителей научного сообщества из других стран и составить конкуренцию Web of Science и Scopus. 2. Опора исключительно на количественные показатели при оценке «эффективности» ученого приводит к ошибкам, не учитывает множество вариантов их интерпретации. РИНЦ будет исключительно полезен не столько данными о количестве, сколько наглядностью представления информации о публикациях и их цитированиях (при условии дальнейшего развития и сохранения открытости системы). Он должен помогать и самому исследователю, и эксперту. 3. Необходимо поощрять взаимодействие российских ученых с зарубежными коллегами и добиваться роста влияния российской науки за рубежом. При этом: а) нельзя забывать, что квалификация ученого и качество его труда выводятся не из количества написанных им статей и ссылок на них, а количества впитанного им знания из книг и от коллег, масштабности его целей, любопытства, способности к анализу и синтезу информации, смелости заглядывать в будущее и желания познать истину; б) публикация в рейтинговом журнале - это один из способов передать знание, но не единственный. В настоящее время никто не знает, насколько действительно представлена российская наука за рубежом в виде книг российских авторов на иностранных языках; статей в тематических сборниках, журналах, не вошедших в Web of Science и Scopus, в сборниках трудов конференций; докладов на всевозможных международных и национальных конференциях. Заполнение базы РИНЦ этими сведениями могло бы ответить на данный вопрос; в) у библиотек не должно быть проблем с закупкой новейших книг и подпиской на новейшие журналы, по крайней мере, наиважнейшие. Должны финансироваться стажировки и командировки, должны приглашаться иностранцы в Россию для чтения лекций, участия в совместных проектах, конференциях и, конечно, для знакомства с российскими учеными; г) помимо усиления языковой подготовки в вузах, но без ущерба для преподавания на родном языке, необходимо выстроить четкую государственную политику в области продвижения русского языка в мире (как это делают Франция и Германия) и перевода лучших российских книг и журналов на основные иностранные языки. Это особенно важно для гуманитарных и общественных наук. 4. Ставка на усиление мощи публикационного потока приводит к раздроблению науки. Ее зеркало, разбитое на сотни тысяч осколков, не способно отразить цельную картину мира. Для повышения качества научной продукции нужно вспомнить, что труд ученого - это, прежде всего, творчество, которое умирает под грузом формальной отчетности, в рамках плановых показателей. Научное творчество, как и любое другое, имеет жанровые особенности, свою внутреннюю логику и структуру. Выработать законы жанра - задача самого научного сообщества. Не забудем, что и разные науки имеют свои особенности, иногда радикально отличающие одну науку от другой. И потому, думается, наукометрические показатели могут быть использованы не более, чем как индикаторы и ориентиры. Примечания 1 Web of Science - библиометрическая платформа, объединяющая несколько библиографических баз данных, включая самый старый Science Citation Index, основанный в 1964 г. Ю. Гарфилдом. Разрабатывается и предоставляется компанией Thomson Reuters (США). 2 Scopus - библиометрическая база данных, разрабатываемая с 2004 г. издательским домом Elsevier (Нидерланды). 3 Все цифры приведены по состоянию на март 2016 г. 4 По данным Web of Science: http://wokinfo.com/media/pdf/S024651_Flyer.pdf 5 Российский индекс научного цитирования: успехи и проблемы. Интервью с Геннадием Еременко и Павлом Арефьевым // ПОЛИТ.ру. 26.01.2009. http://www.polit.ru/article/ 2009/01/26/rints/ 6 Этому вопросу посвящено много исследований и статей в интернете. Приведу лишь несколько примеров: Gaming Google Scholar Citations, Made Simple and Easy // http://scholarlykitchen.sspnet.org; The Emergence of a Citation Cartel // http://scholarlykit-chen.sspnet.org; MacGregor J., Stuebs M. To Cheat or Not to Cheat: Rationalizing Academic Impropriety // Accounting Education: an international journal. Special Issue: Academic Dishonesty. 2012. Vol. 21, is. 3. P. 265-287 (http://www.tand-fonline.com); Tuchman G. Com-modifying the Academic Self // https://www.insidehighered.com/views 7 Google Scholar - бесплатная поисковая система по полным текстам научных публикаций всех видов и дисциплин, разрабатываемая компанией Google c 2004 г. 8 «Одиссей. Человек в истории» - выходящий с 1989 г. альманах, основанный А.Я. Гу-ревичем, Ю.Л. Бессмертным, Л.М. Баткиным, В.С. Библером и В.В. Ивановым. 9 Данные за 2014 г. не известны.

Скачать электронную версию публикации