Анализ тематики и цитирования публикаций в применении к формированию подписки на журналы | Библиосфера. 2014. № 1.

Анализ тематики и цитирования публикаций в применении к формированию подписки на журналы

На примере собственных разработок получения ранжированных списков научных журналов на основе ссылок, ключевых слов и тематических рубрик показаны потенциальные возможности современного библиометрического инструментария, доступного каждому заинтересованному пользователю.

Thematic and citation analyses of publications as applied to journal subscription.pdf А рубеже веков в жизни современного об- щества обозначились два ярко выраженных процесса. Во-первых, это глобализация, проникшая во все сферы жизнедеятельности чело- века и проявившаяся в унификации разных куль- тур, стремлений, вымирании части языков и завое- вании английским языком лидирующих позиций в ряде областей, в частности в науке и в Интернете. Второй процесс – дифференциация общества, про- являющаяся в создании различных групп по инте- ресам на фоне глобальных процессов. Эти группы по большей части наднациональны, не имеют гео- графических и языковых границ; участники объе- динены, в основном, заинтересованностью в той или иной сфере жизни или области знаний. В итоге наблюдается перестройка общества: частично теряя традиционные устоявшиеся ценности, члены совре- менного социума при помощи информационно-коммуникационных технологий создают новые. Процессы глобализации и дифференциации от- четливо прослеживаются и в науке: исследования зачастую становятся плодом коллективного труда, в проведение экспериментов вовлекаются ученые из разных стран, проводятся междисциплинарные работы, порождающие новые научные направления. Одновременно заметно дальнейшее дробление дисциплин на более узкие, специальные, что подтвер- ждается в том числе и постоянным введением но- вых рубрик в классификаторы научной информации. Оба указанных процесса отразились в издательском деле. С одной стороны, появляется боль- шое количество междисциплинарных журналов, как общенаучных, так и охватывающих отдельные дис- циплины, а с другой – издаются узкоспециальные, отвечающие требованиям небольших групп спе- циалистов. Ситуация усложняется изменившейся в послед- нее время парадигмой чтения научных статей, но- вой моделью получения информации. Посещаемость научных библиотек снижается, читатели изменили алгоритм поиска информации в библиотеке (оста- вим пока в стороне вопросы лицензионной чис- тоты распространяемой электронной информации и защиты авторского права), используя более при- вычные благоприобретенные навыки поиска в ин- формационных сетях и ресурсах. Сегодня читатели не просматривают оглавления журнала целиком, как прежде, а работают с базами данных (БД) ре- фератов или переходят к новому тексту по гипер- ссылкам. Таким образом, на первое место выходит непосредственно текст, а где именно он опублико- ван, для читателя часто не имеет принципиального 59 ИНФОРМАТИКА значения; исследования, посвященные анализу но- вых видов информационного поиска и поведения современного читателя научной литературы ста- новятся еще более актуальными [5, 8, 16]. Безусловно, продолжают существовать класси- ческие научные журналы с многолетней и богатой историей. Но мы находимся лишь в начале про- цесса изменения публикационной модели, и вполне возможно, что само понятие «научного рецензи- руемого журнала» с утратой физического носителя вскоре поменяет свое значение. Уже сейчас можно наблюдать, как издательства ищут новые подходы, адекватные требованиям современных пользователей. Публикуются так назы- ваемые статьи в печати, которые самим своим су- ществованием противоречат главному журнальному атрибуту – периодичности. Активно внедряемое цитирование по DOI (идентификатору цифрового объекта) также заменяет собой традиционные журнальные элементы – том, номер и страницы. Сравнительно новой подписной моделью стано- вится подписка организации на заданный набор статей (article choice), безотносительно к публи- кующим их журналам. Особо следует упомянуть об открытии множества сайтов с препринтами, ко- торые противопоставляют свою модель журналь- ной и решают проблему временного лага, дляще- гося от срока подачи статьи до ее опубликования. Новым видом сервиса от издательств выступает печать статьи по требованию автора, что сущест- венно ускоряет процесс выхода публикации. Эти две очень популярные модели (открытый доступ и «самиздат»), наращивающие свое присутствие на современном книжном рынке, вызвали недоволь- ство у определенной части издателей и их критику (см. список сомнительных, научных издательств от- крытого доступа [7]). В этих условиях перед потребителями научной информации встает трудная задача – из тысяч на- званий журналов, список которых постоянно рас- тет [11, 15], выделить необходимое ядро, отве- чающее их информационным потребностям. Отто- ченные более привычные в прежние годы методы ручной обработки данных уже не позволяют от- слеживать в обширном многообразии названий на- учных журналов новые ценные издания. Вместе с тем появились уникальные инструменты обработки и анализа данных, найти и задействовать которые могут сами пользователи. Основные инструменты отбора журналов, дос- тупные для использования, можно объединить в четыре большие группы: формальные признаки, экс- пертная оценка (основанная на анкетировании), анализ используемости журналов и библиометри- ческий анализ. Группа формальных признаков представляет собой начальный фильтр, который нельзя использовать в отрыве от других, более сложных методов. К формальным признакам относятся такие общие категории, как: • соответствие тематике исследований органи- зации; • тип журнала; • стоимость журнала; • научная ценность; • наличие или отсутствие реферирования; • авторитет издающей организации; • представленность журнала в индексирующих и реферативных службах; • наличие у издательства статуса националь- ного научного общества; • распространенность издания; • язык статей; • наличие и язык рефератов; • наличие ключевых слов; • полнота пристатейной библиографии; • наличие DOI. Важно, что метод формальных признаков присутствует в каждом из прочих методов и является первоосновой для последующих принципов отбора. Экспертная оценка представляет собой один из консервативных инструментов оценки научных журналов, основанный на допущении, что ни биб- лиотекари, ни компьютерные алгоритмы не могут выявить потребностей ученых лучше них самих. Однако в современной ситуации экспертную оценку можно с определенной долей уверенности считать устаревшим методом, учитывая следующие факты: • С ростом количества научных журналов, ко- торые нередко быстро набирают рейтинг, специалисты не могут охватить все разнооб- разие периодики и дать ей оценку. • Метод экспертной оценки не предусматри- вает ответственности за возможную неэффективность подписки. • Практика показывает, что отмеченные экс- пертами журналы впоследствии могут пользоваться небольшим спросом или вообще оставаться невостребованными. Что касается данных об использовании литературы, то хотя из них и можно извлечь неко- торую полезную информацию [14 и др.], они не вполне достоверны. Отметим, что даже современные инструменты отслеживания числа загру- зок, к числу которых относится наиболее распро- страненный COUNTER, не дают точных показате- лей по следующим причинам: • ряд издательств не предоставляет прав на просмотр статистики использования ресурсов; • даже для ресурсов, предоставляющих стати- стику использования, она не будет точной, так как один и тот же текст может быть по- лучен из нескольких источников; 60 В. Н. Гуреев, Н. А. Мазов, Я. Л. Шрайберг, 2014, № 1, с. 59–65 • возможности отследить количество загрузок статей из журналов открытого доступа очень ограничены. Библиометрический анализ на сегодняшний день, по-видимому, является наиболее прогрессив- ным и многообещающим, в отличие от описанных выше инструментов отбора журналов, поскольку позволяет быстрее и объективнее выявлять инфор- мационные потребности ученых и уровень их удо- влетворенности текущей подпиской. Даже при его сравнении с научным рецензиро- ванием все чаще делается акцент на объективности библиометрического анализа, что подчеркивает его возросшую значимость [12]. Базы данных, предо- ставляющие необходимую для анализа информа- цию, доступны в большинстве научных органи- заций, причем зарегистрированные пользователи получают к ним удаленный доступ. Компании Томсон Рейтерс и Эльзевир популяризируют свои продукты (БД Web of Science (WoS) и Scopus) и тем самым увеличивают число технически гра- мотных пользователей. Библиометрический анализ основан на различ- ных исходных данных и производится специаль- ными программами по заданным алгоритмам. Ис- ходными данными могут быть: количество и цити- руемость публикаций, импакт-фактор журнала, нор- мированный импакт-фактор SNIP (Source Norma- lized Impact per Paper), Эйгенфактор (Eigenfactor), спрос на издания, индекс Хирша и др.; использу- ются математические формулы и методы, в част- ности, статистический анализ. К настоящему моменту разработан ряд подхо- дов к библиометрическому анализу. Ниже на при- мере двух методов (цитат-анализ и анализ ключевых слов) мы продемонстрируем уникальные воз- можности современных инструментов, доступных в каждой организации. Цитат-анализ. Информационные потребности пользователей и тенденции их развития, которые можно применять при моделировании репертуара периодики, хорошо выявляются незаслуженно редко используемым методом цитат-анализа, который мы применили для анализа пристатейной литературы на примере публикаций ученых наших органи- заций [1–3]. Тематические профили Государственного на- учного центра вирусологии и биотехнологии (ГНЦ ВБ) «Вектор» и Института нефтегазовой геоло- гии и геофизики им. А. А. Трофимука Сибирского отделения Российской академии наук (ИНГГ СО РАН) – медико-биологические исследования и гео- физика – занимают значительное место в жур- нальной периодике, а журналы, которые обслужи- вают эти области, обладают наибольшими импакт- факторами. Поэтому наши методы и результаты вполне могут экстраполироваться на другие дис- циплины в естественных науках. Для анализа мы рассмотрели все статьи на- ших сотрудников за последние пять лет (с 2008 по 2012 г.). Из пристатейных списков литературы были извлечены 1300 и 1000 наименований научных журналов в области биологии и геологии соответственно. Доля отечественных изданий со- ставила четверть. В совокупности ученые каждого из институтов сделали порядка 8 тыс. ссылок. По каждой из дисциплин мы получили списки жур- налов, которые затем разбили на три равные части. В табл. 1 приводится ядро цитируемых российских журналов. Ядро отечественных журналов, выявленное на основе цитирования Т а б л и ц а 1 Название Количество ссылок, % Всего, % Журналы биологического профиля Вопросы вирусологии 16,94 16,94 Молекулярная биология 6,44 23,38 Биотехнология 6,07 29,45 Доклады Академии наук 5,09 34,54 Журналы геологического профиля Геология и геофизика 35 35 Доклады РАН 19 54 Геохимия 7 61 Петрология 4 65 61 ИНФОРМАТИКА Лишь 9% от общего числа цитируемых рос- сийских журналов медико-биологического профиля обеспечивают 2/3 всех ссылок, и всего на 6% журналов приходится 80% всех цитирований в об- ласти геологии и геофизики. Данные двух институтов хорошо согласовывались друг с другом, с той лишь разницей, что в статьях геологического про- филя больше цитировались отечественные журналы, а в статьях биологического профиля – зарубежные (табл. 2). Ядро зарубежных журналов, выявленное на основе цитирования Т а б л и ц а 2 Название Количество ссылок, % Всего, % Журналы биологического профиля Journal (J.) of Virology 6,03 6,03 Proceedings of the National Academy of Sciences of the United States of America 3,36 9,39 Virology 3,15 12,54 Vaccine 2,77 15,31 J. of Biological Chemistry 2,4 17,71 J. of General Virology 2,4 20,11 Nature 2,04 22,15 Science 1,94 24,09 J. of Clinical Microbiology 1,94 26,03 Emerging Infectious Diseases 1,89 27,92 Nucleic Acids Research 1,59 29,51 J. of Infectious Diseases 1,38 30,89 J. of Molecular Biology 1,35 32,24 J. of Immunology 1,24 33,48 J. of Medical Virology 1,19 34,67 Журналы геологического профиля Earth Planetary Science Letters 7,0 7,0 Contributions to Mineralogy and Petrology 6,0 13,0 Geochimica et Cosmochimica Acta 5,0 18,0 J. of Geophysical Research 5,0 23,0 Nature 4,0 27,0 American Mineralogist 3,0 30,0 Lithos 3,5 33,5 J. of Petrology 3,5 37,0 Chemical Geology 2,5 39,5 Geology 2,5 42,0 Tectonophysics 2,0 44,0 Science 1,5 45,5 Economic Geology 1,5 47,0 European J. of Mineralogy 1,5 48,5 Canadian Mineralogist 1,5 50,0 62 В. Н. Гуреев, Н. А. Мазов, Я. Л. Шрайберг, 2014, № 1, с. 59–65 Ссылки на иностранные журналы показывают распределение, схожее с отечественными: бóльшая концентрация ссылок представлена в журналах гео- логического профиля, притом что на 25 журналов приходится 2/3 всех ссылок. В области же биоме- дицины 2/3 всех ссылок сосредоточены в 100 жур- налах. Лишь 1,3% процитированных журналов обе- спечивает треть всех ссылок, сделанных из статей медико-биологического профиля; для наук о Земле этот показатель составляет 0,9%. Данные по цитируемости зарубежных журна- лов распределяются более гладко в сравнении с оте- чественной периодикой, где счет «ядерных» журналов идет на единицы. Это можно объяснить меньшим количеством российских журналов в це- лом, и, конечно, отсутствием пока столь мощного инструмента, который существует на Западе. С по- мощью полученных на основе цитирования дан- ных мы смогли выявить ядро журнального фонда, в первую очередь необходимого для информаци- онного обеспечения научных исследований. В об- ласти биологии и медицины в первые две зоны (66% всех ссылок) вошли 16 отечественных и 100 зарубежных журналов; а в области наук о Земле – четыре российских и 25 иностранных. Примеча- тельно, что в области геологических наук ссылки как на отечественную, так и на зарубежную пе- риодику приходятся на количество журналов в че- тыре раза меньшее, чем в области биологии. Используя данный метод, как и в случае с ци- тат-анализом, мы проанализировали статьи сотруд- ников двух научных институтов за последние пять лет (с 2008 по 2012 г.). Из статей организаций, проиндексированных в БД WoS, выбор которой осуществлен произвольно, были выгружены машин- ные ключевые слова, впоследствии объединенные в группы оператором «И» (AND). Затем, для кон- кретизации результатов запроса, к этим группам с помощью оператора AND были добавлены инди- каторы WoS Categories из тех же соответствующих статей, а сами группы связаны оператором «ИЛИ» (OR). Таким образом, в запросе участвовало столько же групп, сколько было статей. В результате был получен массивный запрос более чем из 3000 тер- минов, структура которого описана ниже. Пусть C = {D1 … Dn} – множество документов организации, отраженных в БД. Запросный про- филь Q для поиска документов, релевантных мно- жеству C, должен выглядеть следующим образом: Q = P(D1) + P(D2) + … + P(Dn), где «+» – это операция логического «или» («OR»), а P(Di) – запросный профиль для i документа. Каждый документ Di свою очередь может быть представлен терминами KWP и WoS Categories (WC) следующим образом: Анализ на основе запроса из ключевых слов. Основой второго метода выступает использование Di = {KWPi Di = {WCi … KWPi i Mi} в качестве поискового запроса ключевых слов из статей сотрудников научной организации. По на- шим данным, это первый опыт составления ран- жированных списков журналов по такому принципу. Мы исходим из того, что публикации науч- 1 … WC Li}. Тогда запросный профиль для документа Di имеет вид: P(Di) = (KWPi1& … &KWPi i1 iL ного института наиболее широко и достоверно Mi)&(WC & … &WC i). отражают сферу научных интересов авторов и ре- альные достижения организации. Дополнительный список ключевых слов – в нашем случае – Key- Words Plus (KWP) [9, 10], который присваивается Таким образом, полный запросный профиль Q выглядит следующим образом: Q = ((KWPi i n n 1& … &KWP Mi)OR … OR(KWP 1& … &KWP Mn))& каждой публикации в реферативной БД WoS, по- зволяет сформировать сложный запрос, адресу- емый той же БД. Список журналов, полученных на основе такого запроса, составленного из машин- ных ключевых слов, будет напрямую отражать те научные интересы, которые авторы конкретной ор- ганизации выразили в своих статьях. К сожалению, не всегда в статьях можно найти объективно написанные авторами ключевые слова. Именно поэтому для достижения большей объективности мы отдали предпочтение автоматически присваиваемым, а не авторским ключевым словам. Во-первых, их отбирает система, разработанная экспертами, во-вторых, машинные ключевые слова присутствуют во всех статьях, тогда как авторские ключевые слова требуют не все журналы. &((WCi & … &WCi )OR … OR(WCn & … &WCn )). 1 Li 1 Ln Результатом расширенного поиска стали 569 тыс. статей по биологии и 367 тыс. – по геологии. Затем мы воспользовались опцией анализа результатов по параметру «Источники публикаций» и получили ранжированный список из 2030 названий в области биологии и 1871 – в геологических дисциплинах, в котором явно прослеживалось ядро. Данные по двум институтам, как и в предыдущем цитат-ана- лизе (см. параграф «Цитат-анализ»), хорошо кор- релировали друг с другом. Ведущие журналы, ох- ватывающие 30% всех статей с интересующими нас ключевыми словами, показаны в табл. 3. Применив два различных метода определения ранжированных списков научных журналов, мы 63 ИНФОРМАТИКА Ведущие журналы с наибольшей концентрацией статей с заданными KWP Т а б л и ц а 3 ГНЦ ВБ «Вектор» (20% всех статей) % статей в журнале от их общего числа ИНГГ СО РАН (15% всех статей) % статей в журнале от их общего числа J. of Virology 3,02 Geophysical Research Letters 1,57 J. of Biological Chemistry 2,81 Environmental Science Technology 1,47 Proceedings of the National Academy of Sciences of the United States of America 1,87 Earth and Planetary Science Letters 1,34 Virology 1,53 Geochimica et Cosmochimica acta 1,23 Nucleic Acids Research 1,49 J. of Geophysical Research Solid Earth 1,06 Plos One 1,21 Chemosphere 0,77 J. of Immunology 1,02 Geology 0,74 Biochemistry 0,93 Geophysical J. International 0,66 J. of General Virology 0,90 Chemical Geology 0,59 Vaccine 0,82 Tectonophysics 0,58 J. of Molecular Biology 0,76 Precambrian Research 0,44 J. of Clinical Microbiology 0,70 Geophysics 0,21 Cancer Research 0,69 Doklady Earth Sciences 0,16 Science 0,36 Russian Geology and Geophysics 0,12 Nature 0,34 Stratigraphy and Geological Correlation 0,06 обнаружили, что данные, полученные разными способами, во многом совпадают, а в рамках каж- дого из методов данные по разным дисциплинам хорошо коррелируют друг с другом. Анализ на ос- нове запроса из ключевых слов, отобранных экс- пертной системой, не выявил в науках о Земле мультидисциплинарных журналов, таких как Na- ture и Science, которые в то же время активно ци- тировались сотрудниками обоих институтов. Воз- можно, это связано с преобладанием в них статей биологической тематики [6]. Данная тематика яв- ляется на сегодня одной из самых активно раз- вивающихся во многих научных центрах мира. Небольшая представленность и непопулярность русскоязычной литературы в WoS не позволила выявить высокоцитируемые российские журналы. Разница в данных также может объясняться частой недоступностью ряда издательств на территории России: как для чтения, так, соответственно, и для цитирования. Особое внимание мы обратили на осторожное цитирование в России журналов от- крытого доступа и в целом интернет-изданий. Это можно объяснить неким недоверием к изданиям со стороны многочисленных соискателей и аспиран- тов и их руководителей, ориентированных на клас- сические надежные рецензируемые издания на бу- мажном носителе. В настоящем виде метод построения ранжиро- ванных списков журналов на основе анализа клю- чевых слов наилучшим образом подходит для вы- явления именно предметного ядра периодики, а так- же позволяет определить наиболее активные на- правления научной деятельности внутри института. Предложенные нами методы полностью авто- матизированы, достаточно просты в исполнении и не требуют больших временных затрат. На вы- бор имеется возможность работы в БД WoS или Scopus – двух крупнейших инструментах для науко- и библиометрических работ. Свободно распростра- няется множество профессиональных программ [4] для проведения подобных исследований, как, на- пример, SciMAT [13], который авторы использо- вали в своей работе. Описанные методы позволяют получить такие списки научных журналов, кото- рые могут оказаться весьма ценными, например, при комплектовании фонда периодики или выборе журнала для опубликования статей. В настоящей работе мы попытались дать новый импульс использованию ключевых слов в сово- купности с анализом цитирования. Были рассмот- рены журнальные списки, сформированные на ос- нове статей, содержащих те же последовательности ключевых слов, что были представлены в статьях авторов наших организаций. Второй список, хо- 64 В. Н. Гуреев, Н. А. Мазов, Я. Л. Шрайберг, 2014, № 1, с. 59–65 рошо коррелирующий с первым, построен на ос- нове цитирований из публикаций тех же авторов. Помимо применимости к журнальному комплек- тованию информация данных списков помогает решать ряда научных и практических задач. Так, с ее помощью исследователи и научные группы мо- гут искать спонсирующие организации для своих проектов, а также определять научные коллективы, занимающиеся схожими разработками. Специали- стам в области научной информации она позволит отслеживать перспективные области научных ис- следований для своих организаций. Издательства же могут получать более полную информацию об использовании своих ресурсов.

Ключевые слова

анализ цитирования, предметные рубрики, ключевые слова, комплектование, подписка, citation analysis, subject areas, keywords, acquisition, subscription

Авторы

ФИООрганизацияДополнительноE-mail
Гуреев Вадим НиколаевичГосударственный научный центр вирусологии и биотехнологии «Вектор»научный сотрудник информационно-аналитического отделаgureyev@vector.nsc.ru
Мазов Николай АлексеевичГосударственная публичная научно-техническая библиотека Сибирского отделения Российской академии наук; Институт нефтегазовой геологии и геофизики им. А. А. Трофимука СО РАНкандидат технических наук, заведующий информационно-библиотечным центромMazovNA@ipgg.sbras.ru
Шрайберг Яков ЛеонидовичГосударственная публичная научно техническая библиотека Россиипрофессор, доктор технических наук, генеральный директорshra@gpntb.ru
Всего: 3

Ссылки

Гуреев В. Н., Мазов Н. А. Практическое применение библиометрического анализа при формировании журнального фонда // Информационные технологии в гуманитарных исследованиях. – 2012. – № 17. – С. 81–87.
Мазов Н. А., Гуреев В. Н. Изучение информационных потребностей ученых с использованием библиометрического анализа для оптимизации комплектования // Библиосфера. – 2012. – № 4. – С. 57–66.
Мазов Н. А. Оценка потока научных публикаций академического института на основе библиометрического анализа цитирования // Информационные технологии в гуманитарных исследованиях. – 2011. – № 16. – С. 25–30.
Мазов Н. А., Гуреев В. Н. Программы для наукометрических и библиометрических исследований: краткий обзор и сравнительный анализ // Электронные библиотеки: перспективные методы и технологии, электронные коллекции: Труды XV Всероссийской науч- ной конференции «RCDL-2013» (14–17 окт. 2013 г., Ярославль). – Ярославль : ЯрГУ, 2013. – С. 122–127.
Шрайберг Я. Л. Электронная книга, будущее библиотеки и общественное сознание: попытка осмысления и предвидения : ежегод. докл. конф. «Крым», год 2013. – М. : ГПНТБ России, 2013. – 71 с.
Arkhipov D. B. Scientometric analysis of nature, the journal. Scientometrics. – 1999. – № 46. – P. 51–72.
Beall’s List: Potential, possible, or probable predatory scholarly open-access publishers, 2013. – URL: http:// scholarlyoa.com/publishers (дата обращения: 12.08.2013).
Fourie I., Bakker S. Value of a manageable research life cycle for LIS A cancer library exploring the needs of clinicians and researchers as example. Electronic Lib- rary. – 2013. – № 31. – P. 648–663.
Garfield E., Sher I. H. KeyWords-plus(TM) – algorithmic derivative indexing // Journal of the American Society for Information Science. – 1993. – № 44. – P. 298–299.
Garfield E. KeyWords Plus – ISI's breakthrough retrieval method. 1. Expanding your searching power on current-contents on diskette // Current Contents. – 1990. – Vol. 32. – P. 295–299.
Larsen P. O., von Ins M. The rate of growth in scientific publication and the decline in coverage provided by Science Citation Index // Scientometrics. – 2010. – № 84. – P. 575–603.
Raan A. F. J. van. The use of bibliometric analysis in research performance assessment and monitoring of interdisciplinary scientific developments // Technikfolgenabschätzung – Theorie und Praxis. – 2003. – Vol. 1, № 12. – P. 20–29.
SciMAT: a new science mapping analysis software tool / Cobo M. J. [et al.] // J. of the American Society for Inform. Science a. Technology. – 2012. – Vol. 63, № 8. – P. 1609–1630.
Suseela V. J. Application of usage statistics for assessing the use of e-journals in University of Hyderabad A case study // Electronic Library. – 2011. – № 29. – P. 751–761.
Tenopir C., Mays R., Wu L. Journal article growth and reading patterns // New Review of Information Networking. – 2011. – № 16. – P. 4–22.
Younger P. Internet-based information-seeking behaviour amongst doctors and nurses: a short review of the literature // Health Information and Libraries Journal. – 2010. – № 27. – P. 2–10.
 Анализ тематики и цитирования публикаций в применении к формированию подписки на журналы | Библиосфера. 2014. № 1.

Анализ тематики и цитирования публикаций в применении к формированию подписки на журналы | Библиосфера. 2014. № 1.