Электронный каталог как объект оценки качества | Библиосфера. 2018. № 2. DOI: 10.20913/1815-3186-2018-2-85-92

Электронный каталог как объект оценки качества

Электронный каталог (ЭК) существенно отличается по составу, структуре, содержанию и способам реализации функций от своих карточных предшественников. Необходим пересмотр системы оценки качества каталога. В статье на основе терминологического анализа, анализа документального потока, мониторинга ЭК выявлены основные подходы к заданию дефиниций, признаки и функции электронного каталога, определен его компонентный состав как объекта анализа качества, выведены и детализированы показатели качества ЭК для каждого отдельного компонента.

Electronic catalog as an object of quality assessment.pdf 1. Постановка проблемы Сегодня, в ситуации кардинального преобразования системы распространения и потребления информации, изменения многих форм и направлений работы библиотек, усиления электронной составляющей в реализации основных их функций, задача формирования критериев качества библиотечных продуктов, их анализа и обеспечения приобретает новое содержание. Качество электронных каталогов (ЭК) - залог эффективного использования библиотечных фондов. Однако методики, разработанные в свое время для исследования качества карточных каталогов, не подходят для ЭК (хотя часть критериев качества может быть использована). Причины такой ситуации очевидны. Во-первых, существенно изменяется по сравнению со своими карточными предшественниками сам объект анализа - электронный каталог. Изменились не только носители информации, изменились форма, состав и структура каталога. Во-вторых, наполняются новым содержанием его функции. В-третьих, преобразуются методы реализации функций. Поэтому, безусловно, необходимо внедрение в этой области новых четких стандартов качества. Но на сегодняшний день не существует системы оценки качества электронных каталогов. Мало сказать, что задача построения такой системы актуальна, она неотложна. Для ее решения на первом этапе требуется рассмотреть каждое из трех названных направлений преобразований и уточнить объекты и характеристики, подлежащие анализу. Однако при подходе к решению мы столкнулись с неожиданными трудностями. Оказалось, что единое четкое определение, позволяющее выделить электронный каталог в ряду других сходных объектов, практически отсутствует. Понятие «электронный каталог» появилось в отечественной печати в 1970-х гг. Несмотря на это, в учебнике «Справочно-поисковый аппарат», изданном в 2015 г., говорится о трудности однозначного его определения [25]. Разные подходы дают свободу для толкования, позволяют включать в состав ЭК разные элементы, приписывать им разные функции. Попробуем разобраться, какой именно объект нам предстоит анализировать, проследив, какие характеристики приписывались ЭК в течение 27 лет, с момента формирования этого понятия в России по сегодняшний день. 2. Основа, состав и структура ЭК Для выполнения этой задачи мы предприняли анализ документального потока за вышеназванные годы и терминологический анализ. Принимались во внимание не только работы, непосредственно содержащие соответствующие дефиниции, но и публикации обобщающего характера, описывающие ЭК как специфический объект библиотечной практики. Результаты его представлены в таблицах 1 и 2 приложения 1 к данной статье (см. раздел «Материалы к опубликованным статьям» / № 2-2018/ Скарук Г. А. : Приложение на сайте: http://www.spsl.nsc.ru/professionalam/ bibliosfera/materialy-k-statyam/). Проанализировав массив публикаций за указанный период, мы выделили основные способы задания дефиниций: · через установление тождества с уже получившим определение объектом (АБИС, АИПC) [4, 12, 17, 19, 26]; · через выбор базового понятия (АИС, библиотечный каталог) и дополнения его характеристиками, позволяющими идентифицировать объект [7, 10, 12]; · через уточнение функционального назначения [2, 3, 7, 10, 12-14, 17, 18, 23, 27, 28, 30, 31]; · через описание содержания входящих в ЭК баз данных или перечисление программно-технологических модулей [2, 7, 11, 15-18, 22]. Таблицы содержат конкретные признаки объекта, выделенные по каждому из оснований различными авторами (столбец 2). Далее в ячейках таблицы распределены по годам издания ссылки на документальные источники, в которых были приведены соответствующие характеристики, в списке литературы приложения (см. раздел «Материалы к опубликованным статьям» / № 2-2018/ Скарук Г. А. : Приложение на сайте http://www.spsl.nsc.ru/professionalam/bibliosfera/ materialy-k-statyam/). Справедливости ради нужно сказать, что ЭК признавался тождественным автоматизированной библиотечно-информационной системе только в 20 веке. Позже определились два основных подхода. Первый из них основывается на базовом понятии «библиотечный каталог», второй - «база данных». Оба понятия дополнялись уточняющими характеристиками. Термин «библиотечный каталог» чаще всего использовался при задании дефиниций. Наиболее часто в печати приводится определение, закрепленное в ГОСТ 7.76-96 «Комплектование фонда документов. Библиографирование. Каталогизация. Термины и определения». ЭК - машиночитаемый библиотечный каталог, работающий в реальном режиме времени и предоставленный в распоряжение читателей [7]. Раскрыв согласно ГОСТу понятие «библиотечный каталог», получаем «совокупность расположенных по определенным правилам машиночитаемых библиографических записей на документы, раскрывающая состав и содержание фонда библиотеки или информационного центра, предоставленных в распоряжение читателей в реальном режиме времени (курсив наш)». Исходя их этих определений, мы должны исследовать качество библиографических записей, наличие информации о принадлежности к тому или иному библиотечному фонду и возможность работы в режиме реального времени, что явно недостаточно для характеристики качества в полном объеме. Обратимся к другому подходу. Изменение технической базы, структуры и свойств ЭК дало основание использовать для его описания термины из области информатики [5, 14, 17, 21]. Такого рода определение предлагает, например, В. В. Мосягин. Он характеризует ЭК с точки зрения структуры и расширения поисковых возможностей: «Электронный каталог библиотеки (синоним: библиографический банк данных (БнД) библиотеки) - совокупность библиографических и лексикографических БД в комплексе с системой управления БД и набором прикладных программ, обеспечивающих принципиально новые возможности поиска по сравнению с традиционными библиотечными каталогами» [21]. ЭК рассматривается как основная подсистема любой АБИС. При рассмотрении ЭК в качестве БнД базовым становится понятие «автоматизированная информационно-поисковая система». Путем подстановки ряда определений из ГОСТ 7.73-96 «Поиск и распространение информации» получаем следующую характеристику АИПС: «Автоматизированная ИПС - совокупность справочно-информационного фонда (совокупности информационных массивов и связанного с ними справочно-поискового аппарата) и технических средств информационного поиска в нем1» [6, с. 3]. Банк данных, в свою очередь, - это АИПС, включающая базы данных и системы обработки, поиска и хранения информации. Заметим, что, согласно ГОСТу, функции этого подкласса АИПС оказываются шире, чем функции основного класса. Это усложняет задачу определения границ понятия. Как правило, не конкретизируются ни содержание БД, ни состав управляющих программ. Уточняющие аспекты чаще всего формулируются следующим образом: БнД, «отвечающий признакам каталога» [4], «осуществляющий поиск в режиме каталога» [24], то есть и в этих случаях производится отсылка к понятию «библиотечный каталог». Это доказывает, что подходы не исключают друг друга, а являются взаимодополняющими. Итак, если рассматривать ЭК как ИПС, то мы можем сказать, что это - система, обеспечивающая поиск и отбор необходимых данных в специальной базе с описаниями источников информации на основе информационно-поискового языка и соответствующих правил поиска. Значит, при оценке каталога мы должны исследовать качество данных, хранящихся в БД (в том числе библиографических записей); качество используемых информационно-поисковых языков (ИПЯ) и их машиночитаемых словарей (лексикографических БД); качество справочно-поискового аппарата, правил и методов поиска. Две последние характеристики для пользователей представлены через пользовательский интерфейс ЭК. Следовательно, мы должны оценить также и его качество. Как известно, это - набор программных и аппаратных средств, обеспечивающих взаимодействие пользователя с компьютером. Интерфейс объединяет в себе все элементы и компоненты программы, которые способны оказывать влияние на взаимодействие пользователя с программным обеспечением, это не только экран, который видит пользователь. Но если необходимость анализа программных средств сомнений не вызывает, аппаратные средства вряд ли целесообразно вводить в систему оценки качества ЭК. Дело в том, что компьютеры разной мощности, на которые установлена одна и та же программа, будут работать с разной скоростью и показывать разную временную эффективность при выполнении одного и того же запроса. Это не означает, что перед нами два разных электронных каталога разного качества. Думается, что с точки зрения качества целесообразно оценивать функциональность интерфейса и его графический дизайн (наглядность). Сегодня для характеристики интерфейса все чаще используется понятие «юзабилити». Юзаби́лити (от англ. usability - удобство и простота использования, пригодность использования, эргономичность) - способность продукта быть понимаемым, изучаемым, используемым и привлекательным для пользователя в заданных условиях (ISO/IEC 25010) [8]; свойство системы, продукта или услуги, при наличии кото- рого конкретный пользователь может эксплуатировать систему в определенных условиях для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью (ISO 9241-210) [9]. В этом понимании интерфейс современного библиотечного каталога должен обеспечивать не только удобство работы пользователя, но и ее эффективность. Как показал опыт, сочетать эти требования на практике достаточно сложно. При уточнении объекта оценки качества возникает еще одна проблема. Нельзя не заметить, что в рамках охарактеризованных выше подходов посредством термина «электронный каталог» описываются понятия различного объема. Так, в качестве ЭК может рассматриваться собственно база данных (компонент информационно-технологического обеспечения АБИС). В других трактовках, помимо базы данных, в состав ЭК должны быть включены программно-технические и лингвистические компоненты, обеспечивающие на основе соответствующей базы данных реализацию присущих каталогу функций. Если рассматривать библиотечный каталог как модель («зеркало») [26] библиотечного фонда, то справедлива именно первая трактовка. В то же время в печати встречаются и более широкие толкования. По нашему мнению, в исследованиях качества целесообразно применять широкий подход. Под ЭК в нашем исследовании будем понимать совокупность библиографических и лексикографических БД, системы управления БД и систем обработки, хранения и поиска информации. Однако в последнее время чаще используется определение, характеризующее состав данных, включенных в ЭК: библиотечный каталог в машиночитаемой форме, представляющий собой совокупность библиографических, авторитетных и холдинговых данных [22, 25]. Это определение не является полным, однако показывает, какие виды информации в составе БД ЭК должны подлежать оценке: · библиографические записи (полнота идентифицирующих признаков, соответствие правилам библиографического описания, грамматическим правилам, качество поисковых образов (ПОД)); · контролируемые точки доступа (все виды заголовков библиографической записи (БЗ); имен лиц, родов (семей, династий), унифицированные заглавия, географические названия, цифровые и буквенные обозначения документов, предметные рубрики, индексы классификационных систем и т. д. - правильность формулировки и приведения); · сведения об экземплярах и их местоположении (полнота и точность приведения). Дополнительные трудности при анализе качества возникают из-за исключительного разнообразия проектов ЭК и подходов к их реализации. Объекты (электронные каталоги) все более усложняются, им придается все больше полезных свойств, поэтому при квалиметрическом анализе приходится учитывать все больше и больше показателей. 3. Функции и способы их реализации С точки зрения квалиметрии определение качества предполагает проведение предварительного анализа объекта, его функций, предъявляемых к нему требований [29]. Только потом должно следовать обоснование номенклатуры показателей качества, методов их измерения и оптимизации. Вновь обратимся к приложению 1. Первое место по числу и постоянству упоминаний занимает поисковая функция ЭК - 26 упоминаний в изученной профессиональной литературе, например [2, 3, 11-14, 23]. Далее следует информационная функция (раскрытие содержания библиотечного фонда, предоставление библиографической информации и т. п.). Из этого вытекает вывод, что в систему исследования ЭК должны войти анализ качества процесса и результатов поиска, а также качества визуализации содержания фонда, экспликации свойств поисковых языков. Отметим новые аспекты, появившиеся в описании этих функций в последние годы: «поиск из внешних источников» [10], «предоставление информации о фондах группы, корпорации библиотек» [27]. Помимо распространения сводных и распределенных каталогов (что выводит на одно из первых мест в оценке качества критерии единообразия, устойчивости индексирования документов), развиваются каталоги нового поколения, важнейшая особенность которых - возможность доступа из единого поискового интерфейса ко всем информационным ресурсам библиотеки, включая локальные электронные коллекции и удаленные полнотекстовые базы данных с лицензионным доступом. Однако ни в одной из систем, позиционируемых непосредственно как каталоги нового поколения, эта особенность не реализована в полной мере. Следовательно, особое внимание в наших исследованиях должно отводиться возможностям интеграции данных из различных БД. Также следует, на наш взгляд, отметить выделение в ряду общих функций направления «помощь в поиске» [20, 22]. Оно отражает повсеместно распространившееся требование к АИПС - комфортность, удобство поиска. Этот подход также диктует ряд критериев оценки, причем не только эргономических. В этой области также сказывается общая тенденция разнообразия реализации этой функции в различных программах. Пока же можно выделить четыре общих направления: помощь в освоении и реализации поисковых навыков, помощь в создании поисковых предписаний, помощь в их корректировке, помощь в отборе пертинентных документов в выданном в ответ на запрос массиве БЗ. По каждому из них в разных, чаще экспериментальных, вариантах ЭК предлагаются разнообразные меры, поэтому здесь, кроме традиционного подсчета показателей, необходимо создать перспективную модель развития, в случае достижения каждой из позиций которой присваиваются дополнительные баллы. 4. Компонентный состав электронного каталога как объекта оценки качества Итак, из таблиц приложений видно, что ЭК всегда воспринимался как многофункциональный составной ресурс. По результатам анализа современный электронный каталог - сложный многокомпонентный объект, к различным компонентам которого следует применять разные критерии и методы анализа качества. Мы будем рассматривать в составе электронного каталога: · библиографические БД; · лексикографические БД; · фактографические данные, которые могут быть представлены как в самостоятельных БД, так и в составе библиографических БД; · систему управления БД; · систему обработки информации; · систему поиска; · пользовательский интерфейс; · систему обеспечения надежности хранения информации. Для каждого из этих компонентов уже на данной стадии исследования можно вывести ряд показателей качества (таблица, с. 89). Как видим, показатели качества каталогов при переходе в машиночитаемую форму существенно изменились, возросло их количество (можно сравнить, например, с перечнем, предложенным Т. Н. Ахалая [1]). Нами завершен первый этап выбора показателей качества: в рамках исследования проведено обоснование номенклатуры показателей качества ЭК, выявлены и детализированы показатели качества всех компонентов, входящих в состав электронного каталога. Далее с позиций системного подхода должны следовать систематизация (изучение взаимозависимости, взаимодействий и подчиненности) и обобщение (выделение из множества факторов главных, наиболее существенно влияющих на результат) показателей. Итогом исследования станет обоснование условий их использования в задачах стандартизации, анализа и управления качеством ЭК. Т а б л и ц а Показатели качества электронного каталога T a b l e Electronic catalog quality indicators Объект анализа качества Показатели качества Данные в библиографических БД (библиографические записи) Полнота накопленных описаний документов - отношение числа библиографических записей, имеющихся в БД, к общему числу единиц хранения в фонде. Идентичность данных - отношение числа БЗ, не содержащих дефекты и ошибки, к общему числу БЗ в БД. Актуальность данных - отношение числа устаревших данных о документах в БД к общему числу накопленных и обрабатываемых данных. Оперативность - степень соответствия динамики изменения описаний данных в процессе сбора и обработки состояниям реальных документов или величина допустимого запаздывания между появлением или изменением характеристик реального документа относительно его отражения в базе данных. Полнота идентифицирующих признаков в библиографических описаниях (БО) документов. Соответствие правилам библиографического описания (БО). Полнота отражения содержания документов в поисковом образе документа (ПОД). Глубина отражения содержания документов в ПОД. Устойчивость индексирования документов. Соответствие ПОД методике индексирования. Соответствие требованиям форматов представления данных для документальных и фактографических БД Данные в авторитетных файлах и других машиночитаемых словарях информационно-поисковых языков Полнота и детальность лексики ИПЯ, отраженной в авторитетных файлах. Идентичность данных - отношение числа авторитетных записей (АЗ), не содержащих дефекты и ошибки, к общему числу АЗ в БД. Актуальность данных - отношение числа устаревших данных о лексических единицах (ЛЕ) БД к общему числу накопленных и обрабатываемых данных. Оперативность - степень соответствия динамики изменения описаний данных в процессе сбора и обработки состоянию реальных ЛЕ естественного языка или величина допустимого запаздывания между появлением ЛЕ или изменением их характеристик относительно их отражения в базе данных. Правильность формулировки и приведения точек доступа. Соответствие требованиям форматов представления данных для лингвистических БД. Состав и функциональность грамматических средств ИПЯ. Наличие механизмов многоаспектного представления содержания документа/запроса средствами ИПЯ. Состояние и содержание методик индексирования на различных ИПЯ, в том числе: · степень адаптации к ситуации автоматизированного поиска; · степень ориентации на потребности пользователя ЭК; · предусмотренные ограничения в полноте и точности описания содержания документа/ запроса. Возможности манипулирования ИПЯ неподготовленными пользователями ЭК, в том числе: · объем и структурная сложность лексики и грамматики поискового языка; · наличие механизмов экспликации смысла лексических единиц (ЛЕ); · наличие механизмов экспликации структуры и состава ИПЯ; · степень соответствия структуры ЛЕ и нормативных словарей ИПЯ естественным речемыслительным структурам; · наличие механизмов уточнения темы запроса Фактографические данные Полнота и точность сведений о наличии и местоположении экземпляров изданий. Полнота и точность сведений о движении экземпляров Система управления БД Функциональная пригодность процессов формирования и изменения информационного наполнения БД. Доступность (возможности доступа к данным и представления результатов пользователям). Удобство использования малоквалифицированными пользователями (понятность, простота использования, изучаемость, привлекательность). Таблица (продолжение) Table (continued) Объект анализа качества Показатели качества Система управления БД Надежность и защищенность применения, в том числе: · уровень завершенности (отсутствие ошибок); · устойчивость к дефектам; · восстанавливаемость - свойство в случае отказа возобновлять требуемый уровень качества информации, а также корректировать поврежденные данные. Эффективность как соотношение между уровнем качества функционирования программного обеспечения и объемом используемых ресурсов при установленных условиях. Мобильность (адаптируемость, простота установки, замещаемость). Тестируемость Система обработки информации Функциональная пригодность процессов формирования и изменения информационного наполнения БД. Доступность (возможности доступа к данным и представления результатов пользователям). Удобство использования малоквалифицированными пользователями (понятность, простота использования, изучаемость, привлекательность). Надежность и защищенность применения, в том числе: · уровень завершенности (отсутствие ошибок); · устойчивость к дефектам; · восстанавливаемость - свойство в случае отказа возобновлять требуемый уровень качества информации, а также корректировать поврежденные данные. Эффективность как соотношение между уровнем качества функционирования программного обеспечения и объемом используемых ресурсов при установленных условиях. Мобильность (адаптируемость, простота установки, замещаемость). Тестируемость Система поиска Функциональные возможности ИПЯ, посредством которых представлено содержание документов в ПОД (эффективность поиска на ИПЯ). Удобство навигации в каталоге. Эффективность и надежность методик поиска. Эффективность алгоритмов поиска. Критерий релевантности. Полнота, четкость и легкость понимания инструкций по проведению поиска. Наличие автоматизированной системы помощи пользователям в освоении и реализации поисковых навыков, в создании поисковых предписаний, в их корректировке, в отборе пертинентных документов Пользовательский интерфейс Полнота задач пользователя, которые он решает при помощи системы. Соответствие физиологическим и психологическим возможностям человека. Удобство использования малоквалифицированными пользователями (понятность, простота использования, изучаемость, привлекательность). Наглядность и функциональность форматов ввода и представления данных. Устройства и технологии ввода данных. Число и удобство режимов работы пользователя с интерфейсом. Наличие и качество диалогов, взаимодействий и транзакций между пользователем и компьютером. Наличие обратной связи с пользователем. Комфортность как степень ощущения пользователем физического и психологического удобства при работе с интерфейсом. Соответствие эстетическим требованиям Система обеспечения надежности хранения информации Функциональная пригодность (наличие и число резервных копий информации; возможность хранения резервных копий на базе избыточных дисковых массивов; возможность хранения резервных копий на различных носителях; дисковые массивы с чередованием и зеркалированием данных). Гибкость (возможность настройки компонентов системы под различные условия работы). Информативность (полнота предоставляемой информации о состоянии безопасности системы). Таблица (окончание) Table (concluded) Объект анализа качества Показатели качества Система обеспечения надежности хранения информации Понятность (понимание предоставляемой информации). Надежность (гарантия длительной работоспособности). Удобство эксплуатации (удобство управления и обслуживания). Восстанавливаемость (возможность восстановления системы после сбоев). Учет человеческого фактора (невозможность пользователя своими ошибочными действиями снизить эффективность системы)

Ключевые слова

электронный каталог, признаки, функции, компонентный состав, оценка качества, показатели, electronic catalog, features, functions, component composition, quality assessment, indicators

Авторы

ФИООрганизацияДополнительноE-mail
Скарук Галина АнатольевнаГосударственная публичная научно-техническая библиотека Сибирского отделения Российской академии науккандидат педагогических наук, старший научный сотрудник отдела научной обработки документов ГПНТБ СО РАНskaruk@spsl.nsc.ru
Всего: 1

Ссылки

Ахалая Т. Н. Построение системы показателей оценки качества каталогов // Советское библиотековедение. 1981. № 6. С. 62-71.
Вислый А. И., Мосягин В. В. Поиск // Научные и технические библиотеки. 1992. № 10. С. 43-50.
Войскунский В. Г. Особенности поиска в электронных каталогах // Предметный поиск в традиционных и нетрадиционных информационно-поисковых системах. Санкт-Петербург, 1998. Вып. 12. С. 152-163.
Воройский Ф. С. Систематизированный толковый словарь по информатике. Москва, 1998. 375 с.
Гальцева Т. Е. Электронный каталог в библиотеке вуза // Научные и технические библиотеки. 1996. № 8. С. 6-11.
ГОСТ СИБИД 7.73-96. Поиск и распространение информации. Минск, 1997. 15 с.
ГОСТ СИБИД 7.76-96. Комплектование фонда документов. Библиографирование. Каталогизация. Термины и определения // Стандарты по библиотечному делу. Санкт-Петербург, 2000. С. 411-462.
ГОСТ Р ИСО/МЭК 25010-2015 Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов. URL: http://docs.cntd.ru/ document/1200121069 (дата обращения: 07.02.2018).
ГОСТ Р ИСО 9241-210-2016. Эргономика взаимодействия человек-система. Ч. 210. Человеко-ориентированное проектирование интерактивных систем. URL: http://docs.cntd. ru/document/1200141127 (дата обращения: 07.02.2018).
Дедик П. Е. Новые возможности доступа к ресурсам зарубежных библиотек: каталоги нового поколения // Научные и технические библиотеки. 2013. № 2. С. 65-84.
Загорская Е. И., Пашкова А. А. От системы каталогов к системе доступа: назначение и функции в интегрированной АБС // Библиотеки и ассоциации в меняющемся мире: новые технологии и новые формы сотрудничества : 5-я Междунар. конф. «Крым - 98». Москва, 1998. Т. 1. С. 156-163.
Зеленина Г. Н., Гальцева Т. Е. Электронный каталог в библиотеке // Научные и технические библиотеки. 1995. № 10/11. С. 68-72.
Карпова И. Н. Электронный каталог - центральное звено поискового аппарата автоматизированной библиотеки // Вузовские библиотеки на современном этапе. Состояние. Проблемы. Перспективы. Хабаровск, 1998. С. 87-91.
Кацура К. Доступ к справочной информации электронных каталогов через Интернет: новые возможности // Библиотеки и ассоциации в меняющемся мире: новые технологии и новые формы сотрудничества : 4-я Междунар. конф. «Крым - 97». Москва, 1997. Т. 2. С. 254-255.
Кобзаренко А. С. Электронный каталог как основа информационной системы библиотеки // Библиотека в школе. 2010. № 2. С. 26-28.
Кузьмин Е. И. Проблемы интеграции и доступности информационных ресурсов библиотек // Библиотечные компьютерные сети: Россия и Запад. Современные тенденции корпоративной работы библиотек в сетях передачи данных. Москва, 1998. С. 57-63.
Лавренова О. А. Есть такая запись в электронном каталоге // Библиотека. 2000. № 2. С. 30-33.
Лавренова О. А. Создание электронных каталогов в Российской государственной библиотеке: стратегия, лингвистика, проблемы // Научные и технические библиотеки. 1995. № 2. С. 42-49.
Маршак Б. И., Рагимова М. А., Соколовская В. С. Эволюция автоматизированной системы Сводного каталога научно-технической литературы // Научные и технические библиотеки. 2012. № 6. С. 5-12.
Мешечак Н. А., Карауш А. С. Повышение удобства использования интерфейса Web-ИРБИС // Научные и технические библиотеки. 2016. № 4. С. 43-55.
Мосягин В. В. Базы данных, электронный каталог и банк данных библиотеки // Научные и технические библиотеки. 1997. № 5. С. 3-6.
Селиванова Ю. Г., Масхулия Т. Л. Электронный каталог: формирование и поиск // Библиотечное дело. 2004. № 8. С. 20-21.
Скрипкина И. С. Функциональность электронного каталога следует изучать. Научные и технические библиотеки. 2014. № 5. С. 52-55.
Создание электронных каталогов. Из опыта работы Российской государственной библиотеки / Рос. гос. б-ка ; сост. О. А. Лавренова. Москва, 1996. 80 с.
Справочно-поисковый аппарат библиотеки : учебник / под ред. И. С. Пилко. Санкт-Петербург : Профессия, 2015. 288 с.
Столяров Ю. Н. Справочно-библиографический аппарат в структуре библиотеки как системы // Научные и технические библиотеки. 2007. № 3. С. 21-28.
Сукиасян Э. Р. Есть ли будущее у библиотечных каталогов? // Научные и технические библиотеки. 2013. № 3. С. 38-42.
Сукиасян Э. Р. Некоторые особенности работы с кадрами в Библиотеке Конгресса США // Научные и технические библиотеки. 2000. № 8. С. 50-60.
Сукиасян Э. Р. Системный анализ проблем управления качеством информационно-поисковой системы // Каталогизация и классификация. Электронные каталоги и автоматизированные библиотечные системы. Санкт-Петербург, 2012. С. 233-240.
Терминологический словарь по библиотечному делу и смежным отраслям знания / Рос. акад. наук, Б-ка по естеств. Наукам ; Сост. З. Г. Высоцкая [и др.]. Москва, 1995. 267 с.
Шрайберг Я. Л., Воройский Ф. С. Автоматизированные библиотечно-информационные системы России. Москва, 1996. 271 с.
 Электронный каталог как объект оценки качества | Библиосфера. 2018. № 2. DOI: 10.20913/1815-3186-2018-2-85-92

Электронный каталог как объект оценки качества | Библиосфера. 2018. № 2. DOI: 10.20913/1815-3186-2018-2-85-92