Web Scraping as a Method of Data Extraction in Sociological Studies: On Scientific Applicability
The article is devoted to a modern method of data extraction from the Web, web scraping, and its scientific significance and applicability in sociological studies. Based on trends across empirical sociological studies, concepts of digital sociology, science and technology studies (STS), computational sociology, and issues raised at recent international committees' meetings, the current research gives a definition of web scraping and presents an overview of its both methodological and technical opportunities, challenges, and limitations. Advantages and shortcomings are classified across a set of methodological, technical, judicial, ethic, financial, and professional issues and can serve as a perfect framework to be referenced to while weighing risks and rewards at the stage of research design. Comparison with conventional sociological methods, such as survey, in-depth interview or focus group, which lack response rates and have semantic distortions, holds prospects for web scraping as for a method that enables information extraction towards entire population in a timely and structured manner. According to sociology and the philosophy of science, the research aims to determine a place for the method of web scraping in the structure of sociological and scientific knowledge. By alleging to theories of scientific revolutions, science of synergies and the Vienna Circle ideas, the present study tries to prove that, under the circumstances of a shifting reality, scientific knowledge transforms correspondingly, and research questions imposed to the relevance and scientific meaningfulness of the new theory and its new methods are extremely prompt and expose the necessity of methodology conceptualization. This research is designed to overcome the stigmatization around studies, in which informational bases are mainly constituted by web-platform data. Dealing with online platforms, web scraping is successfully embedded into digital sociology and has potential in covering topics on platform economy. This article urges modern sociologists not to be frightened of learning new instruments and turning their research into interdisciplinary sociological studies. Web scraping benefits interdisciplinary research at the expense of its ability in the simplification of scientific verification processes.
Keywords
веб-скрейпинг,
цифровая социология,
социология интернета,
методы социологических исследований,
web scraping,
digital sociology,
sociology of Internet,
methods of sociological studiesAuthors
| Vilkova Olga V. | Higher School of Economics | olg.vilkova@gmail.com |
Всего: 1
References
Lupton D. Digital Sociology: Beyond the Digital to the Sociological // The Australian Sociological Association (TASA) Conference 2013. Melbourne, 2013.
Кравченко С.А. Новации в социологическом знании: по итогам XIII конференции ECA // Социологические исследования. 2018. № 2. С. 18-24.
Farrell D., Petersen J. The growth of internet research methods and the reluctant sociologist // Sociological Inquiry. 2010. № 1. P. 114-125.
Petersen J., Farrell D. Internet Surveys // The Blackwell Encyclopedia of Sociology. New York : John Wiley & Sons, 2016.
Petersen J., Farrell D. Online Research Methods // The Blackwell Encyclopedia of Sociology. New York : John Wiley & Sons, 2016.
Гришаева С.А., Куликова О.А. Социально-психологические особенности процесса трансформации социальной структуры общества и процесса коммуникации в цифровом пространстве // Цифровая социология. 2018. № 1. С. 29-34.
Крыштановская О.В. Бесконтактная социология: новые формы исследований в цифровую эпоху // Цифровая социология. 2018. № 1. С. 4-9.
Marres N. Digital Sociology: The Reinvention of Social Research. Cambridge : Polity Press, 2017.
Давыдов А.А. Компьютерные технологии для социологии (обзор зарубежного опыта) // Социологические исследования. 2005. № 1. С. 131-138.
Толстова Ю.Н. Социология и компьютерные технологии // Социологические исследования. 2015. № 8. С. 3-13.
Губа К.С. Большие данные в социологии: новые данные, новая социология? // Социологическое обозрение. 2018. № 1. С. 213-236. DOI: 10.17323/1728-192X-2018-1-213-236
Назарова И.Б. Непроведение опроса и отказ от интервью // Социологический журнал. 1998. № 1-2. С. 161-167.
Dillman D.A. et al. Response rate and measurement differences in mixed-mode surveys using mail, telephone, interactive voice response (IVR) and the Internet // Social science research. 2009. № 1. P. 1-18.
Markou E., Bourgeat E. Observing the work of interviewers: how the quality of the data collection is constructed // 13th Conference of the European Sociological Association (Un)Making Europe: Capitalism, Solidarities, Subjectivities / ed. by F. Welz. Athens: European Sociological Association, 2017. August 29 - September 1. P. 602.
Берестнева О.Г., Романчуков С.В., Шухарев С.О. Технология оценки качества работы интервьюеров // Здоровье и образование в XXI веке. 2016. № 3. C. 123-125.
Девятко И.Ф. Разработка подхода к количественной мультимодальной оценке когнитивной нагрузки интервьюеров: результаты пилотного квазиэксперимента // Вестник РУДН. Социология. 2018. № 4. С. 626-637.
Об информации, информационных технологиях и о защите информации: федер. закон от 27.07.2006 г. № 149-ФЗ.
О персональных данных: федер. закон от 27.07.2006 г. № 152-ФЗ.
Стребков Д., Шевчук А., Лукина А., Мелианова Е., Тюлюпо А. Социальные факторы выбора контрагентов на бирже удаленной работы: исследование конкурсов с помощью «больших данных» // Экономическая социология. 2019. № 3. С. 25-65.
Петрукович В.М., Иванов А.О., Зотов М.В., Федоров С.И. Влияние гипоксии на умственную работоспособность операторов с различными стратегиями переработки информации в оперативной памяти // Вестник СПбГУ. Социология. 2015. № 3. С. 27-37.
Дружилов С.А. Психическая напряженность в профессиональной деятельности операторов прокатных станов // Международный журнал прикладных и фундаментальных исследований. Психологические науки. 2014. № 5. С. 109-112.
Kuhn T. The Structure of Scientific Revolutions. Chicago : University of Chicago Press, 1962.
Carnap R. Scheinprobleme in der Philosophie. Hamburg : Felix Meiner Verlag, 1929.
Хакен Г. Тайны природы. Синергетика: учение о взаимодействии. Москва ; Ижевск : Институт компьютерных исследований, 2003.
Лакатос И. История науки и ее рациональные реконструкции // Из Бостонских исследований по философии науки. М. : Прогресс, 1978. С. 203-235.
Ogtit H. Factors Affecting Professionals' Selection in High and Low-Value Online Service Procurements // The Service Industries Journal. 2013. № 1 (33). P. 133-149.
Kokkodis M., Ipeirotis P. Reputation Transferability in Online Labor Market // Management Science. 2016. № 62 (6). P. 1687-1706.
Hannak A. et al. 2017. Bias in Online Freelance Marketplaces: Evidence from TaskRabbit and Fiverr // ACM Conference on Computer Supported Cooperative Work and Social Computing. 2017.
