Эволюция роботов и право XXI в.
Проводится анализ правового режима роботов в России и за рубежом, оцениваются нормотворческие инициативы. По мнению авторов, в настоящее время ставить вопрос о наделении роботов правосубъектностью преждевременно, однако в перспективе он рано или поздно войдет в юридическую повестку. В статье предложены возможные модели будущего регулирования сферы робототехники.
Evolution of robots and the 21st-century law.pdf Робототехника в развитии Робот - такой же результат развития человеческого общества в процессе его взаимодействия с природой, как и многие иные феномены искусственного мира. Академик В.С. Степин справедливо пишет, что основа взаимодействия человека с природой - практическая деятельность, в процессе которой он присваивает вещество и энергию природы (исходный материал), преобразуя их в формы, пригодные для своего потребления, а чтобы целенаправленно изменять исходный материал, человеку необходимы различные средства, которые служат проводниками воздействия на преобразуемый предмет и представляют собой усилители его естественных органов [1. С. 19-20]. Место робота в ряду таких средств очевидно: с его помощью человек, с одной стороны, хотел избавить себя от наиболее тяжелых, изнурительных видов деятельности, требующих объединения значительных ресурсов (эта идея видна уже в научно-фантастическом произведении «R.U.R.» К. Чапека - автора, из произведений которого и было заимствовано слово «робот»), с другой -преумножить свои возможности не за счет изменений в человеческой натуре. Такое функциональное назначение роботов прослеживается и в специальной литературе, где робототехника рассматривается как сформировавшаяся в 60-х гг. XX в. наука «о технических устройствах, способных заменять человека при выполнении сложной, однообразной, утомительной, небезопасной работы» [2. С. 11]. Первые роботы в полной мере отвечали этим подходам, представляя собой специальное оборудование - манипулятор (в некоторых документах слова «робот» и «манипулятор» - синонимы [3; 4.]), который управлялся по определенной программе, осуществляя установленный набор функций (действий). Эти роботы обладали строго ограниченной, контролируемой автономностью, и дальше их использования как оборудования, необходимого для улучшения производственных процессов, в практической плоскости речь не шла. Однако технологии развивались. Нейронные сети, способные опознавать изображения, понимать человеческую речь, самообучаться [5. С. 148], начали копировать принципы работы человеческого мозга. По мере совершенствования технологии искусственного интеллекта (artificial intelligence, AI), основное назначение которой - разработка алгоритмов, обеспечивающих компьютерное решение когнитивных задач, свойственных мозгу человека [6; 7. С. 70], развитие роботов приобрело новое направление. Они стали «социализироваться», встраиваясь в различные коммуникации в качестве субъектозамени-телей (робот-полицейский, робот-сиделка, робот-банковский служащий и т. д.) или помощников. В результате и в правовой науке появились суждения о том, что в некоторых отношениях робот выступает если не субъектом, то их участником [8. С. 85-102]. Отметим, что ряд экспертов относят искусственный интеллект к сфере робототехники, однако чаще его все-таки обособляют из-за способности к существованию без привязки к какому-либо устройству [9. С. 7-27]. В докладе Исследовательской службы Конгресса США от 26 апреля 2018 г., посвященном вопросам искусственного интеллекта, отмечается, что практически все открытые академические источники признают отсутствие общепринятого определения искусственного интеллекта во многом из-за существенно различающихся подходов. При этом исследователи, как правило, разграничивают понятия «робот» и «искусственный интеллект», и большинство из них сходятся во мнении, что искусственный интеллект является необходимым элементом автономной системы [10. С. 1, 4]. Х. Эй-денмюллер, рассматривающий робота как воплощенный искусственный интеллект (embodied AI), подчеркивает, что разумные роботы с возможностями машинного обучения (machine learning) не только используют огромный объем имеющихся данных, но и черпают их из собственного опыта и поступающей информации [11], адаптируя поведение и совершенствуя свои качества при взаимодействии с окружающим миром. Робот нового поколения, которого Н. Ричардс и У. Смарт определяют как небиологического автономного агента (non-biological autonomous agent) [12. С. 4], отличаясь высокой степенью автономности, действует как агент человека либо организации. Обобщив существующие подходы, Р. Кало определяет современных роботов как механические объекты, 1) воспринимающие мир, 2) обрабатывающие полученную информацию, 3) воздействующие на окружающую среду [13. С. 116, 118]. Идея современного робота, претендующего на «юридическую маску», состоит в том, что технология объединяет все три указанных качества. Отмечая воздействие на окружающую среду, мы имеем в виду, прежде всего, реальный мир, хотя дискуссии о пограничных состояниях виртуального и реального являются частью современного научно-правового дискурса [14. С. 35-40]. Такое проявление вовне может стать источником проблем, поскольку искусственный интеллект порождает сложные модели поведения. Программирование, ориентированное на развитие адаптивного потенциала и способностей робота к саморазвитию, в свою очередь, генерирует возможность непредсказуемой реакции с его стороны. Вместе с тем такие роботы способны к созданию оригинальных текстов, изображений (с неочевидностью их принадлежности какому-нибудь человеку), испытывая тем самым на прочность правовое регулирование интеллектуальной собственности [15. С. 66]; совершению действий, имеющих положительные правовые последствия (сделки); нанесению вреда действиями, которые осуществлены с высокой степенью самостоятельности (независимости) и не могут быть безусловно связаны с каким-либо физическим или юридическим лицом. В результате все больше экспертов приходят к выводу о необходимости устранения пробела в применении (распределении) ответственности за действия роботов, который не может быть преодолен с помощью существующих нормативных моделей [16. С. 175-183]. Последствия появления и развития разумных роботов для социальных отношений, общества в целом обсуждаются уже не только в связи с рисками и преимуществами автоматизации, но и в контексте угрозы утраты контроля за саморазвивающимся автономным искусственным интеллектом. Исследователи указывают на множество далеко идущих процессов, характеризуя их не иначе как «опасная ситуация», «волна потрясений», «разрыв ткани истории» [17; 18. С. 305310; 19]. Впрочем, нельзя не отметить и наличие альтернативной позиции: «искусственного интеллекта нет, не было и в ближайшее время не будет», а то, что называется искусственным интеллектом, - лишь компьютерная имитация некоторых человеческих функций [20]. Еще категоричнее С. Фокс, по мнению которого такие опасения не учитывают параллельно идущий процесс физического совершенствования человека: технологии, изменяющие природные способности людей, повышают их потенциал, и киборги превосходят по возможностям роботов. Соответственно, дебаты о будущем, сконцентрированные на роботах, некорректны, они не учитывают потенциал киборгов, число которых будет неуклонно увеличиваться [21]. И, тем не менее, какие бы споры ни сопровождали развитие феномена искусственного интеллекта, следует констатировать две важные для нашего исследования тенденции: 1) разделение «мира» роботов в результате развития технологий, прежде всего искусственного интеллекта, на две группы: - часть современных роботов - это оборудование, манипуляторы, выполняющие ограниченный набор функций и обладающие ограниченной автономностью; - другая часть - умные (sophisticated), саморазвивающиеся роботы с высокой степенью (уровнем) автономности (далее - «разумные роботы»); 2) постепенная и неуклонная социализация разумных роботов. Эта тенденция может быть обозначена так: от производственного оборудования до помощника (а где-то уже и субъектозаместителя) в определенных отношениях. В литературе в отношении роботов, созданных для взаимодействия с людьми, нередко используется термин «социальный робот» (social robot) [11]. Философами признается формирование двух реальностей: мира «естественного» и мира «искусственного» [22. С. 3, 9]. И нарастающая «самостоятельность» искусственного мира нередко определяет содержание фундаментальных проблем в различных сферах человеческого бытия. Важно отметить, что для научного дискурса разумные роботы уже обозначены как вызов, ведущие ученые указывают на необходимость выяснения социальных и психологических последствий внедрения «самопрограммирующихся роботов» в различные сферы жизнедеятельности [23. С. 5-31]. Более того, по мнению ряда исследователей, пришло время для признания универсального когнитивного разнообразия (universal cognitive diversity), поскольку без нового подхода, не сфокусированного на примере человека, будет сложно понять проблемы, с которыми мир столкнется при появлении интеллекта, превосходящего по возможностям человеческий [24]. Робот в российском праве Изначально робот рассматривался в праве исключительно как объект, т. е. часть внешнего для субъекта (человека и коллективных образований, в том числе имеющих статус «юридического лица») мира вещей, которые могли быть присвоены (созданы, уничтожены, переданы в результате сделки и т. д.). Такой подход господствует и сегодня: в юридическом смысле робот - имущество, а не «persona»; объект, а не субъект правоотношений. Тем не менее в последние годы все активнее развивается дискуссия о возможной субъектности робота, в которой уже выявились несколько направлений. Первый и самый сложный блок вопросов, обсуждаемых в связи с развитием разумных роботов, -определение их правового положения как объекта или субъекта [25-30]. Вторая часть правового дискурса менее футуристична. Ее исходная посылка: робот -объект права. Однако объект объекту рознь, и право должно учитывать уникальные черты разумных роботов и специфические риски, которые возникают в связи с их развитием [16; 31]. Третья составляющая дискуссии - предложение различного рода норм, направленных на развитие робототехники. В рамках этого направления не обсуждаются фундаментальные вопросы теории права, скорее, преобладают различные организационные аспекты при понимании того, что главный вопрос о пользе / вреде роботов решен: они признаются необходимыми и полезными. Таким образом, полемика о месте робота в праве включает очень широкий круг вопросов: от фундаментальных до организационных. В отечественной юридической доктрине до последнего времени (в данном случае «до последнего» следует понимать практически буквально: мы не найдем публикаций до 2016-2017 гг.) вопрос о правовом положении робота не обсуждался. Или, точнее, такого предмета обсуждения просто не существовало. Право рассматривало робота исключительно как «оборудование». Например, в советский период в отдельных актах [32] встречается указание на различные виды роботов в зависимости от их функций, особенностей устройства («промышленный робот», «роботы промышленные с контурным программным управлением», «роботы бытовые», «электромагнитные или пневматические роботы» и т.д.). В силу отсутствия специфики объекта нормы, относящиеся к робототехнике, содержались в основном в стандартах и классификаторах. В законах роботы даже не упоминались, что объективно соответствовало как состоянию технологического развития, так и уровню общественных отношений того периода. После 1991 г. российские нормативные акты, сохраняя понимание робота как оборудования («средства», «технического устройства», «устройства»), следуют советской традиции [33], во многих из них используется и прежняя терминология, основанная на функциях робота [34] («промышленный робот», «конвейерный робот», «терапевтический робот», «робот для подъема и размещения» (ГОСТ Р ИСО 9999-2014) или на особенностях его устройства («мобильный робот» ГОСТ Р 54344-2011). Однако нельзя не указать и на существенные отличия от советского периода. Во-первых, терминология обновляется: «робото-техническое средство», «робототехнический комплекс» (ГОСТ Р 54344-2011.); вводится определение робота. Национальный стандарт «Роботы и робото-технические устройства.» (ГОСТ Р 60.0.0.2-2016) рассматривает робота (robot), подобно международному стандарту, как «исполнительное устройство с двумя или более программируемыми степенями подвижности, обладающее определенным уровнем автономности и способное перемещаться во внешней среде с целью выполнения поставленных задач» [35]. Понятие «автономность» (autonomy) документ определяет как способность выполнять поставленные задачи в зависимости от текущего состояния и восприятия окружающей среды без вмешательства человека. Во-вторых, закрепляются понятия, отражающие нарастание автономности машин: «безлюдные технологии» (технологии, осуществляемые без непосредственного участия человека) (ГОСТ Р 54344-2011), «интернет вещей» (концепция вычислительной сети, соединяющей вещи (физические предметы), оснащенные встроенными информационными технологиями для взаимодействия друг с другом или с внешней средой без участия человека), «индустриальный интернет» (концепция построения информационных и коммуникационных инфраструктур на основе подключения к сети «Интернет» промышленных устройств, оборудования, датчиков, сенсоров, систем управления технологическими процессами, а также интеграции данных программно-аппаратных средств между собой без участия человека) [36]. В-третьих, в последние два-три года появляется сразу несколько документов стратегического планирования, направленных на развитие технологий искусственного интеллекта; специальные программы, предусматривающие нормативные изменения в этой области; соответствующие поручения. Они формируют политико-правовой базис для развития права -именно на их основе и с учетом их содержания готовятся проекты нормативных правовых актов. К числу интересующих нас положений1 [37], в частности, следует отнести: - признание необходимости развития высоких технологий в сфере робототехники и искусственного интеллекта в качестве стратегического направления (Стратегия национальной безопасности Российской Федерации (п. 70) [38]; Стратегия развития информационного общества в Российской Федерации на 20172030 гг. (п. 36) [36]); - отнесение робототехники к числу важнейших «сквозных технологий» (применяемых во всех отраслях). В Послании Президента Российской Федерации Федеральному Собранию Российской Федерации от 1 декабря 2016 г. отсутствие таких технологий признано угрозой «зависимого, уязвимого положения» для любой страны. Программа «Цифровая экономика Российской Федерации» [39] в число основных сквозных цифровых технологий включает: нейротехноло-гии и искусственный интеллект, компоненты робототехники и сенсорику; - постановка задач по созданию в кратчайшие сроки передовой нормативной базы в рассматриваемой сфере (Послание Президента Российской Федерации Федеральному Собранию Российской Федерации от 1 марта 2018 г.), с признанием необходимости ее постоянного обновления и построения на «гибком подходе к каждой сфере и технологии» [40]. Такая работа должна способствовать признанному необходимым снятию барьеров для разработки и широкого применения робототехники, искусственного интеллекта, беспилотного транспорта, электронной торговли, технологий обработки больших данных. Согласно Программе «Цифровая экономика Российской Федерации» разработка проектов нормативных правовых актов, обеспечивающих «регулирование правовых вопросов, связанных с использованием робототехники, инструментов искусственного интеллекта», должна быть осуществлена ко II кварталу 2019 г. Таким образом, наблюдается явное возрастание внимания к теме робототехники и искусственного интеллекта на государственном уровне, включение этой предметной тематики в сферу права, с конкретными планами по созданию специального регулирования. Намечаются (пока в самом общем виде) его принципы («гибкий подход к каждой сфере и технологии»). При этом документы стратегического, программного и порученческого характера являются очень общими, в них отсутствует терминологическое единство, что отчасти обусловлено слабой разработанностью принципиальных вопросов в правовой доктрине. Нельзя не заметить также, что вопросы робототехники и искусственного интеллекта в указанных документах к 2018 г. «растворились» в рамках более общего предмета - «цифровой экономики». Так, в Перечне поручений от 16 марта 2018 г. по реализации Послания Президента Российской Федерации Федеральному Собранию Российской Федерации от 1 марта 2018 г. слова «робототехника» и «искусственный интеллект» не упоминаются, поглощаясь более общим направлением «цифровая экономика» [41]. Несмотря на зримые технологические достижения, долгое время ни теоретиками, ни практиками не ставились вопросы ни о совершенствовании юридической модели робота как объекта прав, ни об изменении его места в субъект-объектной парадигме. Такое положение дел стало представлять очевидный «разрыв» между правом и реальными потребностями участников общественных отношений, вызванный отмеченным разделением «мира» роботов на обычные машины и разумных роботов. Расположение последних в субъект-объектной системе координат стало, в частности, приобретать крайне важное практическое следствие, как мы уже отмечали, в наиболее чувствительной области юридической ответственности. П. М. Морхат не без оснований замечает, что до недавнего времени проблема определения ответственности за действия машины разрешалась традиционно: «такая машина должна была рассматриваться исключительно как инструмент лица, обладающего или управляющего ей. Не возникало вопроса о личной ответственности такой машины или ее правосубъектности, поскольку машины не были способны осуществлять автономную или полуавтономную деятельность» [27. С. 128]. В 2016 г. группой российских юристов и представителей бизнеса был предложен направленный на устранение наметившегося «разрыва» проект закона «О внесении изменений в Гражданский кодекс Российской Федерации в части совершенствования правового регулирования отношений в области робототехники» [42]. Он появился на фоне отсутствия какой-либо юридической доктрины в области робототехники и искусственного интеллекта и содержал довольного много противоречивых новаций. Главной целью разработчиков было вовсе не комплексное регулирование вопросов робототехники, а поиск нового места разумных роботов, названных «роботизированными агентами». Авторы предлагали разделить мир роботов на собственно роботов и таких агентов. «Просто» роботы обозначались как имущество (с учетом специфики - источник повышенной опасности). Сложнее (и противоречивее) определялось положение роботизированного агента. В отношении него даже использовалось понятие «правоспособность», предоставлялась хоть ограниченная, но все-таки субъектность (правосубъектность). Роботизированный агент, по мысли авторов проекта, мог иметь обособленное имущество и отвечать им по своим обязательствам; от своего имени приобретать и осуществлять гражданские права и нести гражданские обязанности, быть истцом и ответчиком в суде. При этом слово «субъект» впрямую к роботизированному агенту не применялось (интересно, что некоторые авторы текста в обсуждениях для объяснения своей позиции именовали его «квазисубъектом, наделенным ограниченной правоспособностью»). Законопроект подвергся критике, иногда обоснованной, а порой - не в полной мере корректной, однако должный эффект он произвел: правовое положение робота стало предметом дискурса юристов. И как бы ни пытались иногда иронизировать над излишне футуристическими взглядами его авторов, плотину «прорвало», и в 2016-2018 гг. наблюдался небывалый всплеск активности ученых, возросло число работ о правовом положении робота [25, 28-31]. Спектр оценок предложенного проекта весьма разнообразен. Так, согласно точке зрения А. А. Иванова, «признание роботов-агентов субъектами права предполагает, что они обладают сознанием и волей, достаточными для участия в гражданском обороте», однако сейчас они не в состоянии оторваться от человеческого интеллекта [30]. В качестве возможного варианта им было предложено признание роботов-агентов «имуществом особого рода». Г. А. Гаджиев предположил, что по мере совершенствования искусственного интеллекта может возникнуть потребность в признании юридической личности роботов-агентов как «особой разновидности юридических лиц» («дополнение в виде слова «агент» означает, что такие роботы являются представителями кого-либо - физического или, чаще, юридического лица») [25. С. 21-22]. Впрочем, в отношении текущего периода его позиция, скорее, отличается сдержанностью: «Когда появится субъект, обладающий сознанием, совестью человека, тогда и настанет время для признания его субъектом правоотношений. Смогут ли программисты и специалисты в области вычислительной техники создать робота-агента, выполняющего множество социальных ролей? Если да, тогда и возникнет потребность в юридической маске» [Там же. С. 29]. Мнение В.В. Архипова, B.Б. Наумова состоит в том, что к роботам «могут быть применимы различные аналогии - от правил, применимых к животным (в том числе в случаях ответственности владельца источника повышенной опасности) или к юридическим лицам» [43]. О.А. Ястребов, соглашаясь с тем, что рассуждения о наделении правами субъектов, не принадлежащих к человеческому роду, полезны с точки зрения анализа самой возможности использования аналогии, тем не менее не видит смысла в рассуждениях об эволю-ционности регулирования в сфере искусственного интеллекта «в силу отсутствия в этой области непрерывности и повторяемости, присущих процессу эволюции». Он оперирует понятием «электронное лицо», понимая под ним «персонифицированное единство норм права, которые обязывают и уполномочивают искусственный интеллект (электронный индивид), обладающий критериями "разумности"» [28. C. 46, 50]. Важный эффект упомянутого законопроекта состоял в том, что после всплеска публикаций дискуссии не прекратились: в той или иной форме вопрос обсуждался в рамках мероприятий по тематике Legal tech. Это свидетельствует о признании проблемы юридическим сообществом, и, значит, до непосредственных правовых решений не так далеко. Некоторые авторы полагают, что они должны быть формализованы в 10-15-летний срок, в противном случае «связанные с этим коллизии станут источником многих социальных противоречий и напряженности» [44]. В целом сформулированные в ходе дискуссии подходы к развитию правового регулирования в сфере робототехники могут быть представлены следующим образом: - решение проблем в рамках существующих правовых конструкций (робот - имущество); - применение права по аналогии; - изменение подхода к правовой оценке разумных роботов: консервативный вариант - признать их имуществом со специфическими особенностями; инновационный вариант - признать определенную категорию роботов «лицами». Анализируя как проект, так и различные точки зрения, высказанные по предметам, которые в нем затронуты, можно заметить, что даже мнения конструктивных критиков, признающих пользу законодательных перемен, пронизаны мыслью, что предложенная модель исходит из преувеличенного представления об уровне развития искусственного интеллекта. Позиции авторов, допускающих юридическое «олицетворение» роботов, весьма разнятся и, скорее, пока формируют лишь общий абрис в отсутствие отчетливого представления о системе и последовательности нормативных перемен. Робот в зарубежных правопорядках Теперь обратимся к законодательству и юридической доктрине зарубежных стран. Здесь вопросы правового положения роботов стали разрабатываться раньше, чем в России (хотя и не значительно), причем соответствующие решения находили свое место и непосредственно в законах. Так, в Южной Корее в 2008 г. был принят Закон об умных роботах [45], в котором они понимаются как механические устройства, воспринимающие окружающую среду, распознающие обстоятельства, в которых функционируют, и наделенные способностью самостоятельно передвигаться. Документ в большей степени определяет развитие робототехники, включая меры государственной поддержки; он не затрагивает весь спектр проблем (дискурса), изложенный выше, концентрируясь на вопросах развития робототехники. Весьма практично поступила Эстония, где в 2017 г. в Закон о дорожном движении от 17 июня 2010 г. [46] были внесены изменения, регулирующие особенности правового режима «самодвижущегося робота», который определяется как передвигающееся на колесах или иной ходовой части в контакте с поверхностью земли, частично или полностью автоматическое или дистанционно управляемое транспортное средство, использующее датчики, камеры или иное оборудование для получения информации об окружающей среде, способное, используя эту информацию, передвигаться (частично или полностью) без контроля водителя. Схожие подходы мы наблюдаем в Германии, где 16 июня 2017 г. был принят Восьмой закон о внесении изменений в Закон о дорожном движении [47], разрешивших вопросы передвижения автомобилей со значительной или полностью автоматизированной функцией вождения. Среди закрепленных в законе качеств таких автомобилей - возможность для водителя перевести управление на себя либо деактивировать соответствующее устройство. Значимым событием в мире робототехники стало объявление в октябре 2017 г. на мероприятии «Инвестиционная инициатива будущего» (г. Эр-Рияд) о том, что человекоподобный робот Sophia, разработанный Hanston Robotics, получил подданство королевства Саудовская Аравия [48]. Более конкретные сведения о последствиях данного акта не раскрывались, хотя экспертов интересовало, получил ли робот какие-то права или правительство лишь собирается разработать систему прав для роботов. Некоторые из них подвергли критике данное решение, посчитав неправильным предоставлять гражданство роботу в ситуации, когда нарушаются права человека [49]. Как хорошо видно из предыдущего изложения, в зарубежных правопорядках имеется гораздо более существенное продвижение в части учета изменений в «мире» роботов. Во многом это следствие того, что имеющие значение для права вопросы гораздо раньше начали осмысливаться различными исследователями. Уже во второй половине 1980-х - начале 1990-х гг. в ряде зарубежных публикаций вопрос о правах робота был переведен из области научной фантастики в область права. Так, Л. Солум в работе 1992 г. задался вопросом, может ли искусственный интеллект стать лицом в юридическом смысле (legal person) [50. С. 1231-1287]. И хотя, по мнению ученого, на тот момент проблема имела сугубо теоретический характер в силу технологических причин, был исследован широкий спектр вопросов правосубъектности искусственного интеллекта (возможность выступать в качестве trustee, обладать конституционными правами и т. д.). Представьте себе, - размышлял Л. Солум, -что искусственный интеллект (одно из наделенных им устройств) будет утверждать, что он человек (person) и поэтому должен иметь конституционные права [50. С. 1257]. Ответ на этот «гипотетическое» обращение, по мнению ученого, зависит от существа таких прав. Например, им приведены аргументы в пользу предоставления права на свободу слова, поскольку это способствовало бы генерированию полезной информации. Однако самые сложные вопросы, пока не нашедшие окончательного решения, касались наделения искусственных сущностей правами не для реализации человеческих потребностей, а ради защиты самой искусственной индивидуальности (искусственного интеллекта). Указанный автор в своих рассуждениях отталкивался от одной из классических американских работ -исследования Дж. Грэя, содержащего обстоятельный и весьма интересный раздел о правосубъектности [51. С. 27-62], где отдельное внимание было уделено вопросам наделения ею неживых объектов (inanimate thing). Немало наблюдений Л. Солума, в свою очередь, стали важной отправной точкой для последующей дискуссии о комплексе прав агентов с искусственным интеллектом (artificially intelligent agents) как юридических лиц [52. С. 22]. Например, при всех различиях, особенно заметных при сравнении физических лиц и корпораций, правосубъектность обычно предполагает возможность иметь права собственности, выступать истцом и ответчиком в суде [50. С. 1231, 1239]. В том же 1992 г. Л. Уэйн предельно конкретизирует предмет дискурса: будем мы рассматривать автономные машины в качестве простых орудий их собственников или как неодушевленных зависимых юридических агентов (legal agents) принципала-человека [53. С. 105-106]. Данный автор склонен поддержать идею, что автономная техника, наделенная искусственным интеллектом, эволюционирует к точке, когда у некоторых машин появятся обязанности. Сущности, порождающие своеобразные юридические результаты, по его мнению, представляют собой «юридических агентов» и в какой-то степени несут самостоятельную ответственность за свои действия. Однако в связи с тем, что такие устройства порождают ответственность иного характера, нежели люди, выполняющие аналогичные задачи, их правильнее рассматривать как «неполные» юридические лица («incomplete» legal persons) [53. С. 107]. Данный подход впоследствии будет поддержан П. Асаро, допускающим наделение роботов как квазиагентов (quasi-agents) или квази-персон (quasi-persons) правами и обязанностями лишь частично [54]. Логика подобного «усеченного» варианта субъектности во многом подпитывается отсутствием у машин сознания и воли, а также «искусственностью» их интеллекта. В более развернутом виде вопрос о правосубъектности роботов поставил футуролог Г. Дворски [55], отметив, что развитие искусственного интеллекта и робототехники приближает нас к моменту, когда сложные машины будут соответствовать возможностям человека во всех смыслах, включая интеллект, сознание и эмоции. И тогда придется решить, являются ли они лицами (субъектами права). Постановка вопроса более чем ясна, в ее основе - понимание прогресса, который с неизбежностью приведет к появлению такого класса машин, который «задаст» человечеству вопросы онтологического характера. Однако ответы, которые даются на этот вопрос в различных источниках, разнятся. Часть авторов, подобно Г. Дворски, полагают, что когда развитие машин достигнет определенного уровня, уже не будет веских причин отказывать роботам в правах, поскольку это было бы «равносильно дискриминации и рабству». В обосновании наряду с технологическими аспектами прослеживается морально-этическая сторона, которая, заметим, едва ли не превалирует. Тот же морально-этический посыл, но несколько в другом аспекте, мы находим у В. Хартзога. Ссылаясь на исследования К. Дарлинг [56], чьи работы подтвердили склонность человека к формированию эмоциональных связей с человекоподобными роботами, ученый предупреждает, что насилие над ними влияет на людей. Кто-то, ударив ножом такого робота, может проявить тем самым антигуманные качества, что скажется и на его жизни, и на жизнях других людей. И с этой точки зрения целесообразно наделить роботов правами [57]. В научной литературе можно встретить и обобщенное представление о возможных специальных правах робота, например: не быть отключенным (против его «воли»), право на полный и беспрепятственный доступ к своему коду, право не подвергаться экспериментам, право на создание своей копии, право на неприкосновенность «частной жизни» [58]. В этих рассуждениях невольно проявляется многолетняя дискуссия о правах животных, которых именно гуманизм не позволяет считать безликим имуществом. В некоторых источниках авторы как раз прибегают к этой аналогии. Так, А. Сиддик обращает внимание, что признание прав за животными является напоминанием о том, что не только люди могут быть наделены правами [59]. В пользу наделения правами роботов выдвигаются и иные аргументы гуманистического свойства [60]. Вместе с тем часть исследователей убеждены, что машина останется машиной, она никогда не превзойдет человека и никогда не получит (не должна получить) никаких прав, и уж тем более прав, присущих человеку. Сторонники данной позиции готовы рассматривать роботов в юридическом смысле не более чем рабами, но уж никак не «партнерами» людей [61]. Признание машины сознательным существом, - высказывают опасения эксперты, - обязало бы уважать основные права робота. И - при таком допущении - человечество, следуя логике развития, было бы обречено на исчезновение в результате естественного отбора [62]. Пока явных плодов этой дискуссии на уровне национального законодательства не наблюдается, и право идет по весьма рациональному пути признания необходимости отражения особенностей разумных роботов в правовых нормах именно как машин -объектов прав. Пожалуй, впервые в юридическом дискурсе вопрос о правилах взаимодействия роботов и людей, ранее бывший предметом обсуждения писателей-фантастов (А. Азимов с его тремя законами [63. С. 62-63] и другие), был переведен в практическое русло в принятой 16 февраля 2017 г. Парламентом Европейского Союза резолюции «Нормы гражданского права о робототехнике» с рекомендациями для Ев-рокомиссии (European Parliament resolution with recommendations to the Commission on Civil Law Rules on Robotics) (далее - Резолюция о роботах) [54]. Резолюция, ориентированная на разработку законодательства в ближайшие 10-15 лет, предложила характеристики умных автономных роботов (autonomous robots), этический кодекс для их производителей, подпитав дискуссию о наделении роботов в перспективе особым правовым статусом (status of electronic persons), когда наиболее совершенные из них смогут создаваться как электронные лица (персоны) и нести ответственность за причиненный ущерб, если принимают решения автономно или иным образом самостоятельно взаимодействуют с третьими лицами. Среди характеристик умного робота упомянуты способности: 1) становиться автономным; 2) самообучаться; 3) адаптировать поведение. Специалисты неоднозначно восприняли тезис о наделении роботов правовым статусом, особенно фактическое предоставление прав, тем более «прав человека» [62; 65]. Р. Бикерстаф образно охарактеризовал «причудливыми видениями», основанными на научной фантастике, предложения об электронных лицах [66]. В апреле 2018 г. более 150 экспертов, среди которых специалисты по искусственному интеллекту и робототехнике, лидеры отрасли, специалисты в области права, медицины и этики, разместили Открытое письмо Еврокомиссии [67], отметив, что не стоит спешить с наделением роботов статусом электронной личности, такое решение неприемлемо ни с этической, ни с правовой позиций. 25 апреля 2018 г. Еврокомиссия представила ряд мер по развитию робототехники [68], и многие ученые вздохнули с облегчением, поскольку, как заметил Т. Бурри, она не поддалась призывам Европарламента предоставить правосубъектность искусственному интеллекту [69]. 10 апреля 2018 г. европейскими государствами была подписана Декларация о сотрудничестве в сфере искусственного интеллекта [70]. Сходные процессы наблюдаются и в Евразийском экономическом союзе (ЕАЭС). В соответствии с Распоряжением Евразийского межправительственного совета от 7 марта 2017 г. № 2 [71] к группе «отраслей будущего», имеющих высокую степень приоритетности как для большинства государств - членов ЕАЭС, так и для ряда ключевых игроков глобального научно-технологического развития (стран и / или компаний), отнесено производство роботов-помощников, свободно передвигающихся и взаимодействующих с людьми. В Указе Президента Российской Федерации от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» отмечается (в части развития цифровой экономики) необходимость внедрения национального механизма осуществления согласованной политики государств - членов ЕАЭС. Робот и право будущего. Некоторые выводы Понятия «субъект права», «лицо», «правосубъектность», «правоспособность», по справедливому выражению Г. А. Гаджиева - «"входной билет" в юридический мир» [25. С. 17]. Предоставляет его позитивное право, соответственно, выстраивание субъект-объектной реальности (признание кого-либо субъектом, равно как и признание кого-либо, чего-либо объектом) - это результат сознательной деятельности человека. Человек является первичным и главным субъектом, то есть тем, кто имеет возможность разделять все остальные явления в мире в логике «объект-субъект», именно он (и только он в настоящее время) наделяет тех или иных представителей растительного или животного мира, природные объекты, искусственные (антропогенные) объекты или вымышленные объекты свойством субъекта [26. С. 108]. Поиск оснований для возникновения новой субъ-ектности показывает, что все сводится к вопросу удовлетворения практических потребностей общества: универсального научно обоснованного теста на субъ-ектность не суще
Ключевые слова
робот,
робототехника,
искусственный интеллект,
правосубъектность,
цифровая экономика,
robot,
robotics,
artificial intelligence,
legal personality,
digital economyАвторы
Габов Андрей Владимирович | Институт законодательства и сравнительного правоведения при Правительстве Российской Федерации | чл.-корр. Российской академии наук, зам. директора | gabov@izak.ru |
Хаванова Инна Александровна | Институт законодательства и сравнительного правоведения при Правительстве Российской Федерации | д-р юрид. наук, исполняющая обязанности заведующего отделом зарубежного конституционного, административного, уголовного законодательства и международного права | ahavanov@mail.ru |
Всего: 2
Ссылки
Степин В.С. Цивилизация и культура. СПб. : СПб ГУП, 2011. 408 с.
Воротников С. А. Информационные устройства робототехнических систем. М. : Изд-во МГТУ им. Н.Э. Баумана, 2005. 384 с.
Постановление Госкомтруда СССР, Секретариата ВЦСПС от 26 июня 1989 г. № 213/11-39 «О внесении дополнений в Единый тарифноквалификационный справочник работ и профессий рабочих, выпуск 2, утвержденный постановлением Госкомтруда СССР и Секретариата ВЦСПС от 16 января 1985 г. № 17/2-54, с дополнениями, утвержденными постановлением Госкомтруда СССР и Секретариата ВЦСПС от 23 июня 1986 г. № 234/14-55». URL: www.consultant.ru
Концепция совершенствования организации и нормирования труда в условиях перехода к рыночной экономике, утвержденная постанов лением Госкомтруда СССР от 14 ноября 1990 г. № 429 «О концепции совершенствования организации и нормирования труда в условиях перехода к рыночной экономике». URL: www.consultant.ru.
Макаров И.М., Топчеев Ю.И. Робототехника: история и перспективы. М. : Наука; Изд-во МАИ, 2003. 349 с.
Рассел С., Норвиг П. Искусственный интеллект: современный подход. М. : ООО «И.Д. Вильямс», 2018. 1408 с.
Хайкин С. Нейронные сети: полный курс. 2-е изд. М. : ООО «И.Д. Вильямс», 2018. 1104 с.
Хабриева Т.Я., Черногор Н.Н. Право в условиях цифровой реальности // Журнал российского права. 2018. № 1. С. 85-102.
Keisner A., Raffo J., Wunsch-Vincent S. Robotics: Breakthrough Technologies, Innovation, Intellectual Property // Foresight and STI Governance. 2016. Vol. 10, № 2. P. 7-27.
Hoadley D., Lucas N. Artificial Intelligence and National Security. Congressional Research Service. April 26, 2018. 142 p.
Eidenmueller H. The Rise of Robots and the Law of Humans (March 26, 2017). Oxford Legal Studies Research Paper. 2017. № 27. Available at SSRN. URL: https://ssrn.com/abstract =2941001 or http://dx.doi.org/10.2139/ssrn.2941001 (дата обращения: 15.08.2018).
Richards N.M., Smart W.D. How should the Law Think about Robots? // Robot Law. Ed. by R. Calo, A.M. Froomkin, I. Kerr. Cheltenham, UK. Northampton, USA. Edward Elgar Publishing. 2016. 402 p.
Calo R. Robotics and the new cyberlaw. 2014. URL: https://www.researchgate.net/ publication/272547345_Robotics_and_the_New_Cyberlaw (дата обращения: 28.08.2018).
Хаванова И. А. Виртуальное и реальное: теория потоков в контексте налогово-правового регулирования // Финансовое право. 2017. № 4. С. 35-40.
Ролинсон П., Ариевич Е.А., Ермолина Д.Е. Объекты интеллектуальной собственности, создаваемые с помощью искусственного интеллекта: особенности правового режима в России и за рубежом // Закон. 2018. № 5. С. 63-71.
Matthias A. The responsibility gap: Ascribing responsibility for the actions of learning automata // Ethics and information technology. 2004. № 6 (3). P. 175-183.
Stephen Hawking: Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough? // Independent. Thursday 1 May 2014. URL: https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html (дата обращения: 01.09.2018).
Форд М. Роботы наступают: развитие технологий и будущее без работы. М. : Альпина нон-фикшн, 2016. 430 c.
Маск И. Интервью, данное на World Government Summit в Дубае. URL: https://www.youtube.com/watch?v=0Nbs6QRClqQ (дата обращения: 01.09.2018).
Новицкая Ю., Каляев И. Миф об искусственном интеллекте. Беседа с членом-корреспондентом РАН, профессором Игорем Каляевым. URL: http://zavtra.ru/blogs/mif-ob-iskusstvennom-intellekte.; http://www.ras.ru/digest/showdnews.aspx?id=8d311816-7c78-4892-a202-1ccbf2983b09 (дата обращения: 15.08.2018).
Fox S. Cyborgs, Robots and Society: Implications for the Future of Society from Human Enhancement with In-The-Body Technologies // Technologies. 2018. URL: https://www.mdpi.com/journal/technologies (дата обращения: 15.08.2018).
Пушкарев А.В. Философские основания искусственного интеллекта : дис.. канд. философских наук. Уфа, 2017. 164 с.
Степин В.С., Аршинов В.И., Гусейнов А.А., Лекторский В.А., Пружинин Б.И., Федотова В.Г. Анализ структуры и динамики науки в социокультурном контексте. Материалы обсуждения избранных трудов В.С. Степина // Вопросы философии. 2017. № 12. С. 5-31.
Yampolskiy R.V., Fox J. Artificial General Intelligence and the Human Mental Model. In Singularity Hypotheses: A Scientific and Philosophical Assessment. Edited by Amnon Eden, Johnny Seraker, James H. Moor, and Eric Steinhart. Berlin : Springer. 2012. URL: https://intelligence.org/files/AGI-HMM.pdf (дата обращения: 15.08.2018).
Гаджиев Г.А. Является ли робот-агент лицом? (Поиск правовых форм для регулирования экономики) // Журнал российского права. 2018. № 1. С. 15-30.
Габов А.В. Правосубъектность: традиционная категория права в современную эпоху // Вестник Саратовской государственной юридической академии. 2018. № 2(121). С. 105-121.
Морхат П.М. Искусственный интеллект: правовой взгляд: Научная монография. М. : Буки Веди, 2017. 257 с.
Ястребов О.Я. Правосубъектность электронного лица: теоретико-методологические подходы // Труды Института государства и права РАН. 2018. Том 13. № 2. С. 36-55.
Архипов В.В., Наумов В.Б. О некоторых вопросах теоретических оснований развития законодательства о робототехнике: аспекты воли и правосубъектности // Закон. 2017. № 5. С. 157-170.
Иванов А.А. Мечтают ли андроиды об электроовцах? (15.02.2017). URL: https://zakon.ru/blog/2017/02/15/mechtayut_li_androidy _ob_elektroovcah (дата обращения: 26.08.2018).
Незнамов А.В., Наумов В.Б. Вопросы развития законодательства о робототехнике в России и в мире // Юридические исследования. 2017. № 8. С. 14-25.
Классификатор ЕСКД. Класс 44. Оборудование технологическое специфическое», утвержденное постановлением Госстандарта СССР от 6 сентября 1979 г. № 100; «ГОСТ 26329-84 (СТ СЭВ 4292-83). Государственный стандарт Союза ССР. Машины вычислительные и системы обработки данных. Допустимые уровни шума технических средств и методы их определения», утв. Постановлением Совмина РСФСР от 30 июня 1987 г. № 275 «О мерах по дальнейшему совершенствованию работы жилищно-коммунального хозяйства в РСФСР»; «Общесоюзный классификатор. Стандарты и технические условия. ОКСТУ 1 80 011», утвержденный решением Госстандарта СССР от 13 ноября 1980 г. № 38. URL: www.consultant.ru
«ГОСТ Р 54344-2011. Национальный стандарт Российской Федерации. Техника пожарная. Мобильные робототехнические комплексы для проведения аварийно-спасательных работ и пожаротушения. Классификация. Общие технические требования. Методы испытаний», утвержденный введенный в действие Приказом Росстандарта от 28 июня 2011 г. № 158-ст; «ОК 029-2014 (КДЕС Ред. 2). Общероссийский классификатор видов экономической деятельности», утвержденный приказом Росстандарта от 31 января 2014 г. № 14-ст; «ГОСТ Р ИСО 9999-2014. Национальный стандарт Российской Федерации. Вспомогательные средства для людей с ограничениями жизнедеятельности. Классификация и терминология», утвержденный и введенный в действие приказом Росстандарта от 23 сентября 2014 г. № 1177-ст; «ГОСТ Р 60.0.0.2-2016. Национальный стандарт Российской Федерации. Роботы и робототехнические устройства. Классификация», утвержденный и введенный в действие приказом Росстандарта от 29 ноября 2016 г. № 1842-ст.
ОК 029-2014 (КДЕС Ред. 2). Общероссийский классификатор видов экономической деятельности, утвержденный приказом Росстандар-та от 31 января 2014 г. № 14-ст.
ISO 8373:2012 «Robots and robotic devices. Classification». URL: https://www.iso.org/standard/55890.html (дата обращения: 01.09.2018).
Стратегия развития информационного общества в Российской Федерации на 2017-2030 годы, утвержденная Указом Президента Российской Федерации от 9 мая 2017 г. № 203. URL: www.consultant.ru
Перечень поручений по итогам встречи с участниками форума «Интернет-предпринимательство в России», состоявшейся 10 июня 2014 года. URL: http://kremlin.ru/acts/assignments/orders/46152 (дата обращения: 01.09.2018))
Стратегия национальной безопасности Российской Федерации Утверждена Указом Президента Российской Федерации от 31 декабря 2015 г. № 683. URL: www.consultant.ru
Программа «Цифровая экономика Российской Федерации», утверждена распоряжением Правительства Российской Федерации от 28 июля 2017 г. № 1632-р. URL: www.consultant.ru
Указ Президента Российской Федерации от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года». URL: www.consultant.ru
Перечень поручений от 16 марта 2018 по реализации Послания Президента Российской Федерации Федеральному Собранию Российской Федерации от 1 марта 2018 г. URL: www.consultant.ru
Проект закона «О внесении изменений в Гражданский кодекс Российской Федерации в части совершенствования правового регулирования отношений в области робототехники». URL: //https://vk.com/ doc3420_439923163?hash=0a76aafed49c254276& dl=a16c15f566c9bef73f (дата обращения: 26.08.2018).
Архипов В.В., Наумов В.Б. Информационно-правовые аспекты формирования законодательства о робототехнике // Информационное право. 2017. № 1. С. 19-27.
Шустиков В. Коллизии «права роботов». URL: http://sk.ru/news/b/press/archive/2017/05/25/kollizii-_1c20_prava-robotov_1d20_.aspx (дата обращения: 25.08.2018).
Закон об умных роботах. URL: http://elaw.klri.re.kr/eng_mobile/viewer.do?hseq=17399&type=part&key=18 (дата обращения: 25.08.2018).
Закон о дорожном движении от 17 июня 2010 г. https://v1.juristaitab.ee /sites/ www.juristaitab.ee/files/elfinder/ru-seadused/%D0%97%D0%90%D0%9A%D0%9E%D0%9D%20%D0%9E%20%D0%94%D0%9E%D0%A0%D0%9E%D0%96% D0%9D%D0%9E%D0%9C%20%D0%94%D0%92%D0%98%D0%96%D0%95%D0%9D%D0%98%D0%98% 2002.07. 2018.pdf (дата обращения: 25.08.2018).
Закон о дорожном движении от 16 июня 2017. URL: https://www.bgbl.de/xaver/bgbl/ start. xav?start = %2F%2F *%5B%40attr_id%3D%27bgbl117s1648.pdf%27%5D#_bgbl_%2F%2F*%5B%40attr_id%3D%27bgbl117s1648.pdf%27%5D_1533560692 (дата обращения: 06.08.2018).
Cuthbert O. Saudi Arabia becomes first country to grant citizenship to a robot. URL: http://www.arabnews.com/node/1183166/saudi-arabia (дата обращения: 26.08.2018).
Greene T. Opinion: Saudi Arabia was wrong to give citizenship to a robot. URL: https://thenextweb.com/artificial-intelligence/2017/10/31/opinion-saudi-arabia-was-wrong-to-give-citizenship-to-a-robot/ (дата обращения: 26.08.2018).
Solum L. Legal Personhood for Artificial Intelligences // North Carolina Law Review, (April 1992). URL: http://scholarship.law.unc.edu/cgi/viewcontent.cgi?article=3447&context=nclr (дата обращения: 26.08.2018).
Gray J. The nature and sources ofthe Law. New York. The Columbia University Press. 1909. 349 p.
Filipe M. The Legal Status of Artificially Intelligent Robots: Personhood, Taxation and Control (June 1, 2017). Available at SSRN. URL: https://ssrn.com/abstract= 2985466 or http://dx.doi.org/ 10.2139/ssrn.2985466 (дата обращения: 26.08.2018).
Wein L. The Responsibility of Intelligent Artifacts: Toward an Automation Jurisprudence // Harvard Journal of Law & Technology. 1992. Vol. 6, Fall Issue. P. 103-154.
Asaro P.M. Robots and Responsibility from a Legal Perspective. 2007. URL: http://www.peterasaro. org/writing/ASAR0%20Legal%20Perspective.pdf (дата обращения: 21.08.2018).
Dvorsky G. When will robots deserve human rights. URL: https://gizmodo.com/when-will-robots-deserve-human-rights-1794599063 (дата обращения: 27.08.2018 г.).
Darling K. Extending Legal Rights to Social Robots. 2012. URL: http://robots.law.miami.edu/wp-content/uploads/2012/03/Darling_Extending-Legal-Rights-to-Social-Robots.pdf (дата обращения: 27.08.2018 г.).
Callahan M. Should robots have rights? URL: https://phys.org/news/2017-12-robots-rights.html (дата обращения: 21.08.2018).
Dvorsky G. When the Turing Test is not enough: Towards a functionalist determination of consciousness and the advent of an authentic machine ethics. URL: http://www.sentientdevelopments.com/2012/03/when-turing-test-is-not-enough-towards.html (дата обращения: 21.08.2018).
Siddique A. Robot rights? URL: https://www.citylawsociety.co.uk/single-post/2017/12/18/R0B0T-RIGHTS (дата обращения: 21.08.2018).
Renstrom J. Should Robots Have Rights? URL: https://www.thedailybeast.com/should-robots-have-rights (дата обращения: 21.08.2018).
Bryson J. Robots Should Be Slaves // http://www.cs.bath.ac.uk/~jjb/ftp/Bryson-Slaves-Book09.html (дата обращения: 21.08.2018).
Nevejans N. European civil law rules in robotics: study for the JURI Committee. European Parliament. Directorate-General for Internal Policies, Policy Department C, Citizens' Rights and Constitutional Affairs, Legal Affairs. 2016. URL: http://www.europarl.europa.eu/RegData/etudes/ STUD/ 2016/571379/IP0L_STU(2016)571379_EN.pdf (дата обращения: 21.08.2018).
Азимов А. Runaround / I, Robot = Я, робот. СПб. : Антология, 2018. 320 с.
European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). URL: http://www.europarl.europa.eu/sides/getDoc.do?type =TA&language=EN&reference=P8-TA-2017-0051#BKMD-12 (дата обращения: 01.08.2018). Перевод на русский язык доступен: http://robopravo.ru/riezoliutsiia_ies (дата обращения: 21.08.2018).
Caytas J. European Perspectives on an Emergent Law of Robotics (April 4, 2017). Columbia Journal of European Law : Preliminary Reference (Apr. 4, 2017). Available at SSRN. URL: https://ssrn.com/abstract=2956958/ (дата обращения: 21.08.2018).
Bickerstaff R. Do we need robot law?. URL: https://www.britac.ac.uk/events/do-we-need-robot-law (дата обращения: 15.08.2018).
Open letter to the European commission artificial intelligence and robotics. URL: http://www.robotics-openletter.eu/ (дата обращения: 21.08.2018).
Artificial intelligence: Commission outlines a European approach to boost investment and set ethical guidelines. URL: http://europa.eu/rapid/press-release_IP-18-3362_en.htm (дата обращения: 21.08.2018).
Burri T. The EU is right to refuse legal personality for Artificial Intelligence. URL: https://www.euractiv.com/section/digital/opinion/the-eu-is-right-to-refuse-legal-personality-for-artificial-intelligence/ (дата обращения: 29.08.2018).
Declaration of cooperation on Artificial Intelligence. URL: https://ec.europa.eu/ jrc/communities/ sites/ jrccties/ files/ 2018aideclarationatdigitaldaydocxpdf.pdf (дата обращения: 29.08.2018).
Распоряжение Евразийского межправительственного совета от 7 марта 2017 г. № 2 «О сферах экономики, обладающих интеграционным потенциалом в Евразийском экономическом союзе, и мерах, направленных на его использование». URL: www.consultant.ru
Архипов С.И. Субъект права: теоретическое исследование. СПб. : Изд-во Р. Асланова «Юридический центр Пресс». 2004. 469 с.
Darling K., Nandy P., Breazeal C. Empathic Concern and the Effect of Stories in Human-Robot Interaction (February 1, 2015). Proceedings of the IEEE International Workshop on Robot and Human Communication (ROMAN), 2015. Available at SSRN. URL:: https://ssrn.com/abstract=2639689 (дата обращения: 21.08.2018).
Hartzog W. Unfair and Deceptive Robots // 74 Md. L. Rev. 785 (2015). P. 785-829.
Bayern Sh. The Implications of Modern Business-Entity Law for the Regulation of Autonomous Systems // 19 Stanford Technology Law Review 93 (2015). P. 93-112.
Straub J. Does regulating artificial intelligence save humanity or just stifle innovation? (October 23, 2017). URL: https://theconversation.com/does-regulating-artificial-intelligence-save-humanity-or-just-stifle-innovation-85718 (дата обращения: 31.08.2018).
Etzioni O. How to Regulate Artificial Intelligence. URL: https://www.nytimes.com/2017/09/01/opinion/artificial-intelligence-regulations-rules.html (дата обращения: 31.08.2018).
Ястребов О.А. Искусственный интеллект в правовом пространстве: концептуальные и теоретические подходы // Правосубъектность: общетеоретический, отраслевой и международно-правовой анализ : сб. материалов к XII Ежегодным научным чтениям памяти проф. С.Н. Братуся. М. : Статут, 2017. С. 271-283.
Zimmerman E. Machine Minds: Frontiers in Legal Personhood (February 12, 2015). Available at SSRN. URL: https://ssrn.com/abstract=2563965 or http://dx.doi.org/10.2139/ssrn.2563965 (дата обращения: 31.08.2018).
Бенасайяг М. Мышление за пределами мозга // Искусственный интеллект: перспективы и угрозы. Курьер ЮНЕСКО. Июль-сентябрь 2018 г. URL: http://unesdoc.unesco.org/ images /0026/ 002652/265211r.pdf (дата обращения: 31.08.2018).
Пахман С. О задачах предстоящей реформы акционерного законодательства. Речь, написанная для произнесения в торжественном собрании Императорского Харьковского университета, 30 августа 1861 года. Харьков : В Университетской Типографии, 1861. 159 с.
Кавелин К. Права и обязанности по имуществам и обязательствам. В применении к русскому законодательству. Опыт систематического обозрения. С.-Петербург : Типография М.М. Стасюлевича, 1879. 143 с.
Азаревич Д. А. Юридические лица // Временник Демидовского юридического лицея. Книга двадцать восьмая. Ярославль : В типографиях: Губернского Правления, Земской Управы и г. Фальке в Ярославле, 1882. С. 1-84.
Guihot M., Matthew A. F., Suzor N. P. Nudging robots: Innovative solutions to regulate artificial intelligence. Vanderbilt Journal of Entertainment & Technology Law. 2017. URL: http://www.jetlaw.org/wp-content/uploads/2017/12/2_Guihot-Article_Final-Review-Complete_Approved.pdf (дата обращения: 01.09.2018).
Hallevy G. The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control // Akron Intellectual Property Journal: 2010. Vol. 4, is. 2. Article 1. P. 171-201.
Gless S., Silverman E., Weigend T. If Robots Cause Harm, Who Is to Blame? Self-Driving Cars and Criminal Liability (January 29, 2016). Available at SSRN: https://ssrn.com/abstract=2724592 or http://dx.doi.org/10.2139/ssrn.2724592 (дата обращения: 01.09.2018).
Muehlhauser L., Salamon A. Intelligence explosion: Evidence and import. In Singularity hypotheses: A scientific and philosophical assessment, ed. A. Eden, J. Seraker, J. H. Moor, and E. Steinhart. The Frontiers Collection. Berlin : Springer. 2012. URL: https://intelligence.org/files/IE-EI.pdf (дата обращения: 01.09.2018).
Харари Ю.Н. Sapiens. Краткая история человечества / Юваль Ной Харари; пер. с англ. Л. Сумм. М. : Синдбад, 2017. 570 с.
Anderson K., Waxman M. Law and Ethics for Robot Soldiers (April 5, 2012). Policy Review, 2012; Columbia Public Law Research Paper No. 12-313; American University, WCL Research Paper № 2012-32. Available at SSRN. URL: https://ssrn.com/abstract=2046375 (дата обращения: 01.09.2018).
Anderson K., Waxman M. Law and Ethics for Autonomous Weapon Systems: Why a Ban Won't Work and How the Laws of War Can (April 10, 2013). Stanford University, The Hoover Institution (Jean Perkins Task Force on National Security and Law Essay Series), 2013; American University, WCL Research Paper 2013-11; Columbia Public Law Research Paper 13-351. Available at SSRN. URL: https://ssrn.com/abstract=2250126 or http://dx.doi.org/10.2139/ssrn.2250126 (дата обращения: 01.09.2018).
Anderson K., Waxman M. Debating Autonomous Weapon Systems, Their Ethics, and Their Regulation Under International Law (February 28, 2017). Roger Brownsword, Eloise Scotford, Karen Yeung, eds., The Oxford Handbook of Law, Regulation, and Technology (Oxford University Press, July 2017), Chapter 45; Columbia Public Law Research Paper No. 14-553; American University, WCL Research Paper No. 2017-21. Available at SSRN. URL: https://ssrn.com/abstract=2978359 (дата обращения: 01.09.2018).
Asaro P. On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanisation of Lethal Decision-making // International Review of the Red Cross. Volume 94. Number 886. Summer 2012. P. 687-709.
Promotion and protection of all human rights, civil, political, economic, social and cultural rights, including the right to development. Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns (9 April 2013). URL: https://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf (дата обращения: 30.08.2018).
https://www.unog.ch/80256EE600585943/(httpPages)/F027DAA4966EB9C7C12580CD0039D7B5 (дата обращения: 05.09.2018).
Emerging Commonalities, Conclusions and Recommendations. URL: https://www.unog.ch/80256EDD006B8954 /(httpAssets)/EB4EC9367D3B63B1C12582FD0057A9A4/$file/GGE+LAWS+August_EC,+C+and+Rs_final.pdf (дата обращения: 05.09.2018).
Рассмотрение различных аспектов новых технологий в сфере создания смертоносных автономных систем вооружений в контексте целей и задач Конвенции (Представлено Российской Федерацией). Женева, 13-17 ноября 2017 г. URL: https://www.unog.ch /80256EDD006B8954/ (httpAssets)/ E9178CB855E3D8EDC12581D70065EF31 /$file/ 2017_GGEonLAWS_WP_Russian.pdf (дата обращения: 01.08.2018).
Доклад Независимого эксперта по вопросу об осуществлении пожилыми людьми всех прав человека для Совета по правам человека при ООН // A/HRC/36/48. Совет по правам человека. Тридцать шестая сессия. 11-29 сентября 2017 г. URL: http://digitallibrary.un.org/record/1304243/files/A_HRC_36_48-RU.pdf (дата обращения: 01.09.2018).
Федеральный закон от 20 мая 2002 г. № 54-ФЗ (ред. от 29.03.2010) «О временном запрете на клонирование человека». URL: www.consultant.ru
Шершеневич Г.Ф. Общая теория права. Лекции профессора Московского университета Г.Ф. Шершеневича, читанные в Московском Коммерческом институте в 1909/10 академ. году. Редактированное автором издание Студ. комиссии общ-ва взаимопом. С.К.И. Б\г, 1910. 320 с.
Переверзев С., Подолин А. Социальная математика = право. Новый язык юридической науки. URL: http://speranskylabs.ru/ (дата обращения: 01.09.2018).
Иванов А. А. О глубине машинизации права // Закон. 2018. № 5. С. 35-41.
Pasquale F. The Black Box Society: The Secret Algorithms That Control Money and Information // Harvard University Press. 2015. 311 p.
Регламент Европейского парламента и Совета Европейского Союза № 2016/679 от 27 апреля 2016 г. «О защите физических лиц при обработке персональных данных и о свободном обращении таких данных, а также об отмене Директивы 95/46/ЕС».
Goodman B. A Step Towards Accountable Algorithms? Algorithmic Discrimination and the European Union General Data Protection // 29th Conference on Neural Information Processing Systems. Barcelona, Spain. 2016. URL: http://www.mlandthelaw.org/papers/goodman1.pdf (дата обращения: 01.09.2018).
Joshua N., Castro D. How Policymakers Can Foster Algorithmic Accountability. 2018. May 21. URL: https://itif.org/ publica-tions/2018/05/21/how-policymakers-can-foster-algorithmic-accountability (дата обращения: 01.09.2018).
Guidelines on Regulating Robotics. 2014. URL: http://www.robolaw.eu/ RoboLaw_files/ documents/robolaw_d6.2_ guidelinesregulatingrobot-ics_20140922.pdf (дата обращения: 15.08.2018).