Докладу касперского социальный кредит и безопасность охват мира рейтингов
Основы системы
Базы данных управляются китайскими специалистами по экономическому планированию, Национальной комиссией развития и реформ (NDRC), Народным банком Китая (PBOC) и судебной системой страны.
Большая часть данных собирается из традиционных источников – финансовые, уголовные и правительственные записи, а также из существующих данных из ЗАГСов. Правительство Китая экспериментирует со сбором данных с помощью видеонаблюдения и передачи данных в реальном времени, например, данные мониторинга выбросов с заводов, хотя они не считаются первичными источниками.
Понятие социального кредитного рейтинга обычно вызывает гнев среди западных комментаторов, многие из которых рассматривают эту идею как оруэлловскую: авторитарное правительство, использующее большой объем данных и массовую слежку для подавления социальных свобод.
В Китае уже действует система «социального кредитного рейтинга» для физических лиц и предусмотрены мелкие наказания за некоторые проступки, такие как невыполнение долгов. Предотвращение посадки на поезда безнадежных должников – один из распространенных примеров. Но социальный кредит более бюрократизирован и технологически менее продвинут, чем представляют себе те, кто не сталкивался с ним.
До полного запуска еще далеко
Пекин официально предложил создать систему в 2000 году и опубликовал план по ее внедрению в 2014 году, запланировав завершение системы к концу 2020 года.
Но Китай, похоже, не смог уложиться в этот срок. Ряд провинций издали документы о том, как они будут обеспечивать соблюдение стандартов CSCS, но власти других провинций этого не сделали. С началом 2021 года, можно уверенно заявить, что полная система может быть запущена не раньше 2023 года.
Предоставляемые физическим лицам и корпорациям в других странах, китайская версия также может расширяться от личного кредита к другим аспектам жизни, включая оплату счетов и уголовные судимости.
На коммерческие предприятия, включая иностранные предприятия в Китае, распространяется корпоративная кредитная система, отслеживающая такую информацию, как налоговые платежи, выплаты по банковским кредитам и трудовые споры.
Хороший/плохой гражданин
Система социального кредита составляет баллы как для частных лиц, так и для компаний после сбора, агрегирования и анализа данных из различных источников.
Для предприятий, помимо собственной деятельности, предлагается предоставить информацию о своих партнерах и поставщиках в местные и национальные органы власти. Плохое поведение, низкая надежность и рейтинги поставщиков и клиентов также влияют на собственный кредитный рейтинг компании.
Хороший рейтинг приведет к вознаграждению, в то время как низкий рейтинг может привести к наказанию или санкциям в отношении отдельного лица или компании.
Лица, которые считаются ненадежными, могут столкнуться с рядом ограничений, затрагивающих разные области: ссуды, путешествия на самолете или железной дороге, а также образование.
Стремясь поощрять хорошее поведение, некоторые местные органы власти предложили эффективные стимулы: первоочередное медицинское обслуживание и отказ от залога за аренду государственного жилья.
Согласно отчету о системе корпоративного социального кредита, опубликованному Европейской торговой палатой в Китае в 2019 году, механизм вознаграждения не так развит, как элемент санкций.
В отчете было обнаружено, что санкции не ограничиваются штрафами или постановлениями суда. Компании, занесенные в черный список, могут столкнуться с более высокими показателями инспекций и целевых аудитов, ограничениями в государственных утверждениях прав на землепользование и инвестиционных разрешений.
Они могут быть исключены из льготной политики, такой как субсидии и налоговые льготы, а также столкнуться с ограничениями в отношении государственных закупок. Физические лица и компании, признанные ненадежными, будут публично названы и пристыжены.
Органы местного самоуправления обязаны подавать информацию, включая свои финансы, в централизованную систему. Согласно правилам китайского суда, местные органы власти считаются ненадежными, если они не заплатили вовремя подрядчикам или сфабриковали данные.
В таких случаях государственным чиновникам запрещается покупать билеты выше эконом класса на рейсы, поезда и паромы. Им запрещено оплачивать крупные счета в элитных отелях, ночных клубах и на полях для гольфа, а также покупать или ремонтировать недвижимость.
Физические лица или фирмы, которые были занесены в черный список за незначительные правонарушения, могут подать заявление о восстановлении своего статуса после того, как они выплатили свои долги и сохранили хорошую кредитную историю в течение определенного периода времени.
Почему Китай создал систему социального кредита?
Целью системы является повышение прозрачности для общества, но с другой стороны она служит правительственным инструментом контроля почти над всеми аспектами жизни своих граждан.
Идея создания общенациональной системы социального кредита в Китае обсуждалась в течение долгого времени, особенно жаркие споры шли о финансовом секторе.
Предложение о создании системы социального кредита, выходящей за рамки финансового сектора, было официально выдвинуто в 2011 году и объявлено премьер-министром Вэнь Цзябао.
Вэнь Цзябао отметил, что создание системы социального кредита обеспечит честность, самодисциплину, надежность и взаимное доверие, и что те, кто обманывает и нечестны, будут наказаны.
Под руководством нынешнего президента Си Цзиньпина Китай взвешивает необходимость дальнейшего открытия своих рынков с усилением мониторинга и надзора, хотя это вызывает вопросы о роли правительства в экономике.
По заявлению правительства, механизм оценки на основе данных служит объективным подходом к оценке надежности частных лиц и компаний.
Прогресс в системе социального кредитования Китая
На данный момент система все еще находится в стадии разработки и относительно фрагментирована, когда речь идет об обмене информацией между различными базами данных.
В июле 2019 года NDRC заявила, что 2,56 миллиона человек были лишены возможности совершать полеты, 90000 человек не могли пользоваться услугами высокоскоростной железной дороги, а 300000 человек были признаны китайскими судами ненадежными.
Сотни компаний и местных органов власти были названы и осуждены за различные правонарушения: несвоевременная оплата работникам и подрядчикам или незаконный сбор средств.
Однако некоторые иностранные фирмы становятся свидетелями роста затрат на соблюдение требований к раскрытию данных. В отчете Палаты Европейского Союза в Китае говорится, что, хотя базы данных содержат большой объем данных, система все еще далека от полного внедрения.
В отчете говорится, что выполнение механизмов санкций и обмен данными между различными частями системы все еще не завершены, но Китай работает над их модернизацией.
Споры вокруг системы
Наиболее спорным аспектом системы социального кредита для физических лиц является то, что она отслеживает поведение и присваивает гражданам рейтинг надежности, используя данные, которые, по мнению критиков, часто являются неполными или неточными.
Критики китайской системы социального кредита часто говорят, что стремление Пекина регулировать поведение и массовое наблюдение носит оруэлловский характер, когда правительство пытается контролировать каждую часть жизни людей, подобно тому, как это было описано в романе 1984 английского автора Джорджа Оруэлла.
Существуют опасения по поводу достоверности данных, защиты данных и вторжения в частную жизнь в Китае из-за слабого законодательства и правоприменения. Также остаются открытым вопрос – может ли тактика откровенного позора и санкций повысить доверие и снизить непогашенный долг, особенно среди местных органов власти и государственных фирм.
Ляо Ли, профессор финансов в Университете Цинхуа в Пекине, подсчитал, что только около половины из 1 миллиарда человек, включенных в базу данных, имеют полную кредитную историю. Это связано с рядом причин, например, личные данные, которые не отслеживаются должным образом, или распространение их среди многих компаний, но отсутствие консолидации.
Препятствование здоровой конкуренции
Европейская торговая группа была обеспокоена тем, что механизм внесения в черный список «организаций, пользующихся сильным недоверием» может превратить систему корпоративного социального кредита в инструмент для
Согласно проекту, опубликованному правительством Китая, компании могут быть внесены в список «рыночных субъектов, пользующихся сильным недоверием» по разным причинам, включая совершение мошенничества, злонамеренного сотрудничества, создание угрозы национальным или общественным интересам и нарушение законных прав и интересов клиентов.
В отчете подчеркивается, что критерии аналогичны мерам, упомянутым Министерством торговли в мае 2019 года, когда оно объявило, что составляет Список ненадежных организаций в условиях торговой и технологической войны с США.
Что же именно произойдет, если система будет утверждена в 2023 году. Китай перенесется в мир жестоких антиутопий, где нет места личному пространству или же наоборот, в будущем система сможет сделать недобросовестных людей порядочными и законопослушными гражданами? Так или иначе, не стоит бросаться из одной крайности в другую и заранее готовится к худшему.
Как активность в соцсетях может повлиять на качество вашей жизни, или Еще одна причина не делиться в Интернете всем подряд.
Оценка потенциала человека на основе его прошлых действий, круга общения и прочих факторов называется социальным рейтингом. Он похож на рейтинг, которым пользуются банки, изучающие вашу кредитную историю, прежде чем выдать деньги, но может включать гораздо более разнообразную информацию.
Социальные рейтинги уже используют во многих странах. Например, в США, в Нью-Йорке страховщикам официально разрешено принимать решения относительно стоимости полисов, анализируя данные из соцсетей.
Социальные рейтинги: что думают люди
Чтобы узнать, как пользователи относятся к социальным рейтингам, мы опросили более 10 тысяч человек по всему миру. И вот что мы выяснили.
О социальных рейтингах слышало чуть меньше половины опрошенных (46%). В Азии это явление более известно: в Китае, где рейтинги вводят на государственном уровне, о них знает 71% респондентов, а в Австрии и Германии — только 13%. При этом почти половина (45%) респондентов признались, что им сложно понять, как рассчитываются эти рейтинги. А в жизни с ними сталкивался лишь каждый пятый (21%) — хотя не исключено, что часть людей просто не знает, что отказ в кредите или аренде был как-то связан с социальным рейтингом.
Тем не менее с идеей, лежащей в основе социальных рейтингов, многие в целом согласны. Так, 70% участников опроса считает, что за некоторые поступки справедливо и правильно ограничивать людям доступ к общественным ресурсам — транспорту, образованию, аренде недвижимости и так далее.
К примеру, ради повышения безопасности почти половина опрошенных готова позволить государству мониторить социальные сети, а двое из пяти поделятся своими данными с бизнесом в обмен на скидки и дополнительные привилегии. И только около 20% опрошенных отметили, что интерес частных и государственных организаций к приватной информации их не радует.
Социальные рейтинги: что насчет технологий?
Многие из опрошенных нами людей готовы поддержать идею социальных рейтингов, вероятно, полагая, что она будет в общем и среднем выдавать справедливую и непредвзятую оценку. Увы, при имеющихся технологиях это, скорее всего, окажется не так.
Во-первых, в текущей реализации рейтингов сложно отслеживать ошибки. В ее основе лежат нейронные сети, о принципах работы которых мало знают не только участники нашего опроса, но и разработчики, не говоря уже о тех, кто пользуется такой системой. Понижая или повышая чей-то рейтинг, нейросеть не объясняет, на основании каких именно данных она пришла к этому решению. В результате организации приходится слепо доверять ей: машина сказала, что вам нельзя давать кредит, — значит, нельзя. Даже если на самом деле вы порядочный человек с хорошим и легальным доходом.
Если говорить о близких нам антивирусах, то уровень ложных срабатываний значительно варьируется от одного продукта к другому. Некоторые решения выдают неверные вердикты существенно чаще среднего, другие — реже (у наших продуктов при этом минимальный уровень ложных срабатываний). Так что, во-первых, все зависит от конкретной реализации. А во-вторых, полностью исключать вероятность ошибки все равно нельзя. В случае рейтингов, влияющих на человеческие права и даже судьбы, цена такой ошибки может быть очень велика.
Помимо того, что система может ошибаться из-за несовершенства алгоритмов или данных, на основе которых принимается решение, ее также можно намеренно взломать. Если говорить о социальных рейтингах на государственном уровне, то наши эксперты выделили три типа возможных атак на них.
1. Атаки на устройства, собирающие данные
Чтобы оценить, насколько высокий рейтинг следует присвоить конкретному человеку, системе нужно очень много информации о нем. Она получает эту информацию не только из соцсетей, но и с множества всевозможных камер и датчиков — так называемого Интернета вещей. Эти устройства, как правило, уязвимы и постоянно подвергаются атакам. Только за первую половину 2019 года мы обнаружили 105 миллионов попыток их взломать.
2. Атаки на программную реализацию
Чтобы присвоить социальный рейтинг, системе недостаточно собрать информацию, ее нужно еще обработать и интерпретировать. Механизм, который этим занимается, тоже может оказаться уязвимым — как к заражению вредоносным кодом, так и к довольно нестандартным атакам.
Например, злоумышленник может надеть очки с разноцветными линзами — и человек его без проблем узнает, а умная камера примет за кого-то совершенно другого. И все действия, которые он совершит, система запишет на чужой счет.
3. Атаки на логику системы
Наконец, злоумышленник может вычислить некоторые действия, повышающие или понижающие рейтинг. Если многократно повторить эти действия, рейтинг изменится до неузнаваемости. Так, эксплуатируя пробелы и недоработки в правилах, по которым работает система, можно накрутить рейтинг себе — или наоборот, испортить его кому-то другому.
Как подготовиться к социальным рейтингам
В общем, система социальных рейтингов может оказаться далеко не такой непредвзятой и справедливой, как того бы хотелось. Тем не менее такие системы уже используют в отдельных сферах, и скорее всего, со временем их будут внедрять шире. Полностью оградить себя от их ошибок, к сожалению, не получится. Однако можно попытаться минимизировать возможные риски.
Введение системы социального рейтинга или, как её ещё называют, системы социального кредита в Китае – вопрос практически решённый. Возможно ли введение аналогичной системы у нас, в России? Об этом в студии "Первого русского" ведущая Анна Шафран беседовала с советником президента "Сколтеха", экспертом в области международного регулирования искусственного интеллекта и сквозных технологий Юрием Цветковым.
Интересно, что большинство жителей Поднебесной против системы социального кредита не возражают. Более того, если судить по социологическим исследованиям, они считают, что общество, основанное на чётких и однозначных правилах, будет более справедливым.
Но удивляться тут нечему, считает Анна Шафран, – к такой системе китайцев подготовила конфуцианская мораль, по которой страна жила тысячелетиями. А вопросы справедливости очень важны для китайцев после "столетия унижения" – так в Поднебесной именуют период между 1839-м и 1949 годом, когда древнейшая страна, по сути, утратила субъектность и суверенитет и превратилась в лоскутное одеяло, которое делили между собой англичане, французы, японцы и Российская Империя.
Социальный рейтинг делит всех жителей Китая на четыре неравные касты. Первая – граждане класса А – обладают всем комплексом прав. У категории B прав поменьше. С – ещё меньше. И наконец, D – это абсолютные парии, аналог неприкасаемых в индийской кастовой системе.
Граждан низших категорий могут всячески воспитывать: запретить покупку билетов на поезд и самолёт, ограничить бронирование отелей, а если, скажем, человек с невысокой категорией пришёл в кино – его лицо могут показать на экране перед началом сеанса и рассказать, что это злостный неплательщик налогов или алиментов.
Свой рейтинг можно повысить: для этого надо сдавать кровь, заниматься волонтёрством, раздельно собирать мусор – ну и совершать прочие социально одобряемые поступки. Но, разумеется, путь вверх гораздо труднее, чем путь вниз. Потерять баллы рейтинга гораздо проще, чем приобрести.
Система социального рейтинга держится на двух китах. Во-первых, это повсеместное проникновение системы распознавания лиц, причём маски для этой системы не помеха. И во-вторых, это присутствие человека в многочисленных базах данных – банковских, медицинских, полицейских, которые обмениваются между собой информацией в режиме реального времени.
Возникает вопрос: возможна ли подобная система в нашей стране? К примеру, в Москве уже установлено более 200 тысяч камер видеонаблюдения с системой распознавания лиц, и их число неуклонно растёт, как и количество электронных баз, в которых есть информация о большинстве из нас, начиная с самой большой базы – "Госуслуги" – и кончая компактными базами по месту работы.
Компьютерная игра, перенесённая в реальность
Анна Шафран: – Юрий, давайте более детально расскажем нашим зрителям, в чём заключается суть этой китайской системы социального рейтинга.
Юрий Цветков: – В Китае, как вы уже отметили, эта концепция работает "в полный рост" и каждый год в неё добавляются новые элементы. Основа работы этой системы очень проста.
Технологии искусственного интеллекта, бурно развивающиеся в последнее время, позволяют обрабатывать большие массивы данных со скоростью, которая ещё недавно казалась невозможной. Для государства очень заманчиво иметь проанализированные сведения о жизнедеятельности граждан – это помогает понять, что происходит с обществом, какие у него потребности, что нужно поменять.
В принципе, это очень полезно для планирования, а как мы знаем, экономика в Китае плановая, поэтому властям надо понимать, как живёт население, какие у него есть проблемы и так далее. Однако эта система работает в две стороны. Собирая информацию о людях, об "объектах исследования", система может формировать и мнение о каждом из них и отражать картину поведенческого паттерна человека.
Поэтому и возникает большой соблазн разделить людей на некие категории: граждане, которые являются показательным примером, граждане, которые недотягивают до высшей планки, и дальше вниз по лестнице, вплоть до "проблемных граждан", которым надо исправляться.
Для восточной цивилизации, для Азии, этот путь социальной дифференциации в целом является понятным, потому что в этой парадигме общество там развивалось многие тысячелетия и гражданам достаточно ясны правила этой "игры". Но в других частях света применение системы социального рейтинга – решение неоднозначное, несущее множество скрытых рисков. И прежде всего это риск потери личной свободы и права выбора.
Система искусственного интеллекта, "зашитая" в социальный рейтинг, предполагает определённый алгоритм действий человека. То есть у человека теряется ощущение возможности что-то создавать, генерировать идеи и свободно распоряжаться своей судьбой. Он знает, что у него есть только два пути – правильный и неправильный.
Если человек хочет иметь определённый набор благ или пользоваться какими-то привилегиями, он должен следовать по пути благонадёжного гражданина, нравится ему это или нет. И, что самое важное, мы видим это по промежуточным результатам китайского опыта: человек может скатиться в самый низ социальной пирамиды, не совершив ни одного противоправного поступка.
Если раньше, что в Китае, что в России, что в других странах, критерии добропорядочности определялись законами, то при введении социального рейтинга можно оказаться на дне пирамиды, лишиться всех благ и оказаться на одной ступеньке с людьми, которые преступили закон. Это один из самых страшных рисков.
К разговору в студии подключилась по скайпу доктор медицинских наук, профессор кафедры неврологии РНИМУ им. Николая Пирогова, врач-невролог высшей категории Любовь Соколова.
Насколько опасен социальный мониторинг?
– Любовь Петровна, к вам вопрос: насколько эта система социального рейтинга способствует или нет психологическому комфорту в обществе? И насколько эта система применима к нам?
Любовь Соколова: – Внедрение любых, даже самых прогрессивных нововведений всегда вызывает разные мнения. И всегда появляются опасения, будь то новый вид транспорта или полёты в космос. Это касается и введения социального мониторинга – есть и плюсы, есть и минусы.
Но когда мы слишком углубляемся в вопрос "А чем нам это угрожает?", переживая о том, что будут ограничены какие-то наши свободы, – это уже проявление повышенной тревожности. Как врач я вам скажу: тревожиться мы всегда будем.
Если рассматривать этот социальный мониторинг с точки зрения положительного эффекта, то это хорошо для планирования. Кстати, это может быть хорошо и для диагностики заболеваний. Социальный мониторинг может пригодиться как при профилактике правонарушений, так и для выявления различных психоаффективных расстройств, всплеск которых мы наблюдаем в последнее время.
Что касается ограничений выбора и личных свобод. Когда люди начинают говорить об этом, многие забывают, что возможность выбора у нас есть каждую секунду, каждый миг. Решение о том, сделать сегодня утром зарядку или нет, человек принимает сам, и никто не сможет его в этом ограничить. А от этого может зависеть, к примеру, придётся ли ему завтра менять тазобедренный сустав или не придётся. Это связанные вещи. Но это как-то никого не волнует.
Но когда люди начинают говорить: "Ой, меня сняли на камеру, опять какой-то QR-код придумали. " – они не вспоминают, сколько уже этих кодов было в нашей жизни, ИНН или тех же номеров мобильных телефонов. Насколько всё это реально влияет на нашу жизнь?
Я не верю, что этот социальный мониторинг сможет существенно повлиять на наши свободы, если его попытаются внедрить у нас.
Почему попытка нас классифицировать вызывает тревожность
– Тем не менее в Китае уже есть исследования, которые говорят о том, что уровень тревожности граждан заметно повысился именно в связи с системой социального мониторинга. И это при том, что китайцы гораздо более подготовленные к такой системе.
Л.С.: – Это спорный вопрос. Действительно ли китайцы начали больше тревожиться из-за введения социального мониторинга? У них ведь и других поводов для этого немало.
С другой стороны, когда нас хотят как-то классифицировать, то поневоле начнёшь тревожиться. Но я не верю, что это станет возможным в России. Да и что значит – раздавать блага, исходя из того, в каком ты классе находишься? Какие блага? Возможность кредитования? А счастье можно измерить кредитованием? Счастье невозможно измерить количеством благ, которые получает человек в результате того, к какому классу его отнесли.
Те категории, которые ценны: счастье, здоровье – они действительно определяются классом, к которому меня отнесли? Никто нам не может дать благо быть здоровым или счастливым. И где мера того, что сделает нас счастливыми? Одному для этого надо много денег, другому – возможность принимать глобальные решения, а третьему для счастья нужно иметь возможность творить.
– Так вы какой из этого вывод делаете? Что система социального мониторинга, делящая людей на касты, которая вводится в Китае, в принципе не влияет на то, как человек ощущает себя в окружающем пространстве? Я правильно вас понимаю?
Л.С.: – Скажем так: в какой-то степени влияет, а в какой-то – нет. На людей, неуверенных в себе, наверное, влияет. Я бы даже сказала так: в той стране, где все блага раздаёт государство, наверное, это может повысить уровень тревожности. Потому что в этом случае всё будет зависеть от того, что человеку дадут или не дадут.
Но в той стране, где в большей степени всё зависит от самого человека, если многое в жизни человека определяется его собственными усилиями, тревожности будет меньше.
Система социального рейтинга по-китайски – это "чёрный ящик"
– Слова Любови Петровны для меня – это яркий пример того, что ни в коем случае нельзя смотреть на ту или иную проблему исключительно с одного ракурса. Если смотреть на проблему социального рейтинга с психологической точки зрения, то тут не всё так однозначно. Но когда всё это коснётся лично нас, когда нам будет предложена ситуация, в которой мы окажемся поделёнными на эти самые касты? Вот вам будет комфортно?
Ю.Ц.: – Совершенно некомфортно. Давайте посмотрим на этот вопрос с точки зрения демографии. Одна из проблем социального рейтинга состоит в том, что человек может даже не понять, в какой момент что-то пошло не так и это повлияло на его планы на дальнейшую жизнь.
К примеру, человек рассчитывал получить повышение по службе и соответствовал всем необходимым требованиям, но ему вдруг отказали, потому что система социального мониторинга решила, что этот человек неблагонадёжен. А причина может быть в том, что этот человек к определённому возрасту не выполнил программу по детям.
Система оценивает поведение человека и принятые им решения, даже если он не нарушал закон, в комплексе. После этого человеку выставляется оценка. И даже если на каком-то этапе он не чувствует дискомфорта, то это не означает, что он не поймёт это завтра, когда столкнётся с последствиями влияния социального рейтинга и его не выпустят за границу, он не получит повышения по службе и так далее.
И в этот момент человек начнёт задумываться: а как же так? У людей есть желание понимать природу вещей. И, упав в этом социальном рейтинге, человек попытается понять, что же с ним нет так. Законов он не нарушает, налоги исправно платит, никого не оскорбляет. Но почему-то он упирается в стеклянный потолок, потому что система считает, что он недотягивает до определённого уровня благонадёжности и образцовости. И это нарушает его планы на жизнь.
Ведь вроде бы мы вправе свободно распоряжаться своей жизнью. А тут получается – свободны, да не до конца. Потому что есть некие правила игры, которые нам даже не объяснили толком. Ведь система китайского социального рейтинга – это "чёрный ящик", который может породить всё что угодно. И люди не могут толком понять, по каким критериям системой принимаются те или иные решения. А отмотать цепочку назад и что-то выяснить невозможно.
Между тем человек, пытаясь выяснить, что с ним не так, может далеко зайти – до напряжения и даже депрессии. А пытаясь поднять свой рейтинг, человек станет искать какие-то пути, вплоть до неправовых. Любую идею можно довести до абсурда.
В чьих руках находятся рычаги системы мониторинга?
– То есть это всё иллюзии, когда нам говорят, что социальный рейтинг позволит иметь полную прозрачность и в перспективе полностью искоренить коррупцию? На самом же деле это система, у которой тоже есть рычаги, и они находятся в руках у определённых людей, с которыми можно попытаться договориться.
– Совершенно верно. Если мы представим, что эта система полностью автономна и существует сама по себе, то это будет реализованный сценарий очередного фильма про Терминатора и человечеству уже пора закачивать своё существование.
Но, к счастью, интеллектуальные системы ещё не настолько умны и в ближайшие 50-100 лет не поумнеют. Поэтому контроль за ними осуществляют люди, которые тренируют и вкладывают определённые алгоритмы в эту интеллектуальную систему.
Искусственный интеллект – это машина, работающая на данных. И чем больше данных она получила, тем лучше она ориентируется. Соответственно, как машина данные обрабатывает и какой логикой принятия решений она пользуется, зависит от людей, которые её программировали.
И тут возникает вопрос: а кто дал право этой группе программистов и разработчиков определять, что такое хорошо, а что такое плохо? Почему их мнение должно считаться особенным? И тут мы из области психологии переходим в область права.
С одной точки зрения, хорошо, когда государство понимает, чем живёт общество, и ему намного проще решить, где лучше построить больницу, куда провести дорогу или разбить парк. Но это только верхушка айсберга. А в глубине скрывается возможность заниматься социальной инженерией и задавать векторы поведения общества. О развитии общества здесь говорить невозможно.
У человека должно быть право выбора, и его нельзя нарушать. Можно поступиться какими-то свободами, скажем, ради всеобщей безопасности, но нельзя лишать людей права выбора. Это очень важный психологический момент. И по опыту Китая мы видим, как система социального мониторинга сводит это право на нет.
Ничего не забудется: система запомнит любой "хайп" и будет учитывать его постоянно
– Но ведь если подумать и примерить на себя эту систему социального рейтинга, всё видится совсем не радужно. Возьмём Александра Пушкина. С точки зрения этой системы, он был бы абсолютный маргинал: человек скандальный, вечно в какие-то истории попадал, даже на дуэлях дрался, постоянно жил в долг, даже Царь за него некоторые долги платил. Сидел, писал себе какие-то стишки, только бумагу тратил, на которой можно было бы бухгалтерский отчёт написать…
– А всё потому, что машина оценивает бездушно. По сути, она чуть сложнее шахматного компьютера и действует, исходя из данных, которые были в неё заложены. И пример с Александром Сергеевичем очень показателен. На самом деле, при внедрении социального рейтинга нет гарантии того, что система на вас не "набросится" и не сожрёт.
Мы говорим, что интернет помнит всё. Да, но каждое скандальное событие довольно быстро перекрывается следующим "хайпом". Однако система мониторинга действует иначе: она не только запоминает негативные события, но и постоянно учитывает их при каждом анализе, срезая рейтинг этому человеку.
Представьте, что этот социальный рейтинг был бы введён в России лет двадцать назад. И наши некоторые политики за свои высказывания или поступки в прошлом сейчас не просто в Думу не смогли бы избираться – их бы давно уже не было на политическом ландшафте.
В системе социального рейтинга есть психологические риски, есть огромные технологические риски, потому что система несовершенна, а система права задвигается на второй план. Готово ли к этому человечество?
А ведь человечество предупреждали, куда двигаться нельзя
Завершая программу, Анна Шафран напомнила, что писатели прошлых лет в своих антиутопиях пытались предупредить человечество, в каком направлении двигаться нельзя. Но то ли адепты тотальной цифровой слежки за людьми не читали эти книги, то ли, наоборот, очень внимательно читали и сделали соответствующие выводы, как не допустить описанных в антиутопиях способов обойти систему.
Временами дело доходит до прямых заимствований даже не из антиутопий, а из Откровения Иоанна Богослова – я сейчас говорю о предложении сделать людям татуировки с куар-кодами, чтобы ходить по ресторанам. Региональные власти тогда очень быстро отменили эту систему – я надеюсь, в том числе и потому, что тоже заметили слишком явную аналогию между своими действиями и предсказаниями Апокалипсиса.
Система цифрового рейтинга заставляет вспомнить роман Евгения Замятина "Мы", написанный 100 лет назад. Там действие разворачивалось в 32 веке, похоже, что человечество справилось быстрее.
Унификация, отказ от индивидуальности и как закономерный итог – полный отказ от фантазии и творческой мысли, превращение, по сути, в биороботов, существующих по чётким правилам и неспособных отклониться ни на шаг от заданной программы, – вот о чём предупреждал Замятин, и ровно к этому ведут человечество сторонники системы социального рейтинга. Возможно, для кого-то это рай, но мне кажется, что именно так может выглядеть ад.
Свобода разума, свобода воли – это неотъемлемая часть человеческой личности. Отказываясь от свободы, человек отказывается от образа и подобия Божьего. Удивительно, что многие атеисты и трансгуманисты мнят себя поборниками абсолютной свободы, но что они в итоге предлагают людям? Цифровой концлагерь, тотальное подчинение бездушной машине, отсутствие самой идеи свободы.
Обратите внимание на ту спешку и торопливость, с какой нам предлагают цифровизировать всё и вся. Быстрее, а то отстанем, а то не успеем! По сути, люди даже не успевают задуматься, как оказываются винтиками огромной бездушной системы, которой неизвестно кто управляет.
Давайте не будем торопиться. Давайте обсуждать перспективы и проговаривать опасения. Ведь мы же свободные люди. Пока ещё свободные люди. Или уже нет?
Законопослушность, честность, даже потребительское поведение — самые разные стороны жизни гражданина отслеживает китайская Система социального рейтинга. В Китае с 01.01.2021 принят новый гражданский кодекс, официально узаконивший «Систему социального кредита».
Суть идеи китайских специалистов, тщательно изучивших зарубежный опыт в этой области, заключалась в предложении наделить обитателей условного города N определенной суммой баллов. Эта изначальная сумма, гарантировавшая всем жителям равные стартовые условия, могла либо расти, либо уменьшаться — в зависимости от того, что полезного или вредного делал обладатель своеобразного "кошелька". Аналогичная система действует и в отношении юридических лиц — компании проверяют на соответствие экологическим, юридическим нормам. Оценке также подвергаются условия и безопасность труда на предприятиях, их финансовая отчетность.
Теперь у каждого гражданина есть стартовый рейтинг в 1000 баллов. Единый информационный центр анализирует каждого по 160 тысячам различных параметров из 142 учреждений.Если рейтинг больше 1050 баллов, то ты образцовый гражданин и маркируешься индексом ААА. С 1000 баллов можно рассчитывать на А+, а с 900 – на B. Если рейтинг упал ниже 849 – ты уже подозрительный носитель категории C, который запросто может быть уволен из государственных и муниципальных структур. Те, у кого 599 баллов и ниже попадают в группу D, это сравнимо с “черной меткой”, так как их не возьмут на работу даже таксистом.
Люди с рейтингом D не могут устроиться на нормальную работу, им не дают кредиты, не продают билеты на транспорт и даже могут отказать в аренде велосипеда. Для сравнения, человеку с рейтингом А+ велосипед в аренду дадут бесплатно и еще разрешат полчаса кататься на нем без единого юаня. Человек со средним рейтингом С велосипед дадут только под залог в 200 юаней.
С людьми из категории D остальные боятся даже разговаривать, потому что кто-то может сообщить властям, что ты общался с человеком из “черного списка” и твой рейтинг могут понизить. А также низкий рейтинг приведет к публичному порицанию и осмеянию: обнародованию имен провинившихся вплоть до личного информирования знакомых, сослуживцев и родственников.
Согласно официальному государственному плану, к 2020 году в КНР планируется внедрить единую систему социального рейтинга граждан. Что это такое и почему она вызывает опасения в основном лишь за пределами Китая? В иностранных СМИ кредитную систему граждан уже давно окрестили антиутопической. Кажется, что все самые страшные для свободолюбивого человечества сценарии из «1984» Джорджа Оруэлла, «Мы» Евгения Замятина и сериала «Черного зеркала» становятся реальнее и ближе. Может ли такое случиться в современном Китае, разбирался ЭКД.
Деревня Цзякуан Мацзя, провинция Шаньдун
52-летняя Ян Цююнь рассказала «Саус Чайна Монинг Пост» (South China Morning Post), как работает система в ее родной деревне Цзякуан Мацзя. Ян — одна из 10 сборщиков информации для составления рейтинга жителей деревни. Женщина работает каждый день, в распоряжении у нее только ручка и бумага. Ян считает, что система помогает людям развиваться, стать лучше.
Ма Шаоцзюнь бесплатно установил баскетбольное кольцо на детской площадке, Ян начисляет волонтеру два очка. Ма Хунъюнь пожертвовала телевизор за 3 тысяч юаней (445 долларов) местному центру собраний, ей полагается 30 очков. Сын Ма Шутин и Ма Цюлин служит в армии в Тибете, за это они получают по 10 очков. Ваш рейтинг растет с каждым хорошим делом, которое вы совершаете. Здорово?
У жителей с высоким рейтингом есть привилегии. Они получают больше риса и растительного масла, могут рассчитывать на денежное вознаграждение от сельского комитета, их хвалят на местных досках объявлений. В общем, пример для подражания.
На сегодняшний день в Китае нет единой системы рейтинга граждан, каждая экспериментальная площадка проводит надзор за жителями по-своему: Ян Цююнь — с блокнотом и ручкой, а в городах используют новейшие технологии. Более того, многие жители Китая вообще не в курсе данной программы. А есть те, кто не обращает на свой рейтинг никакого внимания, считая его очередным проектом пропаганды партии и бюрократическим препятствием. Люди не верят, что он действительно может повлиять на их жизнь:
«Это просто часть обычной пропаганды правительства. Рейтинг не имеет ничего общего с нашей жизнью. Это пенсионеров, которым просто нечем заняться каждый день», — Чжоу Вэнь, 40 лет, водитель такси.
Город Жунчэн, провинция Шаньдун
Самые законопослушные горожане имеют ряд преимуществ: бесплатный медосмотр, 30 кубометров бесплатной воды в год, скидка в 300 юаней (44 доллара) на оплату счетов за отопление и льготы по кредитам.
Старшая сотрудница городской больницы Ван Шухун рассказала, что на государственную должность может рассчитывать житель с А-статусом минимум, а в охранники берут, начиная с В. Женщина призналась, что она заботится о своем рейтинге и стала аккуратнее водить:
«Многие из простых граждан могут не знать об этом, но работники общественного сектора уверены: это оказывает сильное влияние».
Хотя система пока не проработана до конца, в амбициях у разработчиков — влияние на все сферы жизни горожан. Система должна быть хорошо отработана, прежде чем станет общегосударственной. Она призвана решить множество реальных проблем в КНР, вызванных многократным нарушением законов. Система социального кредита поможет контролировать мошенничество, контрабанду, повысить качество пищевой продукции и бороться с коррупцией.
«Система позволит надежным гражданам получить выгоду, куда бы они ни пошли. В то же время дискредитированным будет трудно сделать даже шаг», — из официального доклада правительства.
Подобные системы социального кредита введены по всему Китаю в разных городах и провинциях: в Шанхае, в провинциях Фуцзянь, Цзянсу, Гуандун и Шаньдун. Список можно продолжать, так как опыт рейтингования жителей встречается в Китае повсеместно.
Китай и мир, мнения
Вездесущий контроль над общественной жизнью пугает современного человека: система может быть использована для усиления политического влияния.
На экономическом форуме в Давосе миллиардер Джордж Сорос назвал Си Цзиньпина самым опасным врагом демократических обществ, а систему социального кредитования граждан — «пугающей и отвратительной».
Саманта Хоффман из Австралийского института стратегической политики рассказала, почему она считает идею опасной, а правительство КНР корыстным:
«Если бы партия действительно была заинтересована в решении проблем, ей бы не понадобился социальный рейтинг. Достаточно просто функционирующего гражданского общества и верховенства закона», — из исследования системы социальных кредитов для граждан КНР Саманты Хоффман.
В России также находятся негативные отзывы о китайском социальном рейтинге граждан. В основном российские новостные интернет-издания стараются не делать поспешных выводов о системе. Статьи ТАСС, «ТиДжорнал» (Tjournal) и Магазеты подходят к планам КНР критически, но не называют правительство «бесчеловечным» или «врагом демократии». Возможно, это вызвано более тесными связями Китая с Россией и общим идеологическим прошлым.
Как бы то ни было, когда речь заходит о тотальном контроле общества с использованием камер наблюдения и хитроумных систем, следящих за каждым твоим шагом, многим на ум приходят лишь апокалиптическое развитие событий. Всем становится не по себе.
А что на счет китайцев? Большинство из них не против государственного вмешательства в личную жизнь.
«Все на совести каждого человека. Если он делал что-то плохое, например, террорист, он, конечно, чего-то боится. Если он нормальный человек, ему нечего скрывать и бояться. Я обычный человек и не переживаю, если другие обо мне что-то узнают, даже те, кого я люблю», — китайский студент (20 лет) о доступе государства к личной информации граждан КНР.
Однако большинство китайской молодежи не в восторге от тенденции усиления государственного контроля, их пугает использование современных информационных технологий в мониторинге жизни обычных граждан. Однако открыто восстающие против системы кредитов — в основном люди, от нее пострадавшие.
Многие жители Китая все же готовы пожертвовать личной свободой ради общественной безопасности и процветания:
«Конечно, мне немного не комфортно. Не очень приятно, когда незнакомец знает все о тебе. Всех волнует безопасность личной информации. Здесь все двояко. Есть две стороны одной медали. Хорошее и плохое», — студентка магистратуры по обмену из Китая (25 лет).
Мнения мирового и китайского сообществ явно разнятся, что объяснимо. У Китая «особый путь развития», а менталитет китайского народа кардинально отличается от нашего. Но есть ли глобальные, мировые законы морали, которые нельзя нарушать? Нужно ли миру перестать делать выводы о смертоносности системы социального рейтинга для развития китайского общества или пора вставать на защиту неотъемлемых прав человека? Стоит ли отнести опасения мирового сообщества к вмешательству во внутреннюю политику суверенного государства или к нежеланию оставлять в опасности полтора миллиарда человек? Наверное, лишь время разрешит эту противоречивую ситуацию.
Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ.
Читайте также: