Рассуждать о будущем технологий одновременно и легко, и невероятно сложно. С одной стороны, здесь существует большой соблазн уйти в слабо обоснованную футурологию, с другой же — сами технологии уже связаны с множеством желаемых видений будущего, которыми люди их наделяют. В процессе формирования технологий будущее постоянно воображается. К примеру, с дискуссиями об автоматизации труда часто связываются надежды или страхи о «мире без работы» — такой мир ужасает одних и завораживает других. Подобное случалось и с другими теnnbgjхнологиями — самолетами, телефонами, интернетом, велосипедами. И носителями воображения о технологиях всегда были не только их проектировщики — политики, пользователи, бюрократы, активисты и иные группы людей делают то же самое. Давайте ухватимся за эту мысль: будущее уже заложено в технологии, поскольку люди сами его воображают.
Алгоритмическая магия
В то же время с современными алгоритмами для анализа данных (также известными как «слабая версия» искусственного интеллекта) специалисты и публика связывают большие ожидания. Но как и многие другие технологии и науки, алгоритмы — это не только объекты наших фантазий о будущем, они сами активно формируют его через свои «обещания». Взять к примеру предиктивную аналитику — это область компьютерных наук, которая посвящена изучению и разработке алгоритмов. Она базируется на идее о том, что при определенной доле мастерства, «хорошей» модели и «хороших» данных можно, опираясь на прошлое, определить и будущее. Алгоритмические технологии также являются источниками будущего, потому что их предсказания становятся основой для человеческих решений. Итак, тема будущего связано с технологиями двуединым образом: как представители разных социальных групп мы вкладываем в них свои страхи и надежды, но и из самих технологий исходит определенное будущее.
И то, как делают это современные алгоритмы, подозрительно часто похоже на магию. В Mail. ru придумали «астральный датаскоп» — шутливый лендинг, соединяющий эзотерику, астрологию и «магию больших данных». Такое комичное соединение астрологии и алгоритмов имеет смысл, ведь и псевднонаука, и компьютерная наука пытаются сказать нам что-то о будущем. Отсылки к магии — это не только шутки, но и часть языка экспертной аналитики. К примеру, Центр компетенций национальной технологической инициативы при МФТИ выпускает альманахи, посвященные развитию искусственного интеллекта, в одном из которых можно встретить следующее рассуждение:
«Грубо говоря, если ИИИ (индустрия искусственного интеллекта) когда и сможет стать ИНДУСТРИЕЙ, то именно тогда, когда (И) ИИ сможет заменить Астрологию. Не секрет, что большинство властителей (царей, падишахов, королей и президентов) имеют «придворных» астрологов. Даже в XXI веке. Почему? — Потому что никто другой не рискует дать ответ на самый «простой» вопрос: «Что делать завтра?»
Если сейчас вам кажется, что такие сравнения — часть российского контекста, то это не так. Напротив, такие сравнения ИИ и магии вы можете встретить не только как шутку, но и как часть языка, которым ведущие компьютерные ученые (computer scientists) описывают состояние и будущее ИИ. Например, в 2018 году Стюарт Рассел сказал следующее:
«Мы только сейчас начинаем получать некоторое теоретическое понимание того, когда и почему гипотеза глубинного обучения верна, но в значительной степени это все еще своего рода магия, потому что на самом деле это не должно было произойти таким образом. Кажется, что в реальном мире есть такие свойства образов, звуковых и речевых сигналов, что при подключении такого рода данных к глубокой сети по каким-то причинам будет относительно легко получить переменную, обеспечивающую хорошие предсказания. Но почему это происходит, до сих пор никто не догадывается».
Даже в 1960-х один из пионеров науки об искусственном интеллекте Хьюберт Дрейфус написал статью «Алхимия и искусственный интеллект», в которой упрекнул своих излишне оптимистичных коллег за то, что они слишком спешат приравнять возможности человеческого интеллекта к интеллекту искусственному.
По этим высказываниям видно: сами специалисты, работающие над созданием алгоритмических систем, не всегда понимают, почему алгоритм выдает тот или иной результат. Особую сложность представляют алгоритмы «без учителя» — их проектируют так, чтобы они были способны самостоятельно решать задачи (например, поиск паттернов в данных). В таком случае оценивается только «успешность» алгоритма, то есть то, насколько он справился с поставленной задачей.
Алгоритмические обещания не знают предметных границ — в своих поисках будущего алгоритмы пересекают границы государств, организаций и личных жизней, зачастую сталкивая (или смешивая) публичное и частное. Когда пользователю показать рекламу вашей дизайнерской вазы, где случится преступление, кто мог бы стать надежным кредитозаемщиком — на все эти вопросы, как утверждают визионеры алгоритмической аналитики, можно будет получить ответ. При этом на сегодняшний день еще не существует четких договоренностей (или понимания) о том, где алгоритмы стоит использовать, а где — нет. Ведь главное обещание ИИ здесь в том, что точность будет выше, чем при астрологических расчетах.
И тут уже не так важно, насколько точно ИИ справляется с задачами. Исследователи Кейт Кроуфорд и Александр Камполо называют такой способ говорить о связи магического и алгоритмического «заколдованным детерминизмом» (enchanted determinism).С одной стороны, алгоритмы глубинного обучения обладают собственной магией — в том смысле, что сами создатели технологии не способны ее до конца понять. С другой — это технология, которая производит качественные предсказания, и потому она представляется как универсальное решение для совершенно различных социальных контекстов. Это значит, что алгоритмические системы вводятся для решения разных задач часто в одностороннем порядке, создавая, как пишут Кроуфорд и Камполо, «гранулированные различия, отношения и иерархии, которые находятся вне политических или гражданских процессов, с последствиями, которые даже их разработчики могут не полностью понимать или контролировать». Парадоксальным образом утверждения о высокой точности таких алгоритмов сочетаются с высказывания о том, что их полноценное понимание недоступно человеческому разуму.
Отнятое и переделанное будущее
Для многих обеспокоенных критиков способность алгоритмов ухватить будущее подобным образом приравнивается к его захвату. Так, исследовательница Шошана Зубофф в своей книге «Надзорный капитализм» предлагает читателю описание и объяснение того, как слежка за пользователями стала неотъемлемой частью современных бизнес-процессов. Но для нее надзорный капитализм — больше, чем очередной способ заработка для компаний. Ведь стремления технологических компаний постепенно и незаметно для нас модифицировать наше поведения через рекламу, согласно Зубофф, напрямую угрожают пользовательской индивидуальной автономии и свободе, и соответственно, нашим общественным институтам. Хотя реклама новой вазы в инстаграме, скорее всего, не покажется нам подозрительной в идеологическом плане, с политической рекламой дело может обстоять иначе.
Однако это история не только про влияние бизнеса. В августе 2020-ого года правительство Великобритании решило отменить cдачу школьных экзаменов школьниками из-за пандемии, а решение об оценке было отдано на откуп алгоритму. Среди параметров, на которые опирался алгоритм, были в том числе рейтинг школ и история успеваемости учащегося. Такое решение вызывало протесты учащихся и их родителей.
Комментируя эти события, исследовательница Луи Амур пишет, что дискуссии об алгоритмах зачастую фокусируются на приватности и защите пользовательских данных — на том, что потенциально может случиться в будущем. Однако в описанном случае алгоритмы были использованы, чтобы изменить будущее. Именно этот факт и вызвал возмущение школьников. Но возмущение школьников, с ее точки зрения, вызвало то, что алгоритмы уже были использованы, чтобы изменить будущее. Несомненно, не алгоритм стал причиной неравенства в британской системе образования, но он сделал ситуацию видимой. Автоматизация показала, как качество школ влияло на результаты учащихся и прежде. Мы также знаем: алгоритмы меняют будущее общества прямо сейчас, определяя, выплачивать ли нам социальные пособия и кого отправлять в тюрьму.
В определенном смысле алгоритмы — это магия, которая постоянно масштабируется на новые сферы. И она может работать лучше, чем астрологические расчеты в своих предсказаниях, но для кого именно «лучше» — совершенно отдельный вопрос. Тем не менее, для пользователей и граждан алгоритмы во многом остаются магией, ведь не всегда ясно, исходя из какой перспективы, производится знание о нас. Алгоритмы зачастую непрозрачны, потому что мы не знаем о том, как их применяют. Они неподотчетны, потому что скрыты с помощью языка «зачарованного детерминизма». Тем не менее, алгоритмы это будущее активно создают, выдавая собственные предсказания за причинно-следственные связи, как будто бы уже естественным образом заложенные в сам мир.
Однако мы тоже закладываем будущее в технологии, когда воображаем его разными способами. Поэтому тут не может быть никакой определенности. Хотя алгоритмические технологии притягательны для правительств, коммерческих компаний и других акторов, границы между теми областями, где их применение считается возможным, и между тем, где оно нежелательно, еще не установились.
Их будущее активно оспаривается и формируется на наших глазах. К примеру, в июне 2020 года компании IBM, Microsoft и Amazon отказались или наложили временный мораторий на технологии распознавания лиц. Во многом на это повлияла продолжительная активистская кампания. Даже если такое решение будет временным, этот кейс показывает, что технологии отнюдь не несут с собой предопределенность. Если алгоритмы и правда магия, то кажется, важно иметь возможность выбирать, когда мы хотим быть очарованными ими, а когда — расколдованными.
