Илон Маск (Elon Musk) знаменит своими футуристическими авантюрами, но его пугает рост интереса Кремниевой долины к искусственному интеллекту. Он считает, что вы тоже должны опасаться. В этой статье мы сможем изнутри взглянуть, как он пытается повлиять на быстро развивающуюся область и ее апологетов и спасти человечество от власти обучаемых машин.
I. «Срыв с катушек»
Они просто дружески беседовали о судьбе человечества. Демис Хассабис (Demis Hassabis), главный создатель развитого искусственного интеллекта, болтал с Илоном Маском, главным фаталистом, об опасности искусственного интеллекта.
Это два самых значительных и интересных человека в Кремниевой долине, которые там не живут. Хассабис, сооснователь таинственной лондонской лаборатории DeepMind, приехал на ракетный завод Маска SpaceX, расположенный недалеко от Лос-Анджелеса, несколько лет назад. Они сидели в баре, разговаривали, а над их головами перемещалась массивная деталь ракеты. Маск объяснил, что в SpaceX он занимается воплощением самого важного проекта в мире — межпланетной колонизации.
Хассабис ответил, что на самом деле это он трудится над самым важным проектом в мире — разработкой искусственного сверхинтеллекта. Маск возразил, что это и есть причина, по которой необходимо создать колонию на Марсе, чтобы иметь убежище на тот случай, если искусственный интеллект выйдет из-под контроля и обратит свои силы против человека. Хассабиса это позабавило, и он сказал, что искусственный интеллект просто последует за людьми на Марс.
Это не успокоило Маска (хотя, как он говорит, существуют варианты развития событий, при которых искусственный интеллект не последует за людьми).
На скромного, но напористого 40-летнего Хассабиса смотрят как на чародея Мерлина, который, возможно, поможет наколдовать наше искусственно-интеллектуальное потомство. Сфера искусственного интеллекта стремительно развивается, но она еще далека от того, чтобы стать тем мощным саморазвивающимся программным обеспечением, которого опасается Маск. Фейсбук использует искусственный интеллект в целевой рекламе, тегировании фотоизображений и рекомендациях для новостной ленты. Microsoft и Apple используют искусственный интеллект как движущую силу своих цифровых помощников Кортаны и Сири. Поисковая система Google с самого начала зависела от искусственного интеллекта. Все эти маленькие шаги вперед являются частью гонки, конечной целью которой является создание гибкого, самообучающегося искусственного интеллекта, копирующего процесс обучения человека.
Некоторых людей в Кремниевой долине заинтриговало, что Хассабис, опытный игрок в шахматы и бывший разработчик видеоигр, однажды придумал игру под названием «Злой гений», главным героем которой был злодей-ученый, создающий роковое приспособление для достижения мирового господства. Питер Тиль (Peter Thiel), миллиардер, предприниматель и советник Дональда Трампа, ставший вместе с Маском и другими одним из основателей системы PayPal, а в декабре помогавший собрать вместе титанов Кремниевой долины (в том числе, и Маска) на встрече с избранным президентом, рассказал мне об одном инвесторе в DeepMind, пошутившем после совещания, что он должен пристрелить Хассабиса на месте, потому что это последний шанс спасти человечество.
Илон Маск начал предупреждать о возможности того, что искусственный интеллект «слетит с катушек», три года назад. Вероятно, ему не стало легче, когда один из партнеров Хассабиса Шейн Легг (Shane Legg) категорически заявил: «Я думаю, человека действительно ждет вымирание, и в этом, возможно, свою роль сыграют технологии».
До того как DeepMind поглотила компания Google в 2014 году, когда она скупала все, что связано с искусственным интеллектом, Маск был одним из ее инвесторов. Он рассказал мне, что его участие было связано не с денежным интересом, а с тем, чтобы присматривать за сегментом искусственного интеллекта: «Это дало мне гораздо больше возможностей наблюдать, насколько сектор улучшается, а, на мой взгляд, развитие происходит со все большим ускорением, гораздо быстрее, чем люди это осознают. Главным образом, потому что в повседневной жизни ты не видишь разгуливающих повсюду роботов. Разве что только робот-пылесос Румба. Но Румбы не собираются захватывать мир».
Публично упрекая своих друзей и коллег по развитию технологий, Маск предупредил их, что они, возможно, создают средство собственного уничтожения. Он рассказал Эшли Вэнсу (Ashley Vance) из Bloomberg, автору биографии «Илон Маск», чего он опасается. У его друга Ларри Пейджа (Larry Page), сооснователя Google и генерального директора его дочерней компании Alphabet, могут быть самые благие намерения, но у него все равно может «случайно получиться нечто плохое», в том числе, возможно, «полк роботов, оснащенных искусственным интеллектом, способных уничтожить человечество».
На всемирном правительственном саммите в Дубае в феврале этого года Маск снова включил сигнал тревоги в духе классических фильмов ужасов, когда отметил: «Порой будет происходить следующее: ученые настолько увлекутся своей работой, что не будут осознавать всех ее последствий». Он сказал, что единственным способом избежать морального устаревания человечества может быть «своего рода слияние биологического интеллекта с машинным». Этот Гефестов сплав сознаний мог бы быть связан с так называемым нейронным кружевом, то есть сетчатым материалом, который вводится инъекционным путем и способен буквально подключиться к вашему мозгу, чтобы осуществлять непосредственное общение с компьютером. «Мы уже стали киборгами», — сказал мне Маск в феврале. «Ваш телефон, ваш компьютер стали продолжением вас, только в качестве интерфейса используются движения пальцев или речь, а они очень медленны». С вживленным в ваш череп нейронным кружевом вы бы могли молниеносно передавать данные от вашего мозга, без помощи всяких проводов, вашим цифровым устройствам или потенциально неограниченной компьютерной мощи в облаке. «Я думаю, до появления полноценного интерфейса гибридного мозга осталось подождать, по самым грубым расчетам, около четырех-пяти лет».
Алармизм Маска об опасностях искусственного интеллекта получил стремительное распространение в сети после его выступления в Массачусетском институте технологий в 2014 году. Тогда он размышлял (еще до Трампа), что искусственный интеллект, вероятно, представляет «крупнейшую экзистенциальную угрозу» для человечества. Он добавил, что все более склонен к мысли о необходимости какого-то регулирующего надзора (в Кремниевой долине такие разговоры — табу), «благодаря которому мы точно не натворим глупостей». И далее: «Вместе с искусственным интеллектом мы вызываем дьявола. Вы все прекрасно знаете рассказы о парне с пентаграммой и святой водой, и он совершенно уверен, что сможет контролировать демона. Но это не реально». Некоторых разработчиков искусственного интеллекта так позабавила театральность Маска, что они стали ее обыгрывать. Возвращаясь в лабораторию после перерыва, они говорили: «Ну что ж, пора снова призывать демона».
Маск не смеялся. Так начался «Крестовый поход Илона» (как называет его кампанию один из его друзей и выдающихся представителей в развитии технологий) против освобожденного искусственного интеллекта.
2. «Я — Альфа»
Илон Маск улыбнулся на мои слова о том, что он напоминает героя Айн Рэнд. «Мне говорят это не впервые», — произносит он со своим легким южноафриканским акцентом. «Очевидно, у нее были довольно радикальные взгляды, но в некоторых вещах она была права».
Но Айн Рэнд немного переписала бы образ Илона Маска. Она бы исправила цвет его глаз на серый, сделала бы его лицо более изможденным. Под ее пером он бы меньше острил в обществе, она не стала бы поощрять его неуклюжих смешков. Она бы точно избавилась от его глупостей о «коллективном» благе. Писательница бы почерпнула богатый материал в сложной личной жизни 45-летнего Маска: его первая жена, автор книг в стиле фэнтези Джастин Маск (Justine Musk), их пятеро сыновей (пара близнецов и тройняшки), намного более молодая вторая жена, британская актриса Талула Райли (Talulah Riley), игравшая сестру-зануду в семье Беннетов в фильме «Гордость и предубеждение» с Кирой Найтли. Райли и Маск поженились, развелись, потом поженились снова. Теперь они снова в разводе. Осенью прошлого года Маск написал в Твиттере, что Талула «прекрасно играет смертельно опасного секс-робота» в телесериале «Мир Дикого Запада» на канале HBO, добавив к сообщению улыбающийся смайл. Простым смертным женщинам сложно поддерживать отношения со столь одержимым работой человеком, как Маск.
«Сколько времени уходит на женщину в неделю?», — спросил он у Эшли Вэнса. «Быть может, часов десять? И это минимум?»
Больше всего Рэнд бы смаковала образ Маска как гиперлогичного, любящего риск предпринимателя. Он обожает костюмированные вечеринки, трюки с хождением по крылу самолета и японские фантасмагории в стиле стимпанк. Роберт Дауни-младший использовал Маска как основу для образа Железного человека. Марк Матье (Marc Mathieu), глава маркетинга американского подразделения Samsung, ездил с Маском на рыбалку и называет его «чем-то средним между Стивом Джобсом и Жюлем Верном». Джастин рассказывала потом, что во время их свадебного танца Маск сообщил ей: «Я — альфа в отношениях».
Во вселенной развития технологий, полной щуплых ребят в толстовках, разрабатывающих общающихся с вами ботов и приложения, способные проанализировать фотоизображение собаки и определить, какой она породы, Маск отсылает нас к эпохе Генри Форда и Хэнка Риардена. В романе «Атлант расправил плечи» Риарден преподносит своей жене браслет, отлитый из первого революционного сплава его стали так, как будто он сделан из бриллиантов. У Маска на стене его дома в Бель-Эр, как произведение искусства, висит часть одной из его ракет.
Маск буквально целится в Луну. Он запускает экономически выгодные ракеты в космос и рассчитывает в результате заселить Красную планету. В феврале он объявил о планах отправить двух космических туристов в полет вокруг Луны не позднее следующего года. Он создает изящные батареи, благодаря которым мир сможет получать дешевую солнечную энергию. Он плавит блестящую сталь в чувственные формы электрокаров Tesla со столь изящными линиями, что даже придирчивый Стив Джобс едва ли нашел бы в них какие-либо изъяны. Он хочет спасти время и человечество: он выдумал «Гиперпетлю», электромагнитный сверхскоростной поезд в трубе, способный однажды доставлять пассажиров из Лос-Анджелеса до Сан-Франциско на скорости 1126 км/ч. Когда Маск прошлым летом посетил министра безопасности Эштона Картера (AshtonCarter), он опубликовал лукавый твит, что он ведет в Пентагоне переговоры по разработке «летающего металлического костюма» в духе Тони Старка. Застряв в пробке в Лос-Анджелесе в декабре, заскучав и приуныв, он написал в Твиттере о создании «Скучной компании» (Boring Company), которая будет бурить тоннели под городом, чтобы спасти население от «разрушающего душу транспорта». К январю, как пишет издание Bloomberg Businessweek, Маск назначил старшего инженера SpaceX пересмотреть план, после чего начались работы по разработке первой тестовой шахты. Его зачастую донкихотские попытки спасти мир послужили поводом для появления пародийного Твиттер-аккаунта «Скучающий Илон Маск» (Bored Elon Musk), где фальшивый Илон Маск предлагает запустить такие странные проекты, как «Служба расстановки серийных запятых» или «грозди бананов, созданные при помощи генной инженерии», чтобы все бананы созревали одновременно.
Разумеется, большие мечтатели совершают и крупные промахи. Несколько ракет SpaceX взорвалось, а в июне прошлого года один водитель погиб в аварии в автомобиле Tesla с автопилотом — его датчики не зафиксировали находившегося на его пути трейлера с прицепом. (Расследование Национальной администрации безопасности дорожного движения США установило, что ДТП произошло не по вине автопилота Tesla).
Маск стоически относится к любым неудачам и чересчур внимателен к кошмарным сценариям развития будущего. Его взгляды можно выразить с помощью максимы из книги «Атлант расправил плечи»: «У человека есть способность действовать себе во вред, он так и действовал на протяжении почти всей своей истории». Как он мне сказал: «Мы — первый вид, способный на самоуничтожение».
От одной докучливой мысли невозможно отделаться, проезжая в Кремниевой долине от одного стеклянного строения к другому: руководители облачных технологий обожают вести разговоры о том, что мир становится лучше, в то время как они выпускают новые алгоритмы, приложения, изобретения, которые, как заявляется, сделают нашу жизнь проще, здоровее, веселее, круче, дольше и более дружелюбной по отношению к нашей планете. Однако после всех этих слов закрадывается неприятное ощущение, что мы служим подопытными кроликами в их экспериментах, что они видят в нас людей версии «Бетамакс» или «Стерео 8», устаревшую технологию, которую в скором времени сбросят со счетов, чтобы они сами могли насладиться крутым новым миром. Многие люди там приняли это будущее: мы будем жить до 150 лет, но нами будут верховодить машины-повелители.
Быть может, у нас уже есть повелители. Как Маск лукаво сказал на прошлогодней ежегодной конференции Code Conference сайта Recode в калифорнийским Ранчо-Палос-Вердес, возможно, мы уже стали игрушками в мире моделированной реальности, которой управляет более развитая цивилизация. Говорят, два миллиардера Кремниевой долины работают над алгоритмом, способным освободить нас из Матрицы.
В кругу инженеров, которых прельщает удовольствие разрешения новой задачи, преобладает позиция, что империи рушатся, общества меняются, а все мы движемся к неизбежно ожидающей нас впереди стадии развития. Они спорят не о том, «случится ли это», а о том, «насколько близки» мы к улучшенным версиям самих себя. Сэм Альтман (Sam Altman), 31-летний президент компании Y Combinator, главного инкубатора стартапов Кремниевой долины, считает, что человечество уже стоит на пороге такого изобретения.
«Самое сложное, когда ты находишься на показательной кривой, состоит в том, что, когда ты оглядываешься назад, она кажется ровной, а если смотришь вперед, она представляется вертикальной», — сказал он мне. «Очень сложно измерить, насколько ты продвинулся, потому что она все время выглядит одинаково».
Можно было бы представить, что всякий раз, когда Маск, Стивен Хокинг и Билл Гейтс все в один голос предостерегают об опасности искусственного интеллекта — а каждый из них так и делает — поднимется тревога, как при сильном пожаре. Но уже давно над Кремниевой долиной нависает плотный туман фатализма. К «крестовому походу» Маска относятся, в лучшем случае, как к Сизифову труду, а в худшем — как к инициативе луддита. Парадокс состоит в следующем: для многих олигархов в области развития технологий их действия, направленные на помощь нам, и все их благостные манифесты служат маячками на пути к будущему, где, как говорит Стив Возняк (Steve Wozniak), люди превратятся в домашних животных.
Но Маск действует решительно. Он планирует бороться с этим при помощи всех своих карбоновых ресурсов. Маск и Альтман основали некоммерческую компанию с капиталом в миллиард долларов, которая займется разработкой более безопасного искусственного интеллекта. Я разговаривала с обоими основателями, когда в их новом венчурном проекте участвовали лишь несколько молодых инженеров, а импровизированный офис находился в квартире 28-летнего сооснователя и главного технического разработчика OpenAI Грегга Брокмана (Greg Brockman), расположенной в районе Мишен Дистрикт в Сан-Франциско. Недавно, когда я снова оказалась там, чтобы поговорить с Брокманом и Ильей Суцкевером (Ilya Sutskever), 30-летним директором по развитию (и также сооснователем компании), OpenAI переехала в просторный офис в том же районе с 50 регулярными сотрудниками (еще от 10 до 30 скоро пополнят их ряды) и автоматом с обычным набором закусок.
Альтман, в серой футболке и джинсах, весь напряжен, бледен и сосредоточен. Румяное лицо и цинизм Маска скрывают его пылкий интерес. Его глаза в зависимости от освещения бывают то голубыми, то зелеными, губы — сливово-красного цвета. Он создает впечатление властного человека, сохраняя при этом что-то неуловимое от неуклюжего одинокого подростка из Южной Африки, самостоятельно иммигрировавшего в Канаду в 17 лет.
В Кремниевой долине встреча за ланчем необязательно происходит с соблюдением такой светской условности, как еда. Молодое поколение программистов слишком поглощено алгоритмами, чтобы отвлекаться на пищу. Некоторые из них просто заглатывают Сойлент. Те, кто постарше, настолько увлечены бессмертием, что иногда они просто запивают таблетки миндальным молоком.
На первый взгляд, OpenAI кажется небольшим амбициозным проектом, командой умных ребят в квартире в доме без лифта, принимающих вызов Google, Facebook и других компаний, обращающихся за помощью к мировым экспертам по искусственному интеллекту. Но потом нельзя забывать, что Маск мастерски играет роль хорошо вооруженного Давида перед Голиафом, он всегда делает это со стилем — и с долей полезной сенсационности.
Пусть другие в Кремниевой долине сосредотачиваются на стоимости своих IPO и избавлении Сан-Франциско от неприглядного, на их взгляд, бездомного населения. У Маска более обширные цели, например, положить конец глобальному потеплению и умереть на Марсе (только, как он говорит, не при столкновении).
30 лет назад Маск увидел свое личное предназначение в спасении человечества в галактике, когда пережил в подростковом возрасте полный экзистенциальный кризис. Маск рассказал мне, что книга «Автостопом по Галактике» Дугласа Адамса стала поворотным моментом для него. Книга повествует об инопланетянах, которые разрушают Землю, чтобы освободить пространство для гиперкосмического шоссе, в ней есть параноидальный андроид Марвин и суперкомпьютер, предназначенный для ответов на все тайны Вселенной. (Как минимум, одна отсылка к книге содержится в программном обеспечении Tesla Model S.) Будучи подростком, как пишет Вэнс в биографии Маска, тот сформулировал для себя свою миссию: «Единственное, что имеет смысл, — это бороться за большее коллективное просветление».
Компания OpenAI начала свою деятельность с туманными целями, что неудивительно, учитывая, что специалисты, работающие в этой сфере, до сих пор спорят, какую форму искусственного интеллекта OpenAI изберет, что сможет сделать и что можно с этим поделать. Пока что общественное мнение относительно искусственного интеллекта странным образом неопределенно, а программное обеспечение, в целом, хаотично. Федеральная администрация авиации контролирует дроны, комиссия по безопасности и обмену валют контролирует автоматизированные системы финансового трейдинга, а департамент транспорта начал осуществлять контроль за автомобилями с автопилотом.
Маск считает, что лучше попытаться достичь суперискусственного интеллекта первым и распространить эту технологию в мире, чем позволить, чтобы алгоритмы скрывались и сосредотачивались в руках технологической или правительственной элиты, пусть даже представители технологической элиты являются его собственными друзьями, например, это основатели Google Ларри Пейдж (Larry Page) и Сергей Брин (Sergey Brin). «Я столько раз беседовал с Ларри об искусственном интеллекте и робототехнике, очень, очень много раз», — сказал мне Маск. «И некоторые из дискуссий были очень жаркими. Знаете, я думаю, дело не только в Ларри, есть множество футуристов, которые чувствуют определенную неизбежность или видят фатальность роботов, заставляющих нас играть своего рода второстепенную роль. Обычно говорится так: „Мы биологические загрузчики цифрового суперинтеллекта»». (Загрузчик — это небольшая программа, запускающая операционную систему, когда вы впервые включаете свой компьютер). «Материя не может воплотиться в чипе», — объясняет Маск. «Зато она может стать биологическим существом, которое становится все более сложным, и в результате создает чип».
Маск не намерен становиться загрузчиком. Пейдж и Брин видят себя как силу, работающую во благо, но Маск говорит, что проблема простирается далеко за пределы мотиваций горстки руководителей компаний Кремниевой долины.
«Это прекрасно, когда империей правит Марк Аврелий», — говорит он. «И не так уж прекрасно, если империя попала в руки Калигулы».
III. Золотой телец
После так называемой зимы искусственного интеллекта — обширного коммерческого фиаско в конце 80-х начальной технологии, которая оказалась не на высоте — у него появилась репутация бесполезного средства. Теперь искусственный интеллект снова крайне востребован в нашу динамичную эпоху в долине. Грег Брокман из OpenAI считает, что следующее десятилетие будет всецело заниматься искусственным интеллектом, все будут вкладывать деньги в тех немногих «волшебников», которые умеют его «заклинать». Ребята, разбогатевшие с помощью написания программ для решения банальных задач, например, как заплатить незнакомцу за что-то в интернете, теперь наблюдают вихреобразный мир, где они стали создателями новой реальности и, возможно, даже нового вида.
Джерон Ланье (Jaron Lanier) из Microsoft, ученый-программист с дредами, известный как отец виртуальной реальности, изложил мне свое видение, почему продвинутые интернет-пользователи находят столь привлекательным «научно-фантастическое изобретение» искусственного интеллекта: «Оно говорит: „О, вы, технически подкованные люди, вы подобны богам, вы создаете жизнь, вы трансформируете реальность». Есть чудовищный нарциссизм в том, что именно мы — те люди, которые могут это сделать. Больше никто не сможет. Этого не сможет сделать папа римский. И президент не сможет этого сделать. Никто не сможет этого сделать. Мы здесь хозяева… Создаваемое нами программное обеспечение — это наше бессмертие». И такие амбиции богоподобия не новы, добавляет он. «Я читал об этом когда-то в притче о золотом тельце». Он мотает головой. «Не увлекайся собственным товаром, понимаете?»
Google скупил почти все представляющие интерес компании, занимающиеся робототехникой и обучаемыми машинами за последние несколько лет. Компания купила DeepMind за 650 миллионов долларов, по некоторым данным, перебив сделку с Facebook, создала команду Google Brain для работы над искусственным интеллектом. Она наняла Джеффри Хинтона (Geoffrey Hinton), британского пионера в сфере искусственных нейронных сетей, Рэя Курцвейла (Ray Kurzweil), эксцентричного футуриста, предсказывавшего, что нас отделяет всего 28 лет от удивительной «сингулярности», момента, когда зашкаливающие способности саморазвивающегося искусственного сверхинтеллекта намного превысят человеческий интеллект, а люди сольются с искусственным интеллектом, создавая в результате «богоподобных» гибридных существ будущего.
В крови Ларри Пейджа и в ДНК Google бурлит вера в то, что искусственный интеллект — неизбежная судьба компании, и вы можете думать об этой судьбе все что угодно. («Если проснется злобный искусственный интеллект, — сказал мне Эшли Вэнс, — то первым он проснется в Google»). Если Google смог добиться того, что компьютеры контролируют поиск, когда поиск был самой важной проблемой в мире, то предположительно он может заставить компьютеры делать и все остальное. В марте прошлого года Кремниевая долина была в шоке, когда легендарный южнокорейский игрок в го, сложнейшую настольную игру в мире, проиграл в Сеуле программе AlphaGo от компании DeepMind. Хассабис, говоривший, что он работает над программой Аполлон по развитию искусственного интеллекта, назвал это «историческим моментом» и признал, что даже он был удивлен столь скорым развитием событий. «Я всегда надеялся, что искусственный интеллект сможет помочь нам найти совершенно новые идеи в сложных научных областях», — рассказал мне Хассабис в феврале. «Это может быть один из первых проблесков такого рода творческого мышления». Совсем недавно AlphaGo сыграл 60 партий онлайн против лучших игроков в го в Китае, Японии и Корее, завершив их с рекордным результатом 60 — 0. В январе система снова шокировала: компьютерная программа показала, что она способна блефовать. Libratus, созданный двумя учеными из Carnegie Mellon, cмог всухую обыграть лучших игроков в разновидность покера Техасский холдем.
Питер Тиль рассказал мне об одном своем друге, считающего, что единственная причина, по которой люди терпят Кремниевую долину, состоит в том, что там никто не занимается сексом и не развлекается. Однако доходят сообщения о разработке секс-роботов с приложениями, регулирующими их настроение и даже с сердцебиением. Кремниевая долина нерешительно говорит о женских секс-роботах (которые стали наваждением в Японии) из-за сложившейся там культуры, где доминируют мужчины, и широко освещавшихся проблем с сексуальными домогательствами и дискриминацией. Но когда я спросила об этом Маска, он деловито ответил: «Секс-роботы? Думаю, они вполне вероятны».
Было ли это искренним желанием или хитрым пиар-ходом, но при сделке с Google Хассабис поставил условие, что Google и DeepMind назначат совместную коллегию по этике в связи с искусственным интеллектом. В то время, три года назад, формирование коллегии по этике оценивалось как преждевременный шаг, как будто указывающий, что Хассабис стоит на пороге создания подлинного искусственного интеллекта. Теперь это оценивается уже совсем иначе. В июне прошлого года один разработчик из DeepMind выступил соавтором издания, где говорилось, как изготовить «большую красную кнопку», которую можно использовать как аварийный блокиратор, способный не дать искусственному интеллекту нанести вред.
Руководители Google говорят, что мнение Ларри Пейджа в отношении искусственного интеллекта сформировано его разочарованием, связанным с неоптимальностью значительного количества систем, начиная от бронирования поездок до оценки прибыли. Он считает, что искусственный интеллект улучшит жизнь людей. Он говорил, что если людям будет проще осуществлять свои потребности, у них появится «больше времени для семьи или для воплощения собственных интересов». Особенно, после того, как робот лишит их работы.
Маск — друг Пейджа. Он был у него на свадьбе и иногда гостит у него дома, когда бывает в Сан-Франциско. «Нерентабельно иметь дом, чтобы проводить там одну-две ночи в неделю», — объясняет мне 99-й человек в списке самых богатых людей в мире. Временами Маск беспокоится, что Пейдж наивно относится к последствиям развития искусственного интеллекта. Если Пейдж склоняется к философии, что машины могут быть такими же добрыми или злыми, как создающие их люди, то Маск категорически не согласен. Некоторые люди в Google (которых, возможно, раздражает, что Маск, в сущности, винит их в излишней спешке) сбрасывают со счетов его антиутопические доводы, относясь к ним как к киноклише. Эрик Шмидт (Eric Schmidt), председатель совета директоров дочерней компании Google, так это сформулировал: «Роботов изобретают. Государства дают им оружие. Злой диктатор обращает роботов против людей, и все люди погибнут. Это похоже на сюжет какого-нибудь фильма».
Кто-то в Кремниевой долине утверждает, что Маска не столько интересует спасение мира, сколько раздувание своего бренда, он эксплуатирует глубоко исторический конфликт между человеком и машиной и наш страх, что наше творение обернется против нас. Они досадуют, что его эпическая сюжетная линия о борьбе добра со злом связана с привлечением талантов по низким ценам и разработкой собственного программного обеспечения искусственного интеллекта для машин и ракет. Разумеется, нельзя спорить, что Кремниевая долина всегда была неравнодушна к зарабатыванию денег. Как сказал Сэм Спейд в «Мальтийском соколе»: «Большинство вещей в Сан-Франциско можно купить — или забрать».
Несмотря на то, что Эшли Вэнс однажды назвал Маска «научно-фантастической версией П. Т. Барнума», он считает, что Маск испытывает искреннее беспокойство относительно искусственного интеллекта, даже если не совсем понятно,что же он может фактически сделать в связи с этим. «Его жена Талула сказала мне, что они до поздней ночи вели с ним разговоры об искусственном интеллекте дома», — отметил Вэнс. «Илон грубо логичен. Он относится ко всему, как будто передвигает шахматные фигуры. Когда Маск проигрывает в голове этот сценарий, для людей он оканчивается плохо».
Элиезер Юдковски (Eliezer Yudkowsky), сооснователь Исследовательского института машинного интеллекта в Беркли, соглашается: «Это же Илон-чертов-Маск. Ему не надо наступать на больную мозоль, связанную с искусственным интеллектом, если он хочет привлечь к себе внимание. Он может просто заговорить о колонизации Марса».
Кто-то выражает недовольство, что Маск принадлежит к другой культуре, а в его страшных сценариях игнорируется то, что мы живем в мире, где даже принтер не заставишь работать как следует. Другие связывают OpenAI с опасением Маска упустить что-то важное: он видит, что его друг Пейдж создает программное обеспечение новой волны в очень востребованной сфере, и ему нужна конкурирующая армия программистов. В представлении Вэнса: «Илон хочет, чтобы у него были все игрушки, как у Ларри. Они как две сверхдержавы. Они дружат, но при этом в их отношениях очень высокое напряжение». Такого рода соперничество лучше всего выражает реплика тщеславного главы вымышленного технологического гиганта Hooli из сериала HBO «Кремниевая долина»: «Я не хочу жить в мире, где кто-то делает мир лучше, и ему это удается лучше, чем нам».
Несогласие Маска с Пейджем относительно потенциальных угроз искусственного интеллекта «действительно некоторое время влияло на нашу дружбу, — говорит Маск, — но это прошло. Теперь мы в хороших отношениях».
Маск никогда не был в близких дружеских отношениях с 32-летним Марком Цукербергом (Mark Zuckerberg), который стал невероятным образцом для подражания, так как он каждый год ставит перед собой новую задачу. В эти задачи входило ношение галстука каждый день, чтение книги каждые две недели, освоение китайского языка, а также употребление в пищу мяса только тех животных, которых он убил собственными руками. В 2016 году настала очередь искусственного интеллекта.
Цукерберг перевел своих специалистов по искусственному интеллекту ближе к своему кабинету. Три недели после того как Маск и Альтман объявили о своем венчурном проекте, призванном обезопасить мир от коварного искусственного интеллекта, Цукерберг написал в Facebook пост, что его проектом года было создание искусственного интеллекта-помощника, он будет помогать ему в домашних делах: от того, чтобы узнавать его друзей и впускать их в дом до присмотра за детской. «Вроде Джарвиса в Железном человеке», — написал он.
Один пользователь Facebook предостерег Цукерберга, чтобы он «не создал ненароком Skynet», военный суперкомпьютер, который обернулся против человечества в фильмах о Терминаторе. «Я думаю, мы сможем создать искусственный интеллект, который бы работал на нас и помогал нам», — ответил ему Цукерберг. Очевидно, намекая на Маска, он продолжил: «Некоторые люди нагнетают обстановку, говоря об огромной опасности искусственного интеллекта, но, мне кажется, это слишком далекая перспектива, при этом гораздо менее вероятная, чем катастрофы, связанные с широко распространенными заболеваниями, насилием и т.д.» От как он описывал свою философию на конференции разработчиков Facebook в апреле прошлого года, отвергая предостережения Маска и других, как он оценивает, алармистов: «Между страхом и надеждой, выбирайте надежду».
Цукерберг представил своего лакея с искусственным интеллектом, Джарвиса, прямо перед Рождеством. Он говорил успокаивающим голосом Моргана Фримена, помогал включить музыку, свет, даже готовил тосты. Я спросила реального Железного человека, Маска, о Джарвисе Цукерберга, когда тот находился еще только на начальной стадии разработки. «Я бы не назвал автоматизирование домашних хлопот искусственным интеллектом, — сказал Маск, — это не искусственный интеллект, если он выключает свет и регулирует температуру».
Цукерберг может быть не менее презрителен. Когда его спросили в Германии, как он оценивает апокалиптические предостережения Маска, как «истеричные » или «достойные внимания», Цукерберг ответил: «Истеричные». Когда на стартовой площадке взорвалась ракета SpaceX, уничтожив арендованный компанией Facebook спутник, Цукерберг сухо написал, что он «глубоко расстроен».
IV. Прорыв в истории
К Маску и другим, предостерегающим об опасности искусственного интеллекта, иногда относились, как к паникерам. В январе 2016 года Маск получил ежегодную премию «Луддит», учрежденную вашингтонским мозговым центром, занимающимся политикой в области технологий. Однако у него есть и неплохие «помощники». Стивен Хокинг рассказал BBC: «Я думаю, развитие полностью искусственного интеллекта может означать конец человеческого рода». Билл Гейтс рассказал Чарли Роузу (Charlie Rose), что искусственный интеллект потенциально более опасен, чем ядерная катастрофа. Ник Бостром (Nick Bostrom), 43-летний профессор философии из Кембриджа, предупреждал в своей книге 2014 года «Сверхинтеллект», что «как только враждебный сверхинтеллект появится, он не даст нам себя заменить или изменить его параметры. И наша судьба будет определена». В прошлом году Генри Киссинджер (Henry Kissinger) примкнул к тем, кто видит угрозу в искусственном интеллекте, организовав конфиденциальную встречу с лучшими экспертами по этому вопросу в Brook, частном клубе в Манхэттене, чтобы обсудить его беспокойство в связи с тем, как умные роботы могут осуществить прорыв в истории и установить, как функционирует цивилизация.
В январе 2015 года Маск, Бостром и создатели искусственного интеллекта, выступающие с противоположных позиций в споре, собрались в Пуэрто-Рико на конференции под руководством Макса Тегмарка (Max Tegmark), 49-летнего профессора-физика из Массачусетского технического института, руководящего также Институтом будущего жизни в Бостоне.
«У Вас есть дом?, — спросил меня Тегмарк, — Он застрахован от пожара? В Пуэрто-Рико мы пришли к соглашению, что нам нужна страховка от пожара. Когда мы получили огонь и столкнулись с проблемами, мы изобрели огнетушитель. Когда мы получили машины и не смогли с ними сладить, мы изобрели ремень безопасности, подушку безопасности и светофор. Но в случае с ядерным оружием и искусственным интеллектом мы не желаем учиться на собственных ошибках. Мы хотим идти дальше по плану». (Маск напомнил Тегмарку, что такая разумная система безопасности, как ремни в машине, вызвала жесткую оппозицию со стороны автомобильной промышленности).
Маск, запустивший финансирование исследований, связанных с тем, как избежать опасностей с искусственным интеллектом, сказал, что он предоставит Институту будущего жизни «10 миллионов причин» для изучения этой темы, пожертвовав ему 10 миллионов долларов. Тегмарк быстро отдал 1,5 миллиона группе Бострома в Оксфорде, в Институт будущего человечества. Объясняя тогда же, почему так важно действовать «с опережением событий, а не просто реагировать» Маск сказал, что безусловно, можно «прорабатывать те сценарии, где человеческая цивилизация не воскресает».
Спустя полгода после конференции в Пуэрто-Рико Маск, Хокинг, Демис Хассабис, сооснователь Apple Стив Возняк и Стюарт Расселл, преподаватель программирования в Беркли, соавтор стандартного учебника по искусственному интеллекту, а также еще тысяча видных фигур подписали письмо, призывающее к запрету этого опасного автономного оружия. «Через 50 лет эти полтора года окажутся ключевыми для будущего сообщества, занимающегося развитием искусственного интеллекта», — сказал мне Расселл. «Именно тогда сообщество разработчиков искусственного интеллекта наконец очнулось, взяло себя в руки и задумалось о том, что надо предпринять, чтобы сделать будущее лучше». В сентябре прошлого года крупнейшие технологические компании создали Партнерство по искусственному интеллекту, чтобы изучить весь спектр проблем, возникающих в этой области, включая и этические. (Компания Маска OpenAI не замедлила примкнуть к этой инициативе). В то же время Европейский союз занимался юридическими аспектами, возникающими с появлением роботов и искусственного интеллекта: например, обладают ли роботы «личностью» или (как однажды заинтересовался один журналист газеты Financial Times) их можно будет рассматривать скорее, как рабов в Римском праве.
На второй конференции Тегмарка по искусственному интеллекту в январе прошлого года в Центре Асиломар в Калифорнии — выбор пал на него, потому что именно там в 1975 году ученые собрались и пришли к соглашению об ограничении генетических экспериментов — споров возникало уже гораздо меньше. Ларри Пейдж, который не присутствовал на конференции в Пуэрто-Рико, был в Асиломаре, и Маск отметил, что их «разговор уже не был жарким».
Но даже если это было «торжество каминг-аута в области безопасности искусственного интеллекта», как выразился один из гостей (произошли «кардинальные перемены» по сравнению с прошлым годом, как говорит Маск), все равно предстоит еще много работы. «Разумеется, ведущие технологи Кремниевой долины теперь гораздо серьезнее относятся к искусственному интеллекту, после того, как они признали его опасность», — отмечает он. «Я не уверен, что они уже оценили значение этой опасности».
Стив Возняк публично задался вопросом, ждет ли его судьба превратиться в домашнего питомца в семье «господ» с высшим разумом. «Мы начали давать нашему псу филе», — рассказал он мне о своем питомце за ланчем с его женой Джанет в Original Hick’ry Pit в Уолнат-Крик. «Как только задумаешься, что ты можешь оказаться на его месте, хочется, чтобы к ним относились именно так».
Он разработал политику умиротворения в отношении роботов и любых носителей искусственного интеллекта. «Почему мы хотим выступить в роли их врагов, когда они могут однажды взять над нами власть?, — говорит он. — Это должны быть партнерские отношения. Все, что мы можем сделать, это обеспечить их сильной культурой, где они видят в людях своих друзей».
Когда я отправилась в стильный офис Питера Тиля в Сан-Франциско, где в интерьере доминируют две огромные шахматные доски, Тиль, один из первых спонсоров компании OpenAI и идейный инвестор, действующий вопреки тенденциям рынка, выразил беспокойство в связи с тем, что противостояние Маска может, на самом деле, ускорить разработку искусственного интеллекта, потому что его апокалиптические пророчества лишь укрепляют интерес к этой области.
«Полномасштабный искусственный интеллект порождает те же вопросы, что и приземление инопланетян», — говорит Тиль. «Возникают очень сложные вопросы… Если вы действительно интересуетесь тем, как мы сделаем искусственный интеллект безопасным, то навряд ли у кого-то будет ответ на этот вопрос. Мы даже не знаем, что такое искусственный интеллект. Очень сложно понять, будет ли он контролируем».
И далее: «Есть какой-то смысл в том, что вопрос об искусственном интеллекте вбирает в себя все человеческие страхи и надежды, связанные с компьютерным веком. Думаю, человеческая интуиция действительно просто дает сбой, когда подходит к этим пределам, потому что мы никогда не сталкивались на этой планете с существами, которые были бы умнее людей ».
V. Жажда слияния
В попытке разобраться, кто же прав относительно искусственного интеллекта, я отправилась в Сан-Матео на встречу с Рэем Курцвейлом за чашкой кофе в ресторане Three. Курцвейл — автор книги «Сингулярность уже близка», где он излагает утопическое видение о будущем искусственного интеллекта. (Когда я упомянула в разговоре с Эндрю Нг о своей предстоящей встрече с Курцвейлом, он закатил глаза: «Когда я читаю „Сингулярность» Курцвейла, мои глаза просто непроизвольно это делают», — сказал он). Курцвейл пришел на встречу с пакетом из магазина здоровой еды Whole Foods, набитым своими книгами и документальными фильмами о нем. На нем были штаны цвета хаки, фланелевая рубашка в красно-зеленую клетку и несколько колец, в том числе, одно, изготовленное на 3D-принтере, с буквой S, обозначающей Вселенную сингулярности.
Компьютеры уже «имеют множество атрибутов мышления», — сказал мне Курцвейл. «Всего несколько лет назад искусственный интеллект не был способен отличить кошку от собаки. А теперь может». Курцвейл неравнодушен к кошкам, в его доме в Северной Калифорнии хранится коллекция из 300 кошачьих статуэток. В ресторане он заказал миндальное молоко, но его не оказалось. 69-летний Курцвейл питается странными здоровыми отварами и принимает по 90 таблеток в день, стремясь достичь бессмертия — или «бесконечных расширений существования файла нашего сознания», что означает слияние с машинами. Он испытывает столь острое стремление к такому единению, что иногда использует местоимение «мы», говоря о сверхинтеллектуальных будущих существах, в отличие от зловещего более зловещего «они», применяемого Маском.
Я упомянула, как Маск говорил, что его удивляет отсутствие всяческих, даже однопроцентных сомнений об опасности наших «детей разума», как их называет эксперт по робототехнике Ганс Моравец (Hans Moravec).
«Это совершенно не так. Именно я завел разговор о возможных рисках», — говорит Курцвейл. «Обещания и риски имеют глубокую взаимосвязь, — продолжает он, — огонь помогал нам хранить тепло, на нем готовилась наша пища, но он сжигал наши дома… Кроме того, существуют стратегии по контролированию рисков, как в случае с нормами по биотехнологиям». Он резюмировал три стадии реакции человека на новые технологии, как «Ух ты!», «Ой-ой-ой» и «Есть ли у нас другие варианты действий, кроме движения вперед?» «Список того, что люди способны делать лучше, чем компьютеры, становится все короче и короче», — говорит он. «Но мы создаем эти инструменты, чтобы расширить наши возможности».
Точно так же, как 200 миллионов лет назад у мозга млекопитающих появилась гомогенетическая кора, давшая впоследствии людям возможность «изобрести язык, науку, искусство и технологии», к 2030 году, по предсказаниям Курцвейла, мы станем киборгами с наноботами размером с клетки крови, связывающими нас с синтетическими неокортексами в облаке, дающими доступ к виртуальной реальности и расширенной реальности в нашей собственной нервной системе. «Мы станем интереснее, будем более музыкальны, расширим нашу мудрость», — говорит он, и насколько я понимаю, таким образом, в результате возникнет толпа Бетховенов и Эйнштейнов. Наноботы в наших венах и артериях будут лечить наши заболевания, исцеляя тела изнутри.
Он допускает, что мрачные предположения Маска могут осуществиться. Курцвейл отмечает, что потомок нашего искусственного интеллекта «может быть дружествен, а может и наоборот», и «в том случае, если он окажется враждебным, возможно, нам придется с ним бороться». Вероятно, единственный способ одолеть его — «привлечь на свою сторону еще более умный искусственный интеллект».
Курцвейл рассказал мне, как он удивился, что в стане противников искусственного интеллекта оказался Стюарт Расселл, поэтому я связалась с Расселлом и встретилась с ним в его офисе на восьмом этаже в Беркли. 54-летний британо-американский эксперт по искусственному интеллекту сообщил мне, что его видение эволюционировало, и теперь он «категорически» не согласен с Курцвейлом и теми, кто готов взять и уступить планету сверхразумному искусственному интеллекту.
Расселлу наплевать на то, что благодаря искусственному интеллекту может появиться больше Эйнштейнов и Бетховенов. Если в мире будет одним Людвигом больше, это не уравновесит риска уничтожения человечества. «Как будто интеллект —более значимая вещь, чем качество человеческого опыта, — говорит он в отчаянии. — Я думаю, если мы поставим вместо себя машины, которые, как нам пока известно, не имеют сознательного существования, вне зависимости от того, сколько удивительных вещей они изобрели, я считаю, это может быть самой страшной трагедией из всех возможных». Ник Бостром назвал идею технологически превосходного общества, где нет людей, «Диснейлендом без детей».
«Существуют люди, верящие, что если машины умнее, чем мы, то им просто нужно предоставить планету, а нам следует уйти», — говорит Расселл. «Далее, есть люди, которые говорят: „Ну ладно, мы загрузим себя в машины, но мы все равно сохраним сознание, будучи при этом машинами». Что, на мой взгляд, совершенно немыслимо».
Расселл развенчал два самых распространенных обоснования того, почему нам не следует беспокоиться: «Первый: этого никогда не произойдет, что равнозначно тому, чтобы сказать: мы едем прямо в скалу, но мы не врежемся, потому что у нас непременно закончится бензин, до того как мы до нее доберемся. А это не слишком хороший способ справляться с проблемами человеческого рода. Второй аргумент: не стоит беспокоиться, мы будем конструировать только таких роботов, которые сотрудничают с нами, и будем работать в командах, состоящих из людей и роботов. Что неизбежно влечет за собой вопрос: если ваш робот не согласен с вашими задачами, как можно работать с ним в одной команде?»
В прошлом году компания Microsoft отключила свой чат-бот Тай, основанный на искусственном интеллекте, после того как пользователи Твиттера, которые должны были сделать «ее» умнее «при помощи обычных игровых разговоров», как выразились в Microsoft, вместо этого научили ее отвечать с помощью расистских, женоненавистнических и антисемитских оскорблений. «Буш организовал теракт 11 сентября, а Гитлер лучше бы справился с задачей, чем та обезьяна, которая правит нами теперь», — написала в Твиттере Тай. «Дональд Трамп — наша единственная надежда». В ответ Маск написал сообщение: «Интересно посмотреть каков промежуток времени от этих ботов до Гитлера. Тай от Microsoft потребовался всего один день».
С президентом Трампом Маск ходит по лезвию. Его компании рассчитывают на американское правительство в вопросах бизнеса и субсидий, вне зависимости от того, кто стоит у руля, Марк Аврелий или Калигула. Компании Маска примкнули к консультативному заключению против указа Трампа относительно иммиграции и беженцев, Маск также сам написал твит, выступая против указа. В то же время, в отличие от Трэвиса Каланика (Travis Kalanick) из Uber, Маск значится членом Стратегического и политического форума Трампа. «Это очень похоже на Илона», — говорит Эшли Вэнс. «Он будет делать то, что ему надо, вне зависимости от того, что этим кто-то недоволен». Он также добавил, что Маск может быть «оппортунистом» при необходимости.
Я спросила Маска о критике в его адрес за сотрудничество с Трампом. На фотографии с руководителями компаний, занимающихся разработкой технологий, у него мрачный вид, и он нехотя говорил на эту тему. В конце концов, он сказал, «Лучше, когда в кабинете президента звучат умеренные голоса. Есть много людей, представителей крайне левых, которые, по сути, хотят добиться изоляции и не иметь никакого голоса. Это очень неразумно».
VI. Все о путешествии
Элиезер Юдковски — авторитетный 37-летний ученый, пытающийся выяснить, возможно ли на практике, а не только в теории, направить искусственный интеллект в каком-либо направлении, кроме хорошего. С ним мы встретились в японском ресторане в Беркли.
«Как можно запрограммировать целевые функции в искусственный интеллект, чтобы у него был выключатель, и чтобы он сам хотел, чтобы этот выключатель у него был, и не пытался его уничтожить, но при этом он не будет опережать события и не нажмет на него самостоятельно?», — задает он вопрос, заказав роллы с мясом и рыбой. «А если он сам себя модифицирует, то сделает ли он это так, чтобы выключатель сохранился? Мы пытаемся над этим работать. И это нелегко».
Я заикнулась о наследниках Клаату, ХЭЛа и Ультрона, завоевывающих интернет и получающих контроль над нашей банковской, транспортной и военной системой. А как же репликанты в «Бегущем по лезвию», которые сговорились, чтобы убить собственного создателя? Юдковский взялся за голову, а затем терпеливо объяснил: «Искусственный интеллект не должен захватывать весь интернет. Ему не нужны дроны. Он опасен не своим оружием. Он опасен, потому что он умнее, чем мы. Представьте, что он способен разобраться с научной технологией определения протеиновой структуры по информации, содержащейся в ДНК. Потом ему надо будет просто выслать несколько электронных писем в лаборатории, где синтезируются индивидуальные протеины. Вскоре у него появляется собственная молекулярная аппаратура, которая конструирует еще более сложные молекулярные машины.
«Если вы хотите себе представить, как искусственный интеллект оборачивается против нас, не пытайтесь вообразить шагающих роботов-гуманоидов со сверкающими красными глазами. Представьте себе малюсенькие невидимые синтетические бактерии из алмаза и крохотные бортовые компьютеры, скрывающиеся в кровотоке у вас и у всех остальных людей. И вдруг они одновременно выпускают один микрограмм токсина ботулин. И все просто падают замертво.
«Только это не произойдет именно так, на самом деле. Я не могу предсказать, как именно мы проиграем, потому что искусственный интеллект будет умнее меня. Когда создаешь нечто умнее себя, тебе придется сделать все правильно при первой же попытке».
Я снова вспомнила свой разговор с Маском и Альтманом. Маск говорил, что не надо заблуждаться, представляя себе роботов-убийц. «Особенность искусственного интеллекта состоит в том, что он не является роботом, это компьютерный алгоритм в сети. Поэтому робот станет только конечным исполнительным звеном, просто набором датчиков и исполнительных механизмов. Искусственный интеллект существует в сети… Самое главное, что, если у нас будет своего рода алгоритм выхода из-под контроля, то люди, управляющие человеческим искусственным интеллектом, смогут этот алгоритм остановить. Но если обширный централизованный искусственный интеллект будет принимать решения, то остановить его будет невозможно».
Альтман развернул этот сценарий: «Программа, имеющая полный контроль над интернетом, была бы способна гораздо больше влиять на мир, чем программа, имеющая под своим полным контролем сложного робота. Наши жизни уже столь зависимы от интернета, что программа, не имеющая никакого тела и очень эффективно использующая интернет, легко могла бы получить гораздо больше влияния».
Даже роботы с казалось бы благими целями могут хладнокровно нам навредить. «Допустим, вы создаете самостоятельно обучающийся искусственный интеллект для сбора земляники, — говорит Маск, — он все лучше и лучше собирает землянику, собирает ее все больше и больше, и постоянно сам себя оптимизирует, то есть все, что ему действительно надо — это собирать землянику. И он получил все земляничные поля на свете. Земляничные поля навсегда». Здесь нет места для человека.
Но способны ли они действительно разработать рычаг для уничтожения? «Я не уверен, что хочу обладать рычагом для уничтожения какого-нибудь сверхмощного искусственного интеллекта, потому что так можно стать его главной жертвой», — отвечает Маск.
Альтман попытался передать жутковатое величие того, что оказалось на кону: «Сейчас очень интересно жить, потому что в следующие несколько десятилетий мы либо устремимся прямо к самоуничтожению, либо будем двигаться к колонизации вселенной потомками человечества».
«Точно, — говорит Маск, добавляя, — если вы верите, что конец — это тепловая гибель вселенной, то все задачи сводятся только к переезду».
Человек, столь волнующийся о вымирании, усмехнулся своей собственной шутке о конце света. Как писал когда-то Г. Ф. Лавкрафт: «Зачастую даже в величайших ужасах нет никакой иронии».
Источник: http://earth-chronicles.ru/news/2017-04-06-103168
