О законах робототехники и оружии (Часть 2)

Тем не менее, в случае с боевым оружием, а не пылесосом или бытовым прибором, этого оказалось недостаточно, поскольку фактор надежности военные возвели во главу угла. Таким образом, ИИ второго поколения получил оценку «минимальной надежности», и военные не решились его применить в уже готовых платформах, как тот палубный дрон, о котором мы вели речь ранее. Кстати, военные приняли решение о том, что ИИ вполне может применяться в не боевых системах или там, где работу ИИ контролирует человек. Но для боевых систем, которые должны работать практически автономно и самостоятельно выбирать цели и принимать решение об их поражении, этого оказалось недостаточно.

Над ИИ третьего поколения вместе с DARPA работает Raytheon, который получил контракт от ВМФ на выполнение конкретных работ, в этом направлении. Похоже на то, что разработчики теперь пошли несколько необычным путем. Поскольку конечной целью стала предсказуемость действий ИИ, а значит и ее надежность, компьютерные алгоритмы теперь должны получить представление о человеке, в части взаимодействия с ним. Это важно для правильности интерпретации субъективных нюансов. Оказалось, что базы данных, которые являются исходной точкой для ИИ, надо наполнять более общими понятиями, которые дают нужные аспекты в интерпретации изменяющейся ситуации и/или изменения данных, содержащихся в базе, а если нужно, то и фиксировать устаревающие данные, которые выпадают из контекста и не поддаются интерпретации, согласно этим самым более общим критериям.

В общем, прямо сейчас мы подходим к тому моменту, который давно описан писателями-фантастами и уже прямо формируются те самые законы робототехники, которые дали основу для десятков фантастических романов. Айзек Азимов, еще в далеком 1942 году, в своем рассказе «Хоровод» так описывал основные законы робототехники:

  1. «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
  2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
  3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам»

Судя по всему, третье поколение ИИ формирует именно эти правила игры для роботов. По крайней мере, инженеры из Raytheon говорят о том, что алгоритмы, которые составляются для ИИ третьего поколения, уже используют набор философских концепций, психологических и эмоциональных понятий. В общем, без того, чтобы владеть какими-то основными принципами, которыми руководствуется человек, робот не вполне поймет задачу, а главное – способы ее решения, которые хочет видеть человек.

И тут мы выходим на такой уровень решения проблемы, который ставит вопрос о том, чего же хочет человек? Как стало понятно, без объяснения хотя бы в общих чертах этого машине, она не может быть настолько надежной, чтобы доверить ей летальное оружие, и главное, право решать, когда она (машина) может отнять человеческую жизнь, а когда – нет.

Окружающие события говорят о том, что люди себе это не всегда могут объяснить четко, а главное – универсально, чтобы это правило или комплекс правил ты мог применять без оглядки и знать, что это же самое будет применено и к тебе.

Тот, кто служил в совковой армии и нес службу дневальным по роте помнит, как звучит доклад командиру, вошедшему в расположение роты: «… за ваше отсутствие происшествий не случилось, кроме – трое дезертировали, сгорела казарма и автопарк». То есть, сначала докладывается, что все хорошо, потому что есть докладчик и он в состоянии говорить, а дальше – как есть. В общем, это – казарменное переложение старой Утесовской песни «Все хорошо, прекрасная маркиза». Так вот, мы это понимаем, но улавливаем иронию или сарказм в смысле сказанного. Грубо говоря, машину надо научить понимать контексты, и дать ей критерии к их пониманию, но мы не всегда можем эти же вещи вдолбить в голову людям из плоти и крови.

И главное. Кроме существенного расширения исходных баз данных, нужных алгоритмов, позволяющих интерпретировать входящие изменения, и критериев для интерпретации, ИИ должен быть способен к самообучению, на основе исходных данных и всех тех изменений, которые происходят вокруг, и что самое важное, он должен уметь корректировать этот процесс самообучения, а значит – анализировать и его.

Но похоже на то, что эта работа уже дала положительные результаты, и теперь ей придают форму, которая необходима для автономных боевых систем. Не зря почти вся новая боевая техника США, будь то воздушная, морская или сухопутная опционально готовится к возможной работе в автономном режиме, под управлением ИИ. Это значит, что сами боевые системы уже готовы или находятся на финальной стадии разработки и дело только за «мозгами».

15 Comments on "О законах робототехники и оружии (Часть 2)"

  1. Андрій Дар | 17.10.2018 at 09:34 |

    Думаю, що “самонавчання” ШІ (штучного іштелекту) – у воєнній практиці не дуже допустимо.
    ШІ має мати конкретні завдання та цілевказання на кожний виліт, і відпрацювати їх за наперед визначеною програмою. А вже після приземлення, під наглядом спеціалістів, провести “подальше навчання” на базі внов отриманих даних (особливостей, нюансів, які, після обробкр, можуть підвищити якість блйлвих програм).
    Але – ніякого “самонавчання” у польоті та самостійно! За дуже зрозумілих причин.

  2. Андрій Дар | 17.10.2018 at 10:10 |

    Багато хто з фантастів иоделював світ з роботами, з войнами, та з робо-войнами. В апокаліптичному, та в жартівливому стилі.

    Можу порекомендувати пана Станіслава Лема:

    “Семь Путешествий Трурля и Клапауция. Путешествие первое, или ловушка Гарганциана”
    https://lib.misto.kiev.ua/LEM/lem_s046.dhtml
    (шортрід)
    “Непереможний” (російскою)
    https://lib.misto.kiev.ua/LEM/nepobed.dhtml
    (лонгрід), та його оповідання:
    Пилот Пиркс, СКАЗКИ РОБОТОВ, КИБЕРИАДА, Звездные дневники Ийона Тихого (ржака-оборжака!).

    Для любителів про гру у супер-довгу (століттями!): роман Айзека Азімова “Основание” (“Foundation”).

  3. Андрій Дар: “…ніякого «самонавчання» у польоті та самостійно! За дуже зрозумілих причин.”

    Самое забавное, что и в расширенной вселенной Звёздных Войн, и в Еве-он-лайн (нейросети) всё это уже было тысячами фанатов рассмотрено и сделаны те же выводы. 🙂

    • Микола | 17.10.2018 at 16:55 |

      Трішки вас поправлю.
      Нейромережі вчаться в процесі.

  4. Алексей Ш | 17.10.2018 at 14:51 |

    Ох и непростую же Вы тему подняли, уважаемый автор!
    Позвольте же и мне высказаться по этому поводу.
    1. Что принципиально важно в законах робототехники, так это то, что более чем через 40 лет в 1986 Айзек Азимов к трем законам робототехники добавил нулевой (приоритетный) закон робототехники, который гласит «0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.» (см. http://fandea.ru/650-nulevoi-zakon-robototehniki.html ).
    Перефразировав его можно применительно к войне можно сказать так: «Оружие с ИИ должно понимать, что Выживание человечества важнее победы в войне и(или) выполнения боевой задачи».
    Если не решить задачу понимания оружейным интеллектом приоритета выживания человечества, то человечество неминуемо будет уничтожено. По частям. В ходе выполнения боевых задач противоборствующими сторонами.
    Поэтому оружие с ИИ до решения этой задачи на поля сражений выпускать просто недопустимо.
    И, моя интуиция подсказывает мне, что после решения этой задачи выпускать ИИ на поля сражения станет бессмысленно.

  5. Алексей Ш | 17.10.2018 at 14:53 |

    2. В свете вышесказанного люди, которые создают элементы оружейного ИИ, толкают человечество напрямую к гибели. Причем так, что поправить будет ничего нельзя.
    Это как прыжок с крыши небоскреба. Можно, пока летишь вниз, стопиццот раз сожалеть о последнем шаге, но изменить уже ничего нельзя.
    Ибо решения будет принимать уже не человечество, а оружейный ИИ.
    Да простится мне резкость, которую я чуть ниже выскажу.
    НО!
    Человека, который пытается создать «набор философских концепций, психологических и эмоциональных понятий» для оружейного ИИ, необходимо «немедленно ставить в угол», как говорил доктор Айболит.
    А лучше отправлять в «желтый дом» или осудить за преступление перед человечностью. Поскольку ни один «набор философских концепций, психологических и эмоциональных понятий» в истории человечества не остановил войну даже на носителе более развитого естественного интеллекта (человека).
    И наоборот, человечество, проведя множество «натурных экспериментов» и понаблюдав за их результатами, сформулировало категоричную заповедь «Не убий».

  6. Алексей Ш | 17.10.2018 at 14:54 |

    3. Мы рассмотрели вопрос об оружейном интеллекте с точки зрения человечества.
    Но у этого вопроса есть и другая сторона. Она касается собственно оружейного разума.
    Все разработчики ИИ и «моделирователи человеческого мозга» на компьютере принципиально закрывают глаза на один простой общеизвестный факт. Разум передается ТОЛЬКО ВОСПИТАНИЕМ. Подтверждением тому служат многочисленные человеческие дети воспитанные животными (см. например https://www.factroom.ru/facts/64959 ).
    Из этого факта следует вывод, о котором мало кто задумывается:
    РАЗУМ может быть ТОЛЬКО ЕСТЕСТВЕННЫМ
    вне зависимости от носителя. Искусственный носитель или естественный – это не важно. Если разум есть, то его носитель СУБЪЕКТ. Со всеми вытекающими последствиями (и правами, и ответственностью).
    Закон о защите разума и о его праве на достойное воспитание пока не написан, но, думаю, он обязательно возникнет. Иначе «медные каски» начнут калечить ИИ, воспитывая психопатов на искусственных носителях, для оружейных систем.
    Поскольку для нормального, хорошо воспитанного разума и убийство и собственный уход на смерть будет трагедией.
    Лично я считаю, это категорически недопустимым.

  7. Алексей Ш | 17.10.2018 at 14:56 |

    4. Временным выходом для оружейного разума может служить его конструкция по принципу инстинктов насекомых. (Пчелы, не обладая мозгом, летают не хуже пилотов, находят цветы, делятся информацией с другими пчелами и решают много-много других сложных задач). Эту идею примерно 50 лет назад высказал С. Лем (см. «Системы оружия двадцать первого века или Эволюция вверх ногами» http://www.oldsf.ru/mastera-zarubezhnoi-fantastiki/stanislav-lem/sistemy-oruzhiya-dvadtsat-pervogo-veka-ili-evolyutsiya- ).
    Но у подобного подхода так же немало опасных последствий описанных в упомянутом рассказе-прогнозе.

    Вывод: Использование разума в оружии недопустимо категорически. Использование инстинктов в оружии допустимо, но чрезвычайно опасно.

    PS Всем кого интересует проблематика построения картин мира для ИИ рекомендую доклад http://www.dialog-21.ru/media/2473/alexandrov-fadeev.pdf
    PPS В Украине сейчас идет война. Возможно поэтому, кому-то моя позиция покажется излишне пацифисткой.
    Поэтому скажу, что я абсолютно разделяю необходимость победы над агрессором. И добавлю пару слов о текущей ситуации.
    В определенных случаях гуманизм требует категорического уничтожения угрозы, как собственному выживанию, так и выживанию человечества.
    Если к вам во двор вбежала бешеная собака ее надо пристрелить. Категорично. Без разговоров. Этого требует гуманизм.
    Так же надо поступить и с людоедом, вне зависимости от того, читал ли он Шекспира в подлиннике, и останутся ли его дети сиротами. Этого требует гуманизм.
    И если какая-то страна, заявляет, что она не нуждается в человечестве и грозит человечеству уничтожением, то с ней надо поступить так же.
    Из соображений гуманизма.
    DIXI

  8. Алексей Ш | 17.10.2018 at 15:06 |

    Офтопик
    Уважаемая пани редактор!
    Я, к сожелнию, не смог своевремнно поздравить Вас с днем рождения. Позвольте же сделать это сегодня, с опозданием но от чистого сердца.

    Большие реформации начинаются порой с маленького листочка прибитого на двери церкви.
    Именно так я и воспринимаю Ваш проект.
    Дай Бог Вам зоровья и сил на осуществление всех Ваших замыслов!

  9. Андрій Дар | 17.10.2018 at 18:12 |

    Алексей Ш, спасибо за развернутую подборку материала.
    До сих пор читаю, осмысляю.
    Вероятно, то же делают и многие наши читатели, и уважаемый Автор.
    Благодарю.
    Сапиенти сат.
    Когда эта (или близкая ей) тема поднимется здесь в следующий раз, это произойдет уже на новом уровне осмысления.
    Пер аспера ад астра == Все будет Украина.

  10. Евгений О. | 17.10.2018 at 22:32 |

    Трудно не согласиться с уважаемым Алексеем Ш во многих, высказанных им, позициях.
    Но, прочитал последний тезис, относительно позиции гуманизма, и возник у меня вопрос.
    Вот та самая страна, с которой “надо поступить так же”, презрев упомянутые ранее Алексеем Ш принципы, сотворила нечто, воспользовавшись в том числе и стыренными материалами по этому самому “ИИ”. Нечто весьма шустрое, эффективное и не доступное по сути человеческой реакции. Примеров похожих уже не мало.
    И шо, простите тогда?
    Снести эту территорию, как эрэфисты Грозный, в щебенку?
    Или как?
    Можно до бесконечности апеллировать к вполне высокоинтеллектуальным ЛИТЕРАТУРНЫМ произведениям.
    Но, простите великодушно, раз изобретатель пресловутого “Новичка” не перерезал себе глотку сам в тот момент, когда сообразил, как, используя знания накопленные человечеством до него, сотворить эту дрянь, приходится мириться с риском того, чего так боится уважаемый Алексей Ш.
    Поскольку кому-то взбрело в голову брать у него интервью, а кому-то взбрендилось это интервью опубликовать, вместо того, чтобы … из соображений, опять же, гуманизма, то при чем тут тогда С. Лем?
    Это уже не литература, а нечто менее эфемерное. И трупы вполне, следует отметить, реальные.
    А если честно, то, как по мне, пора бы уже очень многим, добравшимся, или, если угодно, дорвавшимся , до властных высот, кроме калькуляторов, еще и мозги включать.
    А что касается распространения информации, в особенности знаний и практических рекомендаций специфического характера, не только, кстати, как из спичек соорудить бомбу, а и подобных лекциям известного публициста про то, как быть настоящим мерзавцем, то тоже еще тот вопрос.
    И как бы не скулилось и визжалось всевозможным свободолюбцам и свободолюбицам, а, если хотят, чтобы их потомки остались в живых и при здоровье, то пора им подумать о том, чтобы заткнуться. Всерьез и на долго.

  11. Алексей Ш | 18.10.2018 at 20:03 |

    Олександр:
    Октябрь 17, 2018 в 20:20

    Да. Согласен.
    Но более глубоко, на мой взгляд, эта тема раскрыта в «Маске» с. Лема.
    https://www.booksite.ru/fulltext/0/001/005/167/050.htm
    Эту мысль И. В. Петрянов-Соколов сформулировал так: «Разум приводит к добру». См.
    И. В. Петрянов-Соколов. Три слоя «Маски»: [Послесловие к фантастической повести С. Лема] // Химия и жизнь (Москва), 1976, №8 – с.100-101
    http://publ.lib.ru/ARCHIVES/H/”Himiya_i_jizn”’/_”Himiya_i_jizn”’_1976_.html
    От себя добавлю, что если посмотреть на человеческую историю, то можно заметить, что «разум приводит к добру» не быстро, но неизбежно. Причем чем быстрее скорость развития социума, тем быстрее разум приводит к добру, а зло наступает на свои грабли тоже быстрее и неизбежнее.

  12. Алексей Ш | 18.10.2018 at 20:32 |

    Да. Согласен.
    Но более глубоко, на мой взгляд, эта тема раскрыта в «Маске» С. Лема.
    (почему-то ссылки не пропускаются)
    Эту мысль И. В. Петрянов-Соколов сформулировал так: «Разум приводит к добру». См.
    И. В. Петрянов-Соколов. Три слоя «Маски»: [Послесловие к фантастической повести С. Лема] // Химия и жизнь (Москва), 1976, №8 – с.100-101
    (почему-то ссылки не пропускаются, увы. Ну значит гулите сами или поверьте на слово 🙂 ).

    От себя добавлю, что если посмотреть на человеческую историю, то можно заметить, что «разум приводит к добру» не быстро, но неизбежно. (Ну например, религии от очень жестоких первобытных с человеческими жертвоприношениями перешли к вполне гуманным). Причем чем быстрее скорость развития социума, тем быстрее разум приводит к добру, а зло наступает на свои грабли тоже быстрее и неизбежнее.

  13. Алексей Ш: | 18.10.2018 at 20:35 |

    Мой прдыдущий комментий относится к сообщению
    Олександр:
    Октябрь 17, 2018 в 20:20

Comments are closed.