О законах робототехники и оружии (Часть 1)

Х-47В

Недавно казалось, что вот-вот роботы начнут заменять человека на поле боя, и особых сомнений в том, что промышленность лидеров производства оборонных систем способна будет все это производить – не было. Авианосцы новой серии в США как раз по умолчанию проектировались для работы с дронами. Собственно говоря, дроны уже тоже были готовы к серии, но теперь они же будут использованы в виде летающих танкеров. Но даже внешний вид этих машин выдавал в них не бензовозов, а хищников. В самом деле, конструкция этих систем выполнена с учетом требований стелс технологий. Об этом говорит вместительный внутренний отсек, теперь используемый под емкость для топлива.

Изначально же планировалось использовать внутреннее пространство для крепежа вооружений. Никаких внешних подвесок там вообще не предполагалось. В общем, эти машинки уже прошли испытания по взлету и посадке на палубу, показывая свою готовность принять вооружения и уже работать по профилю, как ударная единица, но все остановилось просто в последний момент.

Никаких удовлетворительных пояснений этой метаморфозе так и не было дано. Просто вчера это были перспективные платформы для новых систем вооружений, а завтра пошли хвалебные комментарии об их выдающихся способностях в качестве заправщиков. При этом, было дано пояснение такого порядка, что раз у Китая появились гиперзвуковые противокорабельные ракеты, то авианосцы не должны входить в зону их досягаемости, а тогда сокращается операционная зона палубной авиации, и потому – заправщики стали такими актуальными.

Но эта отговорка вряд ли кого-то удовлетворила. В конце концов, заправщики есть и сейчас, и ваять стэлс робота-заправщика уже кажется чем-то сюрреалистичным. Куда более реальной версией такого разворота программы стала неготовность оборудования, которое должно обеспечить именно автономные возможности машины. То есть, платформа уже есть, и вооружение для платформы – тоже есть, но нет связки между ними. Изначально предполагалось, что дроны будут получать миссию, а уже в ее ходе они будут самостоятельно выбирать цели, устанавливать их приоритет и распределять их между единицами в ударной группе. То есть, должна была работать стая дронов, которая работала бы на конечный результат – успех миссии, а уже как будет выполнена эта миссия – дроны решают самостоятельно.

Это значит, что речь шла об использовании развитой системы искусственного интеллекта, и с нею произошел сбой или обнаружены проблемы, которые не позволяют машину отпустить на самостоятельную охоту с возможностью принятия решения об открытии огня.

Все это было из области догадок, но вот стало известно о том, что Пентагон поручил DARPA разработку третьего поколения искусственного интеллекта для систем вооружений. Похоже на то, что в ходе испытаний ударных дронов была обнаружена критическая проблема на системном, глобальном уровне, и соответственно – недостаточный уровень развития искусственного интеллекта, который не способен справиться с тем комплексом задач, которые предполагали миссии. Видимо, какое-то время ушло на то, чтобы установить причину этой проблемы, осмыслить в деталях, как дрон должен работать, и в конце концов – сформулировать задачу для разработчиков, чтобы конечный продукт мог дать желаемую функциональность.

Новая система искусственного интеллекта третьего поколения имеет условное название «AI-Next». Конечной целью этих работ должно стать состояние, когда человек сможет доверять машине не только в ее ответах и интерпретациях, но и в ее умении обучаться таким образом, чтобы давать интерпретации в контексте.

В DARPA разделяют поколения ИИ примерно таким образом. В первой волне ИИ может рассуждать по узко определенным проблемам. Хотя система и привносит определенные элементы способности к обучению, она описывается как «низкий уровень уверенности» или доверия. Проблема этого поколения заключается в том, что система оперирует заложенными в ее базу данными и составляет ситуацию имеющимся шаблонам. Но если какая-то часть базы данных окажется поврежденной или скомпрометированной, либо просто устаревшей ввиду существенно изменившейся обстановки, то ИИ выдаст решение, которое окажется не таким, которое ожидает от нее человек. Таким образом, ее надежность невелика.

Второе поколение ИИ уже получило способность реагировать на изменение базы данных и обстановки и динамично подстраиваться под эти изменения, интерпретируя их, исходя из общих, статистически более широких данных и понятий. Насколько можно понять, именно эта генерация ИИ предполагалась к применению в системах вооружений. Но в процессе испытаний оказалось, что система уязвима именно в части интерпретаций событий и изменения данных. То есть, происходило смещение базовых принципов, хотя этот эффект возникал при одновременном сложении нескольких факторов.

(окончание следует)

7 Comments on "О законах робототехники и оружии (Часть 1)"

  1. Может, эти люди ошиблись в преобразованиях сенсорных образов в смысловые? Именно интерпетация и вес интеллектуального образа в конце стал неоднозначным.
    Пусть сами думают.

  2. Машина так или иначе принимает решение на базе шаблонов данных и шаблонах их интерпритации. Допустим вы хотите обучить ии для работе пилотом дрона. Вы скармливание ему информацию преимущественно военного плана, и как бы не крутили фильтра принятия решения он базово смотрит в шаблоны войны и шаблоны сценариев войны. В тот момент когда вы ожидаете от ии человеческого решения он выбирает военное. Например дружественный танк получивший повреждения на поле боя и потерявший связь становится целью. Человек понимая что прилетит птичка принимает меры которые понятны человеку.ну не знаю трусы на антену повесит, трезубец нарисует. Машина это не понимает.
    В условиях работы рэб все на поле боя становится целью.

  3. bold nail | 16.10.2018 at 23:45 |

    @Похоже на то, что в ходе испытаний ударных дронов была обнаружена критическая проблема на системном, глобальном уровне, и соответственно – недостаточный уровень развития искусственного интеллекта, который не способен справиться с тем комплексом задач, которые предполагали миссии@
    =====
    может быть проблема в степени выражения озабоченности
    🙂

  4. Олекса Деревій | 17.10.2018 at 00:04 |

    В условиях работы рэб все на поле боя становится целью.
    ——————————
    Краще і не скажеш!!!

  5. albert | 17.10.2018 at 00:26 |

    судя по всему с ИИ проблема одна “свой-чужой” и способы 100%защиты установок от возможных внутренних процессов ИИ и внешнего воздействия.
    На секунду представить, что такая красивая штука не отбомбившись возвращается на авианосец

  6. Олекса Деревій | 17.10.2018 at 02:24 |

    sk13
    ——————————-
    Может, эти люди ошиблись в преобразованиях сенсорных образов в смысловые? Именно интерпетация и вес интеллектуального образа в конце стал неоднозначным.
    ———————-
    Ага! Точно! Це про усіх 12 путіних!!!

  7. albert | 17.10.2018 at 12:17 |

    Евгений:
    вообще,как я чувствую, это самая интереснейшая тема на сегодняшний день .
    В отношении ИИ, трусов и трезубца.
    Для него – это могут быть такие же дополнительные параметры, которые откладывают атаку на дружественный танк до дополнительного выяснения через базу на земле.
    Это могут быть сотня точек опознания своего и десятки для
    союзника. И подделка нескольких точек противником, будут вызывать “сомнения” ИИ в атаке, но это в будущем.
    В любом случае, несколько сигналов в полуживом танке будут продолжать исходить для опознания.
    Дело в другом,в глобальном: -самостоятельная система ИИ, направленная на опр. действие-уничтожение, может легко потерять исходное понятие “свой-чужой”, например, при воздействии эл-магн. импульса или ещё чего нибудь.
    -Эта весьма тонкая грань может быть разрушена.
    Для понятного примера: подросток 14 лет (боевая система ИИ) , настроенный понятно на что (динь-динь),
    через воздействие миллиграмма т. наркотика(см.-эми) делает с бабушкой 90 лет всё, на что способна его боевая
    программа. И, это не было изначально заложено в его программу!!!!
    Просто, ИИ на сегодняшний день, не отличается от мотивированного подростка.
    -Это , только мои измышления, и, может кто поправит
    .

Comments are closed.