Морские пехотинцы перехитрили систему видеонаблюдения с искусственным интеллектом, спрятавшись в картонной коробке и притворяясь деревьями
Почему бы тебе не прикинуться деревом и не обмануть эту передовую систему распознавания на базе ИИ?
Искусственный интеллект способен на многое. Получив большой массив данных, он обрабатывает информацию быстрее, чем средний аналитик-разведчик. Но, как оказалось, в некоторых вещах искусственный интеллект всё ещё отстаёт от смекалки морской пехоты.
В своей новой книге Four Battlegrounds: Power in the Age of Artificial Intelligence Пол Шарре рассказывает об эксперименте с ИИ, который сорвал отряд морских пехотинцев, придумавших нестандартные способы скрытного передвижения и обхода системы обнаружения. Всего за день морпехи поняли: лучший способ подойти к системе, созданной для распознавания человека, — это попросту не выглядеть человеком.
На практике это означало — встать за деревом или просто накинуть на голову картонную коробку.
Испытываемая система ИИ была разработана в рамках программы DARPA Squad X. По замыслу DARPA, технология должна была «максимизировать осведомлённость подразделения о ситуации, а автономные системы позволяли бы расширять зону боевых действий и сферу влияния».
«DARPA работала над тем, чтобы научить систему распознавать людей в сложных городских условиях и замечать тех, кто приближается к подразделению», — рассказал Шарре.
Замдиректора Управления оборонных наук DARPA Фил Рут пояснил: «Танк выглядит как танк, даже когда он движется. Человек в движении выглядит иначе, чем стоящий. Человек с оружием выглядит иначе, чем без него».
Чтобы обучить ИИ, нужно было собрать данные: отряд морпехов шесть дней подряд ходил перед системой. На седьмой день настало время испытания.
«Если морпехи смогут подобраться вплотную и коснуться робота, не будучи замеченными, они выиграют. Мне было интересно посмотреть, что получится, игра началась», — вспоминал Рут.
И когда игра началась, по его словам, «восемь морских пехотинцев — и ни одного система не обнаружила».
Двое, как говорится в книге, кувыркались 300 метров, чтобы подкрасться к сенсору. Ещё двое залезли под картонную коробку.
«Их смех было слышно всё время», — отметил Рут.
Один морпех ободрал еловую ветку и шёл с ней перед собой, закрываясь от сенсора. В итоге система умела распознавать только человека, идущего пешком, потому что именно на такие данные она была обучена.
«Алгоритмы хрупкие, и главный вывод в том, что всегда будут крайние случаи», — сказал Шарре в интервью Task & Purpose. — «Настоящая проблема для армии в том, что она действует в условиях постоянного противодействия, а люди всегда будут находить новые способы адаптироваться».
Шарре в книге называет это «сдвигом распределения»: когда ИИ обучен на одном наборе данных, а сталкивается с новыми ситуациями. Если ИИ учился распознавать людей, идущих пешком, его легко обманет человек, кувыркающийся, прячущийся за деревом или забравшийся в картонную коробку.
Хотя ИИ может превосходить человека в конкретной задаче, люди, как пишет Шарре, склонны «путать эффективность с компетентностью». Иными словами, ИИ может отлично выполнять то, чему его научили. Но он не знает, чего не знает, и не осознаёт, что должен это знать.
«У людей куда более богатое понимание мира», — отметил Шарре.
Он добавил, что искусственный интеллект развивается стремительно, и результаты этого теста не отражают возможностей технологий в 2023 году. Для армии же вызов заключается в том, чтобы «создавать доктрину, позволяющую быстро внедрять то, что умеет ИИ».
Но когда дело доходит до противостояния морпехов и ИИ, морпехи остаются непобедимыми.
Книга Пола Шарре Four Battlegrounds: Power in the Age of Artificial Intelligence выйдет 28 февраля.