海上自衛隊幹部学校

交通案内 | リンク | サイトマップ |  English

HOME / 戦略研究会 / コラム / コラム131

 戦略研究会

 完全自律兵器(Fully Autonomous Weapons)の自律とは
―ターミネーターは誕生するのか―

(コラム131 2019/02/25)

*******

はじめに
   米国防総省から2018年8月に発刊された「無人兵器システム統合指針2017--2042 (Pentagon Unmanned Systems Integrates Roadmap 2017-2042)」 によれば、無人兵器システムの戦略的重要テーマの一つとして自律性(autonomy)をあげている1。この自律性とロボット技術の進歩は戦闘の概念を大きく変え、米国防省に戦略的利点を提供すると指摘している2。この戦略的利点については、米国は次のように考察している。2014 年11 月15日に開催されたレーガン国防フォーラムにおいて、ヘーゲル(Chuck Hagel)国防長官(当時)は、兵器、システム及び作戦概念を新たな形で組み合わせることで、敵国の軍事的優位を相殺して余りある軍事的能力を確保し、もって抑止力を生み出すという「第三のオフセット戦略(third offset strategy)」について言及した3。この「第三のオフセット戦略」の重要な要素として人工知能(Artificial Intelligence:AI)の分野における、特に機械学習と無人兵器の自律性を挙げている4。米国防総省はこの無人兵器システムの自律性を向上させるAIの開発について、より高度な戦略レベルに引き上げるために「2018年米国防総省 人工知能戦略(Summary of the 2018 Department of Defense Artificial Intelligence Strategy)」を策定し、中国やロシアが軍事目標でAIに多大な投資を行っていることに警笛を鳴らすとともに5、米国防総省においてもAI開発を加速させる方針を打ち出した6。現在までのところ、中国やロシアは米国の第三のオフセット戦略に対して公式な声明を発表していないが7、米国が中国やロシアのAIの軍事利用に警笛を鳴らす背景には次のようなものがある。
   中国は、AIを将来の最重要技術と位置づけ「2030年までにAIで世界をリードする」という目標を掲げ、習近平主席が重視する「軍民融合」により民間のAI技術を軍事転用し、「AIによる軍事革命」を実現しようとしている8
   また、現ロシア軍参謀総長ワレリーゲラシモフ(Valery Gerasimov)将軍は、2013年に戦争の未来(future of warfare)という記事で、現代の武力紛争解決手段の本質の一つとして、AIの研究を挙げ、「・・・今日、我々は空飛ぶ無人偵察機を所有しているが、明日の戦場は歩く(walking)、這う(crawling)、飛び跳ねる(jumping)、そして飛ぶ(flying)ロボットでいっぱいになるであろう。 近い将来、完全にロボット化された部隊が作られ、独立して軍事作戦を遂行することが可能になるであろう・・・」9と予測している。このような情勢から、自律兵器による危険な軍拡競争が進行中であると指摘されている10。また、ヒューマンライトウォッチ(HRW)とハーバード・ロースクール国際人権クリニック(以下、HRW等)は、2012年11月にロボット兵器に関する報告書『失われつつある人間性:殺人ロボットに反対する論拠』(以下、HRW報告)において、今後AIを含む科学技術の発展予想から、20年から30年以内に人間の意思が介在することなく標的を自ら選択し攻撃できる自律兵器(autonomous weapons)、いわゆる「殺人ロボット(killer Robots)」が開発されると予想している11。この殺人ロボットは現在「致死性自律兵器システム(Lethal Autonomous Weapons System: LAWS)」として、特定通常兵器使用禁止制限条約(Certain Conventional Weapons: CCW)締約国会議の枠組みで議論されている12。しかし、HRW等が指摘するようにこの殺人ロボットは、近い将来、米国映画『ターミネーター』のごとく、戦場でロボット(若しくはAI)自身の判断で人間を殺傷する日が来るのだろうか。確かにペンタゴン(米国防総省)や国連で自律兵器に関する重要な討論がされる際、10回中9回は誰かがターミネーターについて言及しているといわれている13。米国防総省内では「ターミネーターの難問(Terminator Conundrum)」14として扱われているこの問いに対し、AI及びロボット(無人)兵器の本質から、ターミネーターと完全自律兵器システムの違いについて述べてみたい。

(1) 無人兵器システムの自律性と分類基準
   HRWは、無人兵器システムは、基本的にプログラムされた方法に基づいて感知し行動する機械であり、これら全ての無人兵器システムは、人間の監視なしに機械が(自ら)作動する能力を意味する自律性(autonomy)をある程度有しているとしている15。また、ある程度自律性を有する無人システムと人間の介在の程度によって以下の3つに区分している16(表1参照)。

人間の介在の程度による無人兵器システムの分類

   現在の無人兵器を上記の分類基準に当てはめると半自律兵器システムの①が主流である。②の具体例として、対空脅威(対艦ミサイルや固定翼機)や非対称脅威(高速船艇、ヘリコプター、無人機)を自動的に探知・追尾・迎撃(攻撃)する米海軍の艦船搭載のMK15ファランク(Phalanx)、近接防御火器システム(CIWS)、ファランクスの地上版である米陸軍の対ロケット・野戦砲・迫撃砲システム(C-RAM)やイスラエル軍のアイアン・ドーム(Iron Dome)が配備されている。さらにイスラエルは、特定のレーダーに反応し、オペレーターの介在なしにレーダーサイト等を攻撃する徘徊型兵器(loitering munition)、ハーピー(Harpy)を実戦配備している17。これらの無人兵器システムは、理論上「人間監視(human supervision)」の②に該当するが、秒単位での検知・評価・対応過程から、判定過程での人間による適切な監視(システムがオペレーターの意図しない行動をした時の停止決定)がほぼ不可能なため、③のいわゆる完全自律兵器システムに含むことも可能といわれている18
   なお、②と③の間にある唯一の実質的な違いは、②に区分される人間監視自律兵器システムは、オペレーターの意図しない作動を無人兵器がした時に、人間がオーバーライド(解除)する機能を持っており、③の完全自律兵器システムはオペレーターがオーバーライドする機能がないというところに違いがあるとされる19。ハーピー以外にも韓国のサムソン社製SGR-1(静止型武装歩哨ロボット)を完全自律兵器システムとして挙げられており20、無人兵器の完全自律に反対する論者からは必ず批判に挙げられる兵器である21

(2) 米英国が定義する無人兵器システムの自律性
   米国防総省では、武器システムの自律性のレベルから、「半自律兵器システム」と「自律兵器システム(上記③の完全自律兵器システムと同様の概念)」と2つに区分する。前者を「一旦起動すれば、人間のオペレーターが選択した個別の標的又は特定の標的群しか攻撃しないよう意図されたもの」と定義し、後者を「一旦起動すれば、人間のオペレーターによる更なる関与がなくても標的を選択し攻撃できるもの」と定義している22。一方、英国防総省では自動(Automation)と自律(Autonomy )の違いについて、自動とは、「(無人航空機:UAVの文脈において)一つ以上のセンサーからの入力に応じて、あらかじめ定義された規則に論理的に従い、予測可能な結果をもたらすようにプログラムされたシステム」であり、自律とは、「いくつかの選択肢の中から、人間の監視(human oversight)、又は制御(control)に依存することなく行動方針を決定することができる能力」と定義している23。その上で自律システムとは「人間と同じレベルの状況理解を達成することができなければならない」24として、システムというためには、米国の自律よりも高いレベルを要求している。よって、(UAVの文脈において)一連の規則や命令に論理的に従うことが示されている現存兵器や現在開発中の兵器は、全て自律的ではないと評価している25。これに関連して2016年のLAWSに伴うCCW締約国会議では、英国は(プログラムの規則に従い)兵器自身で標的(targets)を捜索(search)、選択(select)、そして攻撃(engage)する兵器を自国で開発する可能性について言及し、これは単に「自動兵器(automated weapons)」であり、「自律兵器(autonomous weapons)」ではないと主張している26。英国があえて無人兵器の自律性のレベルを引き上げようとしているのは、当該CCW締約国会議で仮にLAWSに対する何らかの規制が提案されたとしても、英国は既存の兵器や開発中の無人兵器(例えばタラニス(Taranis))等に対して規制が及ばないように回避しようとしているともとれる。
   また、この英国防総省が示す自律システムの意味するところは、以下に述べる元米国防副長官ワーク(Bob Work)が言及する汎用型AI(Artificial General AI: AGI)に類似した人間レベルの知能を備えたシステムを指すことが指摘されている27

(3)無人兵器の自律性に必要なAI
   AIについてよく言われる言葉として次の2つがある。ある特定のタスク(例えば、囲碁、自動運転など)に特化したAIは特化型AIと呼ばれ、対象とするタスクに応じた事前知識が潤沢に組み込まれている。これに対し、人間のように十分に広範な適用範囲と強力な汎化能力を持ち、多種多様な問題を解決することが可能なAI を汎用型AIと呼ばれている28
   完全自律兵器システムは上述の表1③のとおり、「人間の入力又は相互作用なく標的を選択し武力を行使できる」が、ここで、標的を選択するという行為が漠然としているため、完全自律兵器システムの意味するところがさまざまな解釈になりがちとなり、現代の科学技術の先にターミネーターが開発されるのではないかという誤解を与える重要なポイントである。ここでは、この曖昧さを解消するため、標的を設定するのは誰なのかという視点で完全自律兵器システムを分類すると、次の2つが存在する。すなわち、人間が設計したプログラムに従って与えられる標的を選択するのか若しくは、AIが標的を設定し選択するのかである。前者を「特化型完全自律兵器システム」、後者を「汎用型完全自律兵器システム」と呼ぶことにする(表2参照)。

完全自律兵器システムの分類

   特化型AIを実現する技術の1つである画像認識ニューラルネットワークは、オブジェクト(目標)を識別することはできるが、これらの目標がシーンの中で何が起こっているのか一貫したストーリーにまとめることができないとされている29
   例えばロボット掃除機「ルンバ」は掃除に特化したロボットであるが、最近このルンバが電気ストーブを勝手に押したり倒したりして火災が発生しているというニュースがある30。ルンバの持ち主は火災を発生させてまで掃除をして欲しいと思っていないだろうし、ルンバはシーンを判断できないので火災中でも消火活動をせずに掃除をしてしまう。これを戦場に適用してみると、指揮官の意図を組んでAI自らが標的を設定し選択させるためには、何らかの目標を探知した後、画像認識等でその目標を識別することだけでなく、シーン(周囲の状況)を把握し、情勢判断をした上で指揮官の意図に合致した標的を設定することが必要となる。すなわち、AI自らが標的を設定するためには、広範な範囲の認知課題にわたって人間レベルの知能を発揮するAGIの搭載が必要である。すなわちターミネーターを開発するためには、このAGIの開発が必要不可欠な要素となるが、現在のところ、AGIの開発はSFの領域と指摘されている31。この2つのAIを単に「AI」と呼称したり、特化型完全自律兵器システムと汎用型完全自律兵器システムを単に「完全自律兵器システム」と呼称すると現存兵器のハーピーからターミネーターまで全て「完全自律兵器システム」に区分されるので錯誤を起こしやすい。あえて区分するならハーピーやSGR-1は「特化型完全自律兵器システム」であり、ターミネーターは「汎用型完全自律兵器システム」である(表3参照)。

無人兵器システムの分類と現存兵器

(4)無人兵器の自律性に必要なAI
   では、ターミネーターを開発するために必要であろうAGIは開発されるのであろうか。その開発状況及び実現可能性について述べる。
   AGIの開発には人間の脳構造の理解が不可欠と思われるが、最終的には人間の脳の理解が向上すれば、詳細なニューロンごとのシミュレーションが可能になるため、一部の研究者は、全脳模倣(エミュレーション)が2040年代には早くもスーパーコンピュータで可能になるかもしれないと考えている32。しかし、AGIがいつ作成されるのかについては意見が異なり、今後10年間から、決して実現できないまでの範囲で見積もられている33。 AIの専門家の大多数はAGIが2040年までに、おそらく今世紀の終わりまでに可能であるかもしれないと予測しているが、本当に誰もわからないことが指摘されている34。ペンタゴンの新技術を研究しているAndrew Herr氏は、次のように述べている。「技術が50年先にあると人々が言うと、彼らはそれが可能であるとは本当は信じていない。彼らが20年後にはできると言っても、それは可能だと信じているが、それがどうなるか分からない」。AGIは後者のカテゴリーに入る35
   元米国防副長官ワーク(Bob Work)によれば、AGIの開発はそれほど進んでおらず、実現するとすれば「(…非常に、非常に、非常に遠い将来)…very, very, very far in the future. 」36であると言及している。
   また、AGIと関連性が高いシンギュラリティ(技術的特異点)の側面からその実現性を考慮してみる。シンギュラリティとは、AIが自分の能力を超えるAIを自ら生み出せるようになる時点を指し、2045年にも到来するという説がある37。優秀なAI研究者のレベルの創造性を持って更に高度なAIをプログラミングできるAIが造られれば、AI自身による自己再帰的な改良(recursive self-improvement)が可能になる。そのレベルに達した最初のAIは、「Seed AI」と呼ばれ、その出現がシンギュラリティの起点となる可能性が高い38。しかしながら、「人間=知能+生命」であり、知能をつくることができたとしても、生命をつくることは非常に難しく、AIが人類を征服したり、AIを設計し直したりするためには、AIがそのような欲求や意思を持つこと、すなわち、生命を有している必要があり、その可能性は低い39。これに関連して、AIの限界は何かと問われれば、AIには意思がないということが言える40。AIは情報を処理する機械にすぎないため、どうありたいという願いや欲望も、判断のベースとなる価値観、性格もない。そのためどのような状態をどう目指すべきだという、いわゆる目標設定、ゴール設定、ビジョンを立てることができない。コンピュータにAIを搭載したからといって、自我や意思が自発的に生まれることは当面考えられない41。よって、AGI実現の目途は立っていないと言わざるを得ない。
   仮に、AGIの開発に成功したとしても、それを搭載した完全自律兵器はあまりにも危険で実用に耐えないことが指摘されている。ワークは仮にAGIが開発されたとしても、ターミネーターのSkynet42のように、「今は人間が敵だ」とコードを書き換えられる恐れがあり、また全ての意思決定を自ら行うAGIを自律型兵器に搭載することに関しては非常に慎重にならざるを得ず、米国の自律性の研究はAGIに指向していないと言及している43(図1参照)。

機械に自律性を委譲する危険性

おわりに
   冒頭で指摘したように、現在の無人兵器の開発状況は、自動から自律へと移行し、自律兵器による危険な軍拡競争の中にある。この中で無人兵器の自律化への流れから、いずれはターミネーターが開発されるのではないかという疑問に対し、筆者は否定的に論じてきた。特にHRW等からキラーロボットとも言われている完全自律兵器は、現在、国連のCCWの枠組みでLAWSとして開発を規制すべきかどうか検討されているが44、AIに対する誤解や完全自律兵器の自律の定義が曖昧なため、議論が進捗していないと聞く。繰り返しになるが完全自律兵器には2種類あり、現存兵器で完全自律兵器といわれているハーピーやSGR-1は人間が設計したプログラムに従って標的を選択し武力を行使できるに過ぎない「特化型完全自律兵器(英国では単に自動兵器)」である。ターミネーターのようにAIが状況を理解した上で標的を選択し、武力を行使できる「汎用型完全自律兵器」とは別物であり、上述のとおり現在のところAGIはSFの領域である。今後、特化型AIに区分される画像認識ニューラルネットワークは、さらに改良が重ねられ、既存の自動標的認識(automatic target recognition: ATR)ソフトウェアの向上により敵味方識別や文民と戦闘員を人間以上の画像認識で区別できる可能性があり 、より武力紛争法の中核である区別原則に寄与する可能性がある。仮に完全自律兵器の開発に規制をかけるとすれば、無人兵器にAGIを使用することと考えるが、完全自律兵器に関する論文(HRW報告書)等において「特化型完全自律兵器」と「汎用型完全自律兵器」が区別されないまま批判されていることが45、「完全自律兵器」の議論が成熟しない要因の一つになっていると考える。まずは「特化型完全自律兵器」と「汎用型完全自律兵器」を区別して議論する必要があるのではないか。少なくともSFの領域にある「汎用型完全自律兵器」の開発に何らかの規制をかけることは時期尚早と筆者は考える。

(幹部学校運用教育研究部 未来戦研究所 上野博嗣)

(本稿に示された見解は、幹部学校における研究の一環として発表する執筆者個人のものであり、防衛省、海上自衛隊の見解を表すものではありません。)

--------------------------------------------------------------
1 Pentagon Unmanned Systems Integrated Roadmap 2017-2042, August 28, 2018, v.
2 Ibid.
3 米国防総省web〈https://dod.defense.gov/News/Speeches/Article/606635/〉(last visited Feb 14, 2019)
4 Vincent Boulanin & Maaike Verbruggen, Mapping The Development of Autonomy in Weapon Systems [hereinafter: SIPRI Report], SIPRI Insights on Peace and Security (Stockholm Int’l Peace research Inst., Solna, Sweden), November 2017, pp. 59-60.
5 Summary of the 2018 Department of Defense Artificial Intelligence Strategy Harnessing AI to Advance Our Security and Prosperity, p. 5.
6 Ibid., p. 4.
7 米国の第三のオフセット戦略に対する中国とロシアの反応については、MDAWS, pp.60-61.が詳しい。
8 Elsa B. Kania, “Battlefield Singularity: Artificial Intelligence, Military Revolution and China’s Future Military Power”, Center for a New American Security, November 2017.
9 Paul Scharre, Army of None: Autonomous Weapons and the Future of War, W. W. Norton & Company, 2018, p. 117.
10 Ibid.
11 Human Rights Watch, Losing Humanity: The Case against Killer Robots (November 2012) [hereinafter: HWR Report], pp.1 and 7-9.
12 AWSの規制枠組みについて、岩本誠吾「ロボット兵器と国際法」『ロボット・AIと法』弥永真生他編(有斐閣、2018年)、291-295頁が詳しい。(LAWSについては、本校発刊予定の『海幹校戦略研究』7月号で詳述予定)。
13 Scharre, Army of None: Autonomous Weapons and the Future of War, p. 264.
14 ターミネーターの難問とは、競争相手がターミネーターに進んだとして、例えそれが悪いものだとしてもターミネーターの方がより決定が早いとわかった場合、それにどのように対応するのかという問い。Scharre, Army of None: Autonomous Weapons and the Future of War, p. 8; その他The New York Timesに詳しい。〈https://www.nytimes.com/2016/10/26/us/pentagon-artificial-intelligence-terminator.html.〉(last visited Feb 14, 2019)
15 HWR Report, p. 2.
16 Ibid.
17 HWR Report, pp. 12-13.このハーピーについては、チリ、中国、インド、韓国、トルコ等が所有しているといわれている。
18 HWR Report, pp. 2-3.
19 Michael N. Schmitt & Jeffrey S. Thurnher, “’Out of the Loop’ :Autonomous Weapon Systems and Law of Armed Conflict”, Harvard National Security Journal, Vol. 4, 2013, p. 236.
20 Scharre, Army of None: Autonomous Weapons and the Future of War, pp. 104-105.
21 HWR Report, pp. 13-15.
22 US Department of Defense, Directive 3000.09, Autonomy in Weapon Systems [hereinafter: DoD Directive 3000.09] (November 21, 2012), pp. 13-14.
23Joint Doctrine Note 2/11 The UK Approach to Unmanned Aircraft Systems , 2011, para, 205.
24 Ibid., paras, 205-206.
25 Ibid.
26 Scharre, Army of None: Autonomous Weapons and the Future of War, pp. 110-111.
27 Ibid., p. 110.
28 AI白書編集委員会『AI白書 2017』、163頁。AIは学問分野では、主にコンピュータサイエンスに属するが、AIの概念が研究者によって異なるため、人工知能を定義化することが困難であることが指摘されている。本コラムでは紙面の関係上、AIを特化型AIと汎用型AIの2つに区分して論じたが、この他にも自我や意思をもつ「強いAI」と自我や意思を持たない「弱いAI」に区別することも可能である。AIの区分や概念については、鳥海不二夫『強いAI・弱いAI』(有斐閣、2017年)が詳しい。
29 Scharre, Army of None: Autonomous Weapons and the Future of War, p. 231.
30 朝日新聞H31.2.8 〈https://www.asahi.com/articles/ASM284PQZM28UTIL01C.html
31 SIPRI Report, p. 92.
32 Scharre, Army of None: Autonomous Weapons and the Future of War, pp. 231-232.
33 Ibid., pp. 231-232.
34 Ibid., pp. 231-232.
35 Ibid., p. 232.
36 Ibid., p. 98.
37 Ray Kurzweil, The Singularity is Near, When Humans Transcend Biology, New York: Viking, 2005.
38 AI白書編集委員会『AI白書 2017』、166頁。
39 松尾豊『人工知能は人間を超えるか』、KADOKAWA、2016年5月、203~204頁。
40 安宅和人「人工知能はビジネスをどう変えるか」 『ハーバード・ビジネス・レビュー』、第40巻第11号、2015年11月、48~49頁。
41 さらに、安宅はAIに意思がないことについて、同誌の中で次のように補足している。「脳のように複数の積層したニューラルネットワークを相互に構造を持たせてつなぎ、十分な入力を与え、出力する仕組みをつなぐことができれば、何らかの意思が自発的に発生する可能性は否定できないが、空想の域を出ない。」 安宅「人工知能はビジネスをどう変えるか」58頁(注7)。
42 映画「ターミネータシリーズ」に登場する架空のコンピュータ。自我を持ったコンピュータとされ、人類の殲滅を目的とする。
43 Scharre, Army of None: Autonomous Weapons and the Future of War, p. 98. 米国の自律性の研究方針が汎用型AIに指向していないことについて、ワークは同書の中で次のように補足している。「ただし、他国はAI技術の使用方法が米国と異なるため、敵対国が、誰を攻撃するのか、いつ攻撃するのか、どのように攻撃するのかを武器に決定させるのであれば、米国もこの方針を変えるかもしれない。」Scharre, Army of None, p.99.
44 常任理事国で完全自律兵器の研究開発に規制をかけることに賛成している国はなく(中国は使用には反対しているものの研究開発には反対していないとされる)、米国等は完全自律兵器の開発を規制されることに強く反対している。2018年5月現在、規制賛成国:32か国、規制反対国12か国 Campaign Stop to Killer Robotsウェブより〈https://www.stopkillerrobots.org/wp-content/uploads/2018/07/KRC_ReportCCWX_Apr2018_UPLOADED.pdf 〉(last visited Feb 15, 2019)
45 SIPRI Report, p. 92.
46 HRW報告書の“Strong AI” という項目に、学説として国際人道法に準拠した「完全自律兵器」の設計には、「強いAI」を備える必要性について言及しているが、韓国のSGR-1やイスラエルのハーピー(Harpy)のような現存兵器を、同じく「完全自律兵器」の前駆的なものとして批判している。HWR Report, pp. 13-15, 18 and 28-29; この他にも「人間の生命を奪うという決定は本質的に人間の決定でなければならない。機械がそのような重大な選択をすることは非倫理的」という主張がある。Andrew P. Williams and Paul D. Sharre, Autonomous Systems Issues for Defence Policymakers, NATO Communications and Information Agency, October 2015, pp. 67-68.しかし、これらの批判は汎用型完全自律兵器に向けられるべき。