ChatGPT-4: AI進化の能力とサイバーセキュリティへの影響

テクノロジーの世界を席巻したOpenAIチャットボットの“ChatGPT”は、GPT-4のリリースでよりスマートになりました。この興味深いテクノロジーは、クエリーに応答して殆ど人間のように情報をやり取りします。人間同士の会話の流れを兼ね備えた印象的な応答は、1990年代初頭の初期のインターネットと非常によく似たテクノロジーのブレークスルーを実現しているように感じます。ChatGPT-4のリリースで、ユーザはサイバーセキュリティにどのような影響を及ぼすのか疑問に思っています。

このブログは、いくつかの歴史的背景から始まりChatGPTが近い将来、サイバーセキュリティにどのように影響するかについて少し推測することにします。Nozomi Networksが今年後半に予定の新しい機能で垣間見えるかもしれません。AIがますます進化するにつれて、ChatGPTのツールによってサイバーセキュリティへの影響は大きくなります。

• 初期のAIから最新ChatGPTに至るまで

人工知能(AI)の歴史は、コンピュータサイエンスの歴史と同じくらいか、それよりも古い可能性があります。Alan Turing氏は独創的な論文“Computing Machinery and Intelligence”で“チューリングテスト”なるものを考案しました。（注）チューリングテストとは、1950年にイギリスの数学者Alan Turingが“コンピュータは思考できるか？”という問題意識から提案した質疑応答式のテスト。

このチューリングテストの目的は、コンピュータが実際に人間のように考えているかどうかを理解するための基準を設定することでした。つまり、対話している相手が別の人間であるかマシーン（コンピュータ）であるかをチェックすることです。相手がコンピュータであるかどうか判断できない場合、コンピュータが勝ちます。ただ、これまでチューリングテストにパスしたコンピュータはありませんでした。

AI研究者は、コンピュータにあらゆるものを学習させ、人間の学習ワークフローを模倣できる汎用的で普遍的なアルゴリズム/システム/モデルを推進してきました。3歳の子供の学習能力の柔軟性は、今日のコンピュータやアルゴリズムでは依然として比類のないものです。それ以来、いわゆる“Narrow AI(特化型AI)”によって多くのことが達成されてきました。（注）特化型AIとは、人工知能の中でも“人としての意識を備えていないもの”を指す。画像認識や車をはじめとした乗り物の自動運転、チェスなど特定の分野で人間以上の実力を発揮する能力。

今日、あらゆる種類のニューラルネットワークモデルが多くのタスクで採用され簡単に利用でき、Apple Neural Engine とかGoogle Tensor Processing Unitのような専用ハードウェアで高速化処理されています。

Narrow AIは便利で、ノンストップで進歩し続けています。しかし、そのNarrow AIは、もはやチューリングテストに合格することが目標ではありません。もちろん将来、コンピュータがチューリングテストに合格するかもしれません。その時点でコンピュータが思考的に本当に考えているかどうかを自問できるかもしれませんが、それはまた別の話です。人工汎用知能と呼ばれるものは、ここ数年で大きく進展しました。

• Today: ChatGPTの登場

ChatGPTは2022年11月にOpenAIによってリリースされ、確実に業界を揺るがすレベルに達してきました。

ChatGPTは、大規模言語モデル（Large Language Model：LLM)に基づくチャットボットであり、質問することでChatGPTが応答し、テキストを書き込みます。プロンプトは、チャットボットにコンテンツの特定のコーパス（データベース）とその確率を使用して、どの単語が最適に並んでいるかを判断し、新しい文章のコンテキストをチャットボットに提供します。新しい一意のテキストが生成されます。これらはすべてWebアプリケーションとAPIを介して利用できます。

ChatGPTは誰もがその回答の質レベルの高さに感銘を受けており、チューリングテストにパスできると考えています。OpenAIの研究者は認めたがっていますが、それは完璧にはほど遠いようです。

回答が間違っていたり一貫性がなかったり、不正確だったりすることも珍しくもありません。ただし、それがチャットボットであることを知っておく必要があります。質問をすることができ、ChatGPTが回答します。データ (構造化、非構造化、または画像) を適切に分析したり、ニューラルネットワークモデルで学習したり、人間が実行できる殆どの作業を実行したりすることはまだできません。ターミネータのスカイネットでも、SFストーリーで永遠に登場する完全自律型のAIシステムでもありません。

OpenAI技術 (特に GPT-3のカスタマイズバージョン) は、GitHub Copilotに採用されています。（注）GitHub Copilotは、OpenAIとGitHubの共同プロジェクトによって生まれたAIによる自動コーディング機能を提供するプログラムです。

現在、Copilotを使用してソフトウェアを開発することはできませんが、あらゆる種類のソフトウェア開発者が恩恵を受けることはできます。熟練した開発者は、開発の高速化の恩恵は受けると思います。

この技術に関する研究開発は継続しており、どんどん良くなり、色々な制限は時間の経過とともに少なくなります。世界最高クラスの研究者とエンジニアは、年々水準を引き上げようとしています。

• ChatGPTはサイバーセキュリティにどのように影響しますか?

すべてのテクノロジーは、善にも悪にも利用できます。ChatGPTも例外ではありません。ChatGPTを効果的に使用する方法については、Web上で多くの情報が共有されています。結局のところ、このツールは、悪意のある者が悪意のある取り組みを自動化し、スピードアップし、改善するのに役立っています。以下は、オンラインで見つけたChatGPTの悪用サンプルです：

1. ChatGPTには悪用を避けるためのコンテンツフィルターがありますが、Web GUIまたはプログラムAPIを使用してコンテンツフィルターをバイパスさせ、それに応じて有害なコードを取得する方法を示す多くの例がオンラインで公開されています (例えば、ポリモーフィックマルウェアを作成するためのソースコードを取得する方法等)。（注）ポリモーフィック型マルウェアは、パターンマッチングによる検出を免れるため、感染の度に異なる暗号化/復号ルーチンで暗号化を行うなどして、自身のプログラムコードを都度変化させるマルウェアです。
   最近、同じ手法を使用して攻撃者が悪意のある脆弱なペイロードを被害者システムに挿入することも可能です。
   
   
2. ChatGPTは完全に自動化されており、応答をするために人間の介入を必要とせず、コンピュータプログラムで並行して同時に何度も使用できます。これは、フィッシング攻撃や標的を絞ったスピアフィッシングに使用された場合、ソーシャルエンジニアリングにおいてはるかに洗練されたものになる可能性があります。言語や翻訳の間違いが減り、より多くの人々に対して自動化されることで、非常に信頼できる大規模でより洗練されたフィッシングキャンペーンを簡単に作成できるようになります。
   
   
3. 一般的にテキストベースの電子メールのなりすましを指すスピアフィッシングキャンペーンを超えて、ChatGPTは大規模な“ディープフェイク”キャンペーンにも使用できます。（注）ディープフェイクとは本来、ディープラーニングを活用して画像や動画を部分的に交換させる技術のことを意味します。
   ChatGPTは、テキストインターフェイスを使用するチャットボットとして紹介されていますが、データパイプラインにステージを追加することで、オーディオおよびビデオ出力の生成に使用できます。（注）データパイプラインとは、データ収集から統合に至るまでの一連の流れを一本化するという構想です。
   入力画像、ビデオ、または音声から特定の人物の外見や話し方を学習することにより、AIテクノロジーは、実際の人物が実行したことのない台本に従って、人物の音声および/またはアニメーション画像の信頼できるオーディオを生成できます。これらのディープフェイクは、詐欺、強盗、誤解を招く行為、なりすまし、中傷キャンペーン、ブランド攻撃などに使用される可能性があります。
   
   
4. ChatGPTが使用するコンテンツを指示または変更して、コンテキストを学習する方法に影響を与えることができれば、大規模な誤報キャンペーンの作成が可能になります。これにより、現実や出来事の誤解を招くバージョン、またはその他の同様の虚偽の物語をサポートするように見える大規模なTwitter の嵐が発生する可能性があります。
   
   
5. ChatGPTまたは類似のテクノロジーは非常に強力であるため、我々が毎日使用する可能性が高い多くの将来のテクノロジーや製品に組み込まれる可能性が高く、重大な脆弱性が生じます。かつて我々の生活の一部となったChatGPTは、コンテンツの処理から派生した誤った学習や結論である“幻覚”の影響を受ける可能性があります。これらの幻覚は、偶然 または悪意によって発生する可能性があります。
   

このような強力なツールが利用可能になったことで、ChatGPTを悪用する攻撃者にオンタイムについていくことは、“いたちごっこ”ゲームの新しいステージになることは明らかです。

一方、ChatGPTテクノロジーは、サイバーセキュリティの課題を推進するためにも使用できます。以下にいくつかの例を示します：

1. ChatGPTが悪意のある攻撃者のツールになることがわかっているため、防御する必要がある武器の一部としてChatGPTを準備します。上記の悪用を防ぐためにセキュリティ製品とプラクティスに組み込むことができます。例えば：
• 製品ベンダーは、ChatGPTを使用して、ソフトウェアの脆弱性をより迅速に検出し、優先順位を付けることができます。
• ChatGPTを企業のアンチフィッシング学習に組み込むことで、ユーザの認識とプロセスの安全性に対する堅牢性の基準を引き上げることができます。
2. ChatGPTは、セキュリティアナリストが実際のセキュリティ脅威を分析して報告するのを支援できます。これにより、より迅速な発見、脅威インテリジェンスのより迅速かつ広範な共有、最終的にはそれらの脅威への露出のより迅速な修復につながります。
   
   
3. ChatGPT テクノロジーは、ソフトウェア開発の世界でより強力な足場を築いているため、より安全なコンテンツで学習できます。この種のテクノロジーを使用するソフトウェア開発者は、脆弱性が少なく、メンテナンスが容易で、より安全なガイドラインに従って、より多くのソフトウェアを再利用し、セキュリティ・バイ・デザイン（Security by design）のより堅牢な実装につながります。（注）セキュリティ・バイ・デザイン (Security by Design )は内閣サイバーセキュリティセンター(NISC)により「情報セキュリティを企画・設計段階から確保するための方策」として定義されています。
   
   
4. セキュリティ対策のレッドチームとブルーチーム (ChatGPTで部分的または完全に自動化) によるこのテクノロジーの使用は、サイバーセキュリティの侵入テスト、脆弱性スキャン、バグ報奨金プログラム、攻撃面の発見/分析などに関して次のレベルに進むことができます。
   

ChatGPT は、サイバーセキュリティベンダーにもチャンスをもたらします。サイバーセキュリティの専門家の不足は、世界中の企業が毎日直面しなければならない課題であり、今後数年にわたって直面する可能性があります。高度に自律的でインテリジェントなツールに依存する能力が必要になります。

• Nozomi Networksプラットフォームへの影響

Nozomi Networksプラットフォームは、常にAIとMLを使用して、アルゴリズムの一部を強化および改善してきました。プロセス学習用の信号学習アルゴリズム、インシデントのグループ化用のクラスタリングアルゴリズム、シンボリック予測用のベイジアンモデル、分類と回帰用のあらゆる種類のニューラルネットワーク モデルが、Nozomi Networksのエンジニアによって作成されたコードで使用され、最終製品が顧客に販売されるか、将来の使用のために研究プロジェクトで単に使用されます。サイバーセキュリティベンダーとして、我々は研究と革新を止めることはできないと信じています。ChatGPTのようなツールを作成することは我々の使命ではありませんが、我々はプラットフォームをこれまで以上にインテリジェントにすることに取り組んでいます。プラットフォームをこれまで以上に効率的かつインテリジェントにするための長年の研究開発イニシアティブが数多くあります。

ブログの作成者：

　Moreno Carullo, PhD,CTO

人工知能の博士号を取得し、システムエンジニアリングとソフトウェア開発の幅広いバックグラウンドを持つ Moreno Carullo氏は、ICSサイバーセキュリティ製品カテゴリーを再定義する道を切り開いてきました。IEC TC57 WG15小委員会の長年のメンバーである彼は、電力システム通信プロトコルのサイバーセキュリティ標準の策定にも積極的に取り組んでいます。Moreno氏は、Nozomi Networks の創設者兼最高技術責任者として、アジャイル開発を使用して企業の顧客やパートナーのサイバーセキュリティ要件に迅速に対応する、非常に有能なソフトウェア開発チームを率いています。

注：本ブログの抄訳と注釈は新美竹男が作成しました。