ジェネレーティブAIのサイバーセキュリティ・リスク

ジェネレイティブAI技術の新たな力が出現するにつれ、ジェネレイティブAIのサイバーセキュリティリスクも出現している。ジェネレーティブAIは、機械学習（ML）と人工知能（AI）の能力を組み合わせた最先端技術のフロンティアを表している。

私たちは、AI技術が飛躍的に進歩する技術ルネッサンスを迎えようとしている。しかし、ジェネレーティブAIのサイバーセキュリティに関連するリスクは見過ごせない。ジェネレーティブAIの使用や乱用から生じるサイバーセキュリティ上の課題をどのように防ぐことができるのか、この角度から探ってみよう。

ジェネレーティブAIとは何か？

ジェネレーティブAIとは、Generative Artificial Intelligence（生成的人工知能）の略で、既存のデータに似ている、または類似している新しいデータを作成することに焦点を当てた人工知能技術の一群を指す。ジェネレーティブAIのモデルは、特定のタスクのために明示的にプログラムされるのではなく、テキスト、ビデオ、画像のアノテーションツールを使って学習させたデータからパターンや構造を学習し、その学習した知識に基づいて新しいコンテンツを生成する。

生成AIの主な目的は、実際のデータと見分けがつかないようなデータを生成し、あたかも人間が作成したかのように見せかけたり、元のデータと同じ分布から得られたかのように見せかけたりすることである。この能力は、自然言語生成、画像合成、作曲、テキストから音声への変換、さらには動画生成など、さまざまな領域で数多くの応用がある。オープンAIが開発したGPT-3言語モデルの後継であるGPT-4は、この強力なツールの次世代を象徴するものであり、AI分野にさらなる革命をもたらすことが期待される一方で、関連するリスクも増大する可能性がある。

PowerDMARCによるジェネレーティブAIセキュリティの簡素化！

なぜジェネレーティブAIがサイバーセキュリティの次なる脅威となるのか？

GPT-3、GPT-4、その他のジェネレーティブAIツールは、ジェネレーティブAIのサイバーセキュリティリスクやサイバー脅威と無縁ではない。企業は、生成AIに関連する重大なサイバーリスクを回避するためのポリシーを導入しなければならない。これらのツールは、人間のようなリアルな言語を生成する能力を備えているため、非常に説得力のある詐欺コミュニケーションを作成するために悪用される可能性があり、フィッシングや電子メール詐欺のような脅威をさらに危険なものにしています。また、AIを搭載したツールは、悪意のある電子メールを作成・送信するプロセス全体を自動化し、大規模な攻撃を可能にします。

マイクロソフトのチーフ・セキュリティ・アドバイザーであるテレンス・ジャクソンがフォーブスの記事で強調しているようにマイクロソフトのチーフ・セキュリティ・アドバイザーであるテレンス・ジャクソンがForbesの記事で強調しているように、ChatGPTのようなプラットフォームのプライバシー・ポリシーは、IPアドレス、ブラウザ情報、ブラウジング・アクティビティといった重要なユーザー・データの収集を示している、 これらは第三者と共有される可能性がある。

ジャクソンはまた、ジェネレーティブAIがもたらすサイバーセキュリティの脅威についても警告している、 攻撃対象が拡大し、ハッカーが悪用する新たな機会が提供される。サイバー犯罪者はすでにAIを使って大規模なデータセットを分析し、効果的なフィッシング戦略を決定したり、公開データを分析して攻撃をパーソナライズしたり、正規のものとほぼ同じ偽のログインページを作成したりしている。

さらに 月のワイアードの記事は、これらのツールの脆弱性を明らかにし、ジェネレーティブAIのサイバー・リスクを強調した。

わずか数時間で、セキュリティ研究者がOpenAIの安全システムを迂回し、GPT-4を操作したことで、潜在的なジェネレーティブAIのサイバー脅威と強固なサイバーセキュリティ対策の必要性が浮き彫りになった。

ジェネレーティブAIのサイバーセキュリティ・リスク トップ7を発表

ジェネレーティブAIは問題解決のための強力なツールだが、いくつかのリスクもある。最も明白なリスクは、知的財産の窃盗や詐欺など、悪意のある目的に使用される可能性があることだ。

フィッシングメールの作成と電子メール詐欺

ジェネレーティブAIの最大のサイバーセキュリティリスクは、非常に説得力のあるフィッシングメールやその他の電子メール詐欺の作成である。

電子メール詐欺の脅威は現実に存在し、根強く、AIのおかげでますます巧妙になっている。

より多くの企業がデジタル・コミュニケーションを利用するようになるにつれ、犯罪者はAIを活用して詐欺的な電子メールを作成するようになっている。フィッシング攻撃では、正規の組織（銀行や同僚など）になりすました送信元から、添付ファイルやリンクを含む偽のメールが送信されることがよくあります。これらは一見合法的に見えるが、実際には認証情報を盗んだりマルウェアをインストールしたりするように設計された偽のウェブサイトにつながる。AIは、文法の改善、パーソナライズされたコンテンツ、リアルなトーンにより、これらのメールを発見することを難しくしています。

もう1つの危険な形態はビジネスメール詐欺（BEC）で、AIを利用して攻撃者が役員や従業員になりすまし、不正送金を要求するものです。BEC攻撃は洗練されたソーシャルエンジニアリングにより特に効果的であり、多額の金銭的損失につながる可能性があります。

モデルの操作と毒物混入

ジェネレーティブAIのサイバーセキュリティ上の主要なリスクの1つは、モデルの操作とポイズニングである。この種の攻撃には、既存のモデルを操作または変更して、誤った結果を生成させることが含まれる。

例えば、攻撃者は、ある画像を、あなたのデータベースにある別の画像に見せかけることができます。攻撃者は、ネットワークや組織に対する攻撃戦略の一環として、これらの操作された画像を使用することができます。

敵対的攻撃

ハッカーが機械学習システムの弱点を突こうとするため、機械学習アルゴリズムに対する敵対的な攻撃が一般的になりつつある。

敵対的な例（アルゴリズムに間違いを犯させたり、データの分類を誤らせたりする攻撃）の使用は、AI研究の初期から行われてきた。

しかし、敵対的な攻撃がより洗練され、強力になるにつれ、生成モデルやチャットボットを含むあらゆるタイプの機械学習システムを脅かすようになる。

プライバシー侵害

生成モデルに関する一般的な懸念は、学習や生成の過程で、個人や組織に関する機密データを不注意に開示してしまう可能性があることだ。

例えば、ある組織が生成モデルを用いて画像を作成したところ、誤って顧客や従業員に関する機密情報が漏洩してしまったとする。

そうなれば、プライバシー侵害や損害賠償訴訟に発展する可能性がある。

ディープフェイクと合成メディア

生成モデルは、ディープフェイク（偽映像）や合成メディア（フェイクニュース）に使用できる偽映像や音声記録を生成することで、悪意のある目的に使用されることもある。こうした攻撃が懸念される一方で、AIはポジティブな用途にも活用できることを忘れてはならない。例えば、AI動画生成ツールはコンテンツ制作のための優れたソリューションであり、ユーザーはマーケティング、教育、エンターテインメント用の高品質な動画を制作することができる。音声コンテンツの制作にAI音声を使用することで、アクセシビリティを大幅に向上させることができ、聴覚障害者がより効果的に情報にアクセスできるようになり、すべての人にとってより没入感のあるリスニング体験に貢献することができる。

これらの攻撃の背後にある技術は比較的単純である。誰かが悪意のあるコンテンツを作成し始めるには、適切なデータセットといくつかの基本的なソフトウェア・ツールにアクセスする必要がある。

知的財産の窃盗

知的財産の窃盗は、今日のテクノロジー業界における最大の懸念事項のひとつであり、人工知能がより高度になるにつれて増加の一途をたどるだろう。

ジェネレーティブAIは、人間には本物で通用するように見える偽のデータを生成することができ、独自のデザインやコード、クリエイティブな作品を模倣する可能性がある。

このデータ型は、医療、金融、防衛、政府など様々な業界で利用される可能性がある。偽のソーシャルメディア・アカウントを作ったり、オンライン上で個人になりすましたりすることもできる。

生成コンテンツの悪意ある利用

ジェネレーティブAIは、ウェブページやソーシャルメディア上のテキストや画像内の単語やフレーズの意味や文脈を変更することで、コンテンツを操作することもできる。

例えば、画像にキャプションを自動生成するアプリケーションを使ったとする。キャプションを編集するだけで、写真そのものを変更することなく、キャプションを「白い犬」から「黒い猫」に変更することができます。この機能は、誤った情報を広めたり、個人や組織を中傷するために使われる可能性がある。

ジェネレーティブAIのサイバーセキュリティリスクに対する防御を強化する方法

こうした懸念の高まりを受けて、企業はこうしたリスクに対する防御を強化しなければならない。AIがより強力になるにつれて、高度なセキュリティ対策の必要性がますます高まっている。

そのためのヒントをいくつか紹介しよう：

メール認証（DMARC、SPF、DKIM）の実装

DMARC(Domain-based Message Authentication, Reporting & Conformance）は、独自ドメインを装ったなりすましメールやフィッシング攻撃を防ぐためのメール認証プロトコルです。

DMARCアナライザ DMARCアナライザーDMARCアナライザーを導入することで、企業は、許可された送信者のみがメール通信に自社のドメインを使用できることを保証し、AIが生成するフィッシングメールやBEC攻撃に関連するリスクを最小限に抑えることができます。

DMARCは、ドメイン所有者が電子メール配信に関するレポートを受け取り、電子メールのセキュリティを強化するために必要な措置を講じることを可能にすることで、追加の保護レイヤーを提供し、それによって生成的なAIのサイバーセキュリティリスクに対する盾として機能する。

のいずれかを実装する必要があります。 SPF(センダー・ポリシー・フレームワーク）または DKIM(DomainKeys Identified Mail）のいずれか、または両方（推奨）を実装する必要があります。これらのプロトコルは、あなたのドメインから来たと主張するメールが実際にあなたによって承認されたものであることを検証するのに役立ちます。

多要素認証（MFA）の有効化

MFAは、パスワードに加え、第二の認証形式（モバイルアプリやSMSからのコードなど）を要求することで、ユーザーアカウントにさらなるセキュリティ層を追加します。これにより、たとえフィッシングによって認証情報が盗まれたとしても、アカウント漏洩のリスクを大幅に減らすことができる。

メールフィルタリングを利用する

高度なEメールフィルタリングソリューションは、AIが生成した高度なフィッシングを含む悪意のあるEメールがユーザーの受信トレイに届く前に特定し、ブロックするのに役立ちます。多くの場合、独自のAI/MLモデルを使用して疑わしいパターンを検出します。

従業員の教育

人的な警戒は依然として重要な防御層である。AIを利用した電子メール詐欺のリスク、フィッシングメールの見分け方（説得力のあるものであっても）、BECの手口、リクエストの確認の重要性（特に送金や機密データ）などを従業員に教育することで、成功する攻撃を大幅に減らすことができます。定期的なセキュリティ意識向上トレーニングが重要です。

センシティブ・アクションのリクエストを検証する

特に、電子メールで送金の依頼を受けたり、機密情報を共有したりする場合は、必ず信頼できる別の通信手段（例えば、既知の電話番号への電話、直接会っての会話）を使って依頼内容を確認してください。電子メールによるやり取りは、漏洩やなりすましの可能性があるため、電子メールのみに依存しないでください。

強力なパスワードとパスワード・マネージャーの使用

アカウントごとに強力で一意のパスワードの使用を奨励または強制する。パスワード・マネージャーを使用することで、ユーザは複雑なパスワードを安全に作成・保存できるようになり、クレデンシャルの盗難に関連するリスクを軽減できる。

ソフトウェアを常に最新の状態に保つ

電子メールクライアント、ウェブブラウザ、オペレーティングシス テムなど、すべてのソフトウェアを定期的にアップデートする。アップデートには、攻撃者に悪用される可能性のあるセキュリティの脆弱性を修正するパッチが含まれていることが多い。

定期的なセキュリティ監査の実施

ハッカーによるシステムへのアクセスを防ぐもう一つの方法は、定期的なサイバーセキュリティ監査を実施することである。 サイバーセキュリティ監査を実施することです。

これらの監査は、電子メールシステムやAIモデルの実装を含む、システム、プロセス、防御の潜在的な弱点を特定するのに役立ちます。監査では、脆弱性が大きな問題になる前にパッチを当てる方法を提案します。 マルウェア感染や詐欺の成功など）になる前に、脆弱性にパッチを当てる方法を提案します。

敵対的トレーニング

敵対的トレーニングとは、敵対的攻撃をシミュレートし、モデルを強化する方法である。敵対者（または攻撃者）を使い、間違った答えを与えてシステムを欺こうとする。その目的は、モデルがどのように反応し、どのような限界があるのかを知ることで、操作に対抗できるよりロバストなモデルを設計することである。

ロバストな特徴抽出

もう1つのソリューションは、ロバスト特徴抽出（RFE）である。RFEは、ディープラーニングを用いて、生画像やデータから、敵対的な些細な摂動の影響を受けにくい関連する特徴を抽出する。この技術はスケーラブルで、大規模なデータセットに使用できる。また、Verification Through Sampling（VTS）やOutlier Detection（OD）などの他の手法と組み合わせることで、特徴抽出の精度と耐性を向上させることができる。

セキュアモデル・アーキテクチャ

セキュア・モデル・アーキテクチャー（SMA）は、セキュア・モデル・アーキテクチャーを使用して、ソフトウェア・コード、データ・ファイル、またはAIシステムの他のコンポーネントの脆弱性を悪用する攻撃を防ぐ。SMAの背景にある考え方は、攻撃者はモデルのロジックの弱点を突くために単に入力を操作するのではなく、コード自体に脆弱性を見つけなければならないということです。包括的なソフトウェアコード監査サービスを採用することは、AIシステム内の脆弱性を特定して緩和し、高度なサイバー脅威に対する生成AI技術の完全性とセキュリティを確保する上で極めて重要です。

定期的なモデル監査

モデル監査は、長年にわたってサイバーセキュリティの不可欠な部分であり、AIシステムにとっても重要である。この監査では、システムで使用されているモデルが健全であり、期待通りに動作し、最新であることを確認する。モデル監査は、モデルの脆弱性、偏り、潜在的なデータ漏洩を検出したり、ハッカーによって破損または改ざんされた可能性のあるモデル（モデルポイズニング）を特定するためにも使用できる。

入力検証とフィルタリング

入力検証は、モデルを本番環境にデプロイする前に、モデル開発者が取ることができる最も重要なステップの1つです。入力検証は、モデルに入力されるデータが不正確であったり、不正な形式であったり、システム内の脆弱性を悪用しようとするハッカーによって悪意を持って変更されたりしないことを保証します（例：プロンプトインジェクション攻撃）。入力フィルタリングによって、開発者は、モデルを通して許可されるべきデータ型、フォーマット、またはコンテンツを指定することができます。

最後の言葉

この技術は多くの利点と進歩をもたらす一方で、潜在的な脆弱性や脅威への扉を開くものでもある。

説得力のある偽の画像、動画、テキストを作成するジェネレーティブAIの能力は、個人情報の盗難、誤報キャンペーン、詐欺に関する懸念を引き起こしている。

さらに、生成AIの悪意ある使用は、フィッシング攻撃やソーシャル・エンジニアリングを著しく効果的にし、検出を困難にするなど、既存のサイバー脅威を増幅させる可能性がある。

この技術が進化し続ける中、組織と個人は、生成AIに関連するリスクを軽減するために、強固な認証（MFAやDMARCなど）、継続的な監視、定期的な脆弱性評価と監査、AIモデル自体の安全確保、継続的な従業員教育など、サイバーセキュリティ対策を優先しなければならない。

そうすることで、このテクノロジーに内在するサイバーセキュリティの課題から守りつつ、その可能性を活用することができる。

"`

• について
• 最新記事

Ahona Rudra

ドメインとメールセキュリティのエキスパートPowerDMARC

AhonaはPowerDMARCのマーケティングマネージャーで、サイバーセキュリティのトピックについて5年以上の執筆経験があり、ドメインと電子メールのセキュリティを専門としている。ジャーナリズムとコミュニケーションの卒業後学位を取得し、2019年からセキュリティ分野でキャリアを固めている。

最新記事 by Ahona Rudra(全て見る)

• 2025年、コールドメールはまだ有効か？アウトリーチとセキュリティのベストプラクティス- 2025年6月20日
• DMARC MSP ケーススタディ：PrimaryTechがPowerDMARCでクライアント・ドメイン・セキュリティを簡素化した方法- 2025年6月18日
• DMARCの誤検知：原因、対策、予防ガイド- 2025年6月13日