「AIを業務で使いたいけど、どんなセキュリティリスクがあるの？」
「AIを安全に活用するために、企業としてどんな対策が必要？」
生成AIや大規模言語モデル（LLM）の普及により、企業の業務効率化は飛躍的に進みました。その一方で、生成AIを悪用したサイバー攻撃や、生成AI利用時の情報漏洩といった新たなセキュリティリスクも顕在化しており、企業には早急な対策が求められています。
新たな脅威に対抗するには、AIセキュリティが欠かせません。AIセキュリティには、AIを守る「Security for AI」と、AIで守る「AI for Security」という二つの視点があります。
本記事では、主に前者の「Security for AI」に焦点を当て、企業が直面するリスクとその対策をわかりやすく解説します。
- 生成AIが悪用される具体的な脅威
- 生成AIを利用する際に企業が直面するリスク
- 今すぐ企業が始めるべきセキュリティ対策
- AIを活用したセキュリティ強化策
本記事を読むことで、AI時代に必須となるセキュリティの知識を体系的に理解し、自社で取るべき具体的な対策がわかるでしょう。AIの導入を検討している、またはすでに利用している企業の担当者の方は、ぜひご一読ください。
AIセキュリティとは？いま企業が向き合うべき新たな課題
AIセキュリティとは、AI技術の発展に伴い浮き彫りになった新たなリスクに対処するための取り組みを指します。近年は生成AIの活用が急速に広がっていますが、利便性だけに着目して生成AIを導入すると、情報漏洩やシステムの乗っ取りといった事態を招く可能性があります。そのため、生成AIを安全に活用するためのセキュリティ対策は、現代の企業にとって避けては通れない重要な経営課題です。
AIセキュリティは、大きく2つの側面に分けられます。1つは「Security for AI」と呼ばれ、AIシステム自体をサイバー攻撃から守るための対策です。特に、大規模言語モデルなどの生成AIにおいて、悪意のあるデータを学習させたり、生成AIを騙すような指示を与えたりする攻撃への備えが含まれます。
もう1つは「AI for Security」という、AI技術をサイバーセキュリティ対策に活用する取り組みです。膨大なログデータから脅威の兆候をAIが自動で検知するなど、従来の対策を高度化させる役割を担っています。
このように、「AIを守る」視点と「AIで守る」視点の両輪で考えることが求められます。
OWASP Top 10 for LLMにみる新たな生成AIリスク
生成AIがもたらす新たなセキュリティリスクを理解する上で、国際的な専門家組織OWASPが発表した「OWASP Top 10 for LLM」が重要な指針となります。このリストは、ChatGPTのような大規模言語モデル（LLM）を利用したアプリケーションに特有の、特に注意すべき10種類の脆弱性をまとめたものです。
代表的なリスクとして「プロンプトインジェクション」が挙げられています。これは、攻撃者が悪意のある指示（プロンプト）を生成AIに与え、開発者が想定していない危険な動作を引き起こさせる攻撃手法です。
その他にも、学習データに含まれる機密情報や個人情報を生成AIが出力したり、有害・不正確であるコンテンツを生成したりといった、従来とは異なる形で顕在化するリスクが含まれています。
生成AIを安全に活用するためには、新たなAIリスクをしっかりと把握し、対策を講じる必要があります。
▼関連記事
生成AIが悪用されるセキュリティ脅威
生成AI技術は私たちの生活を豊かにする一方で、悪意ある攻撃者の手に渡ることで、これまでにない深刻なセキュリティ脅威を生み出しています。代表的な脅威は、次の3つです。
- フィッシングメールやマルウェアの巧妙化・自動生成
- ディープフェイクによるなりすましと社会的信用の失墜
- 脆弱性の自動探索と攻撃プログラムの作成
フィッシングメールやマルウェアの巧妙化・自動生成
生成AIの高度な文章生成能力は、サイバー攻撃をより深刻なものへと変化させています。特に、フィッシングメールやマルウェアの作成が巧妙化、自動化されている点は見過ごせない脅威です。
これまでのフィッシングメールは、不自然な日本語表現などから偽物だと見破りやすいケースも少なくありませんでした。しかし、生成AIを悪用すれば、人間が書いたと見分けがつかないほど自然で説得力のある文章を、攻撃対象に合わせて大量に作成できてしまいます。
また、生成AIは既存のマルウェアをわずかに改変し、ウイルス対策ソフトの検知をすり抜ける「亜種」の作成を支援させることも可能とされています。。これによりサイバー攻撃のハードルは著しく下がり、誰もが容易に攻撃を仕掛けられる危険な状況が生まれているのです。
ディープフェイクによるなりすましと社会的信用の失墜
ディープフェイクとは、生成AI技術を用いて実在の人物の顔や声を高精度に合成し、あたかも本人が発言・行動しているかのように見せかける技術です。もともとは映像編集やエンタメ分野で利用されてきましたが、近年では悪用事例が増加しており、企業や個人の信頼を大きく揺るがす問題として注目されています。
例えば、攻撃者が企業のCEOになりすまし、「緊急の取引で必要だ」などと偽の指示を出す動画を作成して経理担当者を騙し、不正な送金を行わせるといった手口が考えられるでしょう。また、企業にとって不利益な発言をする偽動画をSNSで拡散させれば、株価の暴落や顧客離れを引き起こし、社会的信用が大きく失墜するおそれもあります。
一度拡散した偽情報は完全な削除が困難であり、企業のブランドイメージに長期間、深刻なダメージを与えかねません。
脆弱性の自動探索と攻撃プログラムの作成
生成AIはシステムのプログラムコードを分析し、セキュリティ上の弱点である「脆弱性」を自動で探し出せてしまいます。従来は専門家が多大な時間と労力をかけて行っていた脆弱性の探索を、AIが悪用されることで、攻撃者は一部の作業を効率化できてしまうのです。
さらに、生成AIは、発見した脆弱性を突くための攻撃プログラムの作成を支援することも可能だと指摘されています。高度な専門知識を持たない人物でも、生成AIに指示することで、サイバー攻撃の準備を容易に進められてしまうおそれがあります。
企業が生成AIを利用する際に潜むセキュリティリスク
AIを悪用した外部からの攻撃だけでなく、企業が業務効率化のために生成AIを利用する過程にも、さまざまなセキュリティリスクが潜んでいます。利便性の裏にある危険性を理解しなければ、意図せず重大なインシデントを引き起こす可能性があるため注意しましょう。
企業が生成AIを利用する際に注意すべきリスクは、次の3つです。
- プロンプト入力による機密情報・個人情報の漏洩
- プロンプトインジェクションなどによる生成AIモデル自体への攻撃
- AI生成物による著作権侵害・フェイクニュース
プロンプト入力による機密情報・個人情報の漏洩
生成AIを業務で利用する際、もっとも身近で発生しやすいのが、従業員によるプロンプト入力を介した情報漏洩です。例えば、会議の議事録の要約や、顧客向けの提案メールの作成を生成AIに依頼する際、社員が悪意なく顧客情報や社外秘のデータを含んだ文章を入力してしまうケースが想定されます。
多くの一般向け生成AIサービスでは、利用規約によって入力されたデータが、生成AIの性能向上のための学習に利用される場合があります。そのため、プロンプトに入力された機密情報がサービス側に蓄積・分析され、設定や運用によっては想定外の形で第三者に参照されるリスクが生じる可能性があります。
プロンプトインジェクションなどによる生成AIモデル自体への攻撃
企業が利用する生成AIそのものを標的とした攻撃も、深刻なリスクとして存在します。その代表例がプロンプトインジェクションです。生成AIを巧みに言いくるめて、本来は生成が禁じられている有害なコンテンツを出力させたり、内部情報を引き出させたりします。
攻撃を受けると、AIチャットボットからシステム内部の設定情報が漏洩する、あるいはAIがマルウェアの作成に加担させられるといった被害につながるでしょう。
また、外部のWebサイトなどに埋め込まれた悪意ある指示を生成AIが読み込んでしまい、意図せず攻撃が実行される「間接的プロンプトインジェクション」という手口も確認されています。生成AIを安全に運用するには、攻撃手法を理解し、モデル自体を防御する新しいセキュリティ意識が求められます。
▼関連記事
AI生成物による著作権侵害・フェイクニュース
生成AIが作成したコンテンツを業務で利用する際には、法務上・倫理上のリスクも伴います。生成AIは学習データをもとにコンテンツを作成するため、データに著作権で保護された文章や画像が含まれている場合、生成物が既存の著作物と酷似してしまう可能性があるのです。
企業がこの生成物を自社のウェブサイトやマーケティング資料で安易に公開してしまうと、意図せず著作権を侵害し、権利者から損害賠償を請求されるといった事態に発展しかねません。
また、生成AIは「ハルシネーション」と呼ばれる、事実に基づかないもっともらしい嘘の情報を生み出すことがあります。生成AIの回答を鵜呑みにしてしまい、事実確認を怠ったまま企業の公式情報として発信すれば、社会に誤った情報を拡散させることにつながります。
フェイクニュースの発信源となってしまった場合、企業のブランドイメージや社会的信用が大きく傷つくことになるでしょう。
▼関連記事
今すぐ始めるべきAI時代のセキュリティ対策
生成AIがもたらす新たなリスクに直面する中で、企業はどのような対策を講じるべきなのでしょうか。高度な技術的対策も重要ですが、まずは組織として取り組むべき基本的な対策から始めましょう。
すべての企業が今すぐ始めるべき組織的なセキュリティ対策は、次の2つです。
- 生成AI利用のガイドラインを策定する
- 全従業員を対象としたセキュリティ教育を実施する
生成AI利用のガイドラインを策定する
生成AIを安全に活用するための第一歩として、社内における利用ルールを明確に定めたガイドラインを策定しましょう。従業員が個人の判断で生成AIを利用すると、情報漏洩や著作権侵害といったリスクを管理できなくなります。そのため、企業として統一された方針を示す必要があります。
ガイドラインには、具体的にどのような情報を生成AIに入力してはいけないのかを明記することが重要です。例えば、「顧客の個人情報」「取引先の機密情報」「未公開の財務情報」などを禁止事項として具体的に列挙します。また、業務で利用を許可する生成AIツールを限定したり、生成AIによる文章や画像を公開する際の確認フローを定めたりするのも有効です。
全従業員を対象としたセキュリティ教育を実施する
生成AI利用に関する社内ガイドラインを策定しても、その内容が従業員に浸透しなければ形骸化してしまいます。そのため、ルールを実効性のあるものにするには、全従業員を対象としたセキュリティ教育の実施が不可欠です。
教育の場では、生成AIに機密情報を入力することの危険性や、生成物が著作権を侵害するリスクなど、具体的な脅威を事例と共に解説しましょう。さらに、策定したガイドラインのルールだけでなく、その背景にある考え方まで丁寧に説明すると、従業員の理解は深まります。
AI技術を取り巻く脅威は日々変化するため、一度きりではなく定期的に研修を行い、知識をアップデートし続ける姿勢が企業の安全を守りましょう。
セキュリティにAIを使うという選択肢
ここまで、主に生成AIが悪用される脅威や利用上のリスク、すなわち「AIを守る（Security for AI）」という側面を中心に解説を進めてきました。しかしAIは、守るべき対象であると同時に、セキュリティを強化するための強力なツールにもなり得ます。
ここでは視点を転換し、「AIで守る（AI for Security）」という選択肢に焦点を当てていきます。巧妙化・高速化するサイバー攻撃に対抗するためには、AIの高度な分析能力や自動化技術の活用が不可欠です。
具体的には、以下のようなものが挙げられます。
- EDRやSIEMを導入する
- 脆弱性診断を導入する
EDRやSIEMを導入する
AIを悪用したサイバー攻撃は巧妙化・高速化しているため、万が一侵入された後の被害を最小限に抑えるための対策も重要です。代表的なツールには、AI技術を活用したEDRやSIEMがあります。
EDRは、PCやサーバーといった端末（エンドポイント）の操作ログを常時監視し、不審な挙動をAIが検知・分析する仕組みです。一方、SIEMは社内ネットワークの様々な機器からログ情報を集約し、AIを用いて相関分析することで、人手では気づきにくい攻撃の兆候を早期に発見します。
ツールを導入すれば、企業はAI時代に対応した多層防御体制を構築しやすくなります。人による監視だけに依存せず、AIが継続的にリスクを分析する仕組みを取り入れることが、今後のセキュリティ強化では重要です。
▼関連記事
脆弱性診断を導入する
システムを安全に運用するには、脆弱性診断の導入も欠かせません。脆弱性診断とは、システムやWebアプリケーションに潜むセキュリティ上の弱点を洗い出し、攻撃者に悪用される前に対策を講じるための取り組みです。
近年、脆弱性診断にもAI技術が活用され始めています。AIは膨大なプログラムコードのパターンを学習しているため、人間では見逃しがちな複雑な脆弱性の発見を支援可能です。
また、診断プロセスを自動化することで、従来の手法よりも迅速かつ広範囲に検査を行えるようになります。開発の早い段階で問題点を特定・修正できるため、製品やサービスのセキュリティ品質を根本から高められるはずです。
▼関連記事
まとめ｜AIのリスクを正しく理解し、セキュリティを強化しよう
AIセキュリティとは、AIの活用を安全に進めるための取り組みであり、AIを守る「Security for AI」とAIで守る「AI for Security」という2つの視点があります。特に、企業が生成AIや大規模言語モデル（LLM）を業務に導入する際は、プロンプト入力による情報漏洩やAIモデルの不正操作など、これまでにないリスクに直面します。
生成AIを安全に活用するには、社内ガイドラインの策定や社員教育に加え、生成AIを悪用した攻撃に対応できる技術的対策が必要です。EDRやSIEMの導入による監視体制の強化に加え、定期的な脆弱性診断を行うことで、システム全体の弱点を早期に発見し、被害を未然に防げます。
自社で開発したWebアプリケーションの脆弱性を効果的に検出したい場合は、AIを搭載した高精度な自動診断を提供するAeyeScanが役立ちます。AI時代に求められるセキュリティレベルを確保したい方は、まずAeyeScanの資料をダウンロードしてみてはいかがでしょうか。
