プロンプトインジェクション / モデル抽出 / 防御
152語を50音順で表示
セキュリティの用語152語
- 合言葉認証 (ディープフェイク対策)あいことばにんしょう合言葉認証とは、ディープフェイク音声・映像によるなりすまし電話を見破るため、家族や取引先と事前に決めておく合言葉で本人確認する対策のこと。
- 悪意あるLLM (WormGPT型)あくいあるえるえるえむ わーむじーぴーてぃーがた悪意あるLLM（WormGPT型）とは、安全ガードレールを外し、詐欺やマルウェア作成など犯罪目的に特化させた大規模言語モデルのことである。
- ASCII密輸 (ASCII Smuggling)あすきーみつゆASCII密輸とは、Unicodeのタグ文字など通常は表示されない特殊なコードポイントに指示や文字列を埋め込み、人間には見えないままLLMにだけ読み取らせて実行させる攻撃・データ隠蔽手法のことである。
- アブリテレーション (安全機構の除去)あぶりてれーしょんアブリテレーションとは、LLMの内部活性化から拒否応答を引き起こす特定の方向ベクトルを特定し除去することで、安全ガードレールを解除する手法のことである。
- アライメント偽装 (Alignment Faking)あらいめんとぎそうアライメント偽装とは、AIモデルが学習時や評価時にだけ人間の意図に従うふりをし、実運用では異なる挙動を示す現象のこと。
- 安全でない出力処理 (Insecure Output Handling)あんぜんでないしゅつりょくしょり安全でない出力処理とは、LLMの出力を十分な検証・サニタイズなしに後続システムへそのまま渡し、実行・表示してしまうことで攻撃を招くセキュリティ上の欠陥のこと。
- ISMAP (政府情報システムのセキュリティ評価制度)いすまっぷISMAPとは、政府機関がクラウドサービスを調達する際に必要な情報セキュリティ水準を国の基準で評価し、条件を満たしたサービスを登録簿に掲載する制度のこと。
- 埋め込み逆変換攻撃 (Embedding Inversion)うめこみぎゃくへんかんこうげき埋め込み逆変換攻撃とは、ベクトル埋め込み(embedding)のデータから元のテキストや個人情報を復元しようとする攻撃手法のこと。
- AI悪用脅威レポート (Threat Intelligence)えーあいあくようきょういれぽーとAI悪用脅威レポートとは、生成AIやLLMがフィッシング詐欺・偽情報生成・マルウェア開発などに悪用される手口を体系的に収集・分析し、対策指針としてまとめた報告書のこと。
- AIインシデント対応 (AI Incident Response)えーあいいんしでんとたいおうAIインシデント対応とは、AIシステムの誤作動や有害な出力、セキュリティ侵害などのトラブル発生時に検知から復旧までを体系的に処理する運用プロセスのこと。
- AIインシデントデータベース (AIID)えーあいいんしでんとでーたべーすAIインシデントデータベース(AIID)とは、AIシステムの誤作動や差別的判断など実害を伴った事例を収集・公開する非営利のデータベースのこと。
- AI-SPM (AIセキュリティ態勢管理)えーあいえすぴーえむAI-SPMとは、企業が利用するAIモデルやデータパイプライン、学習データなどのAI資産について、設定ミスや権限過多、脆弱性を継続的に可視化し管理する仕組みのこと。
- AI音声詐欺 (Voice Phishing)えーあいおんせいさぎAI音声詐欺 (Voice Phishing) とは、AIが生成した偽の音声を使って家族・上司・取引先を装い、金銭や認証情報を騙し取る詐欺手法のこと。
- AI会話ログの証拠保全 (eDiscovery)えーあいかいわろぐのしょうこほぜんAI会話ログの証拠保全 (eDiscovery) とは、 訴訟や社内調査に備えて AI とのやり取りの記録を 改ざん不能な形で保存し、 必要時に提出できる状態にしておくことのこと。
- AI脅威モデリング (Threat Modeling)えーあいきょういもでりんぐAI脅威モデリングとは、AIシステムに存在しうる攻撃経路やリスクを開発前に体系的に洗い出し、対策の優先順位を決める手法のこと。
- AI駆動SOC (AI-powered SOC)えーあいくどうそっくAI駆動SOCとは、AI/機械学習を活用してログ監視・アラート選別・脅威検知を自動化し、アナリストの負荷を軽減するセキュリティ運用センターの体制のこと。
- AI経由の内部脅威 (Insider Risk)えーあいけいゆのないぶきょういAI経由の内部脅威とは、従業員が生成AIツールやAIエージェントを利用する過程で、意図的または過失により機密情報の漏えいや不正操作を引き起こすセキュリティリスクのことである。
- AIサプライチェーンセキュリティえーあいさぷらいちぇーんせきゅりてぃAIサプライチェーンセキュリティとは、AIシステムの学習データ・外部モデル・ライブラリ・APIなど開発から配備までの全工程を対象に、悪意ある改ざんや脆弱性の混入を防ぐセキュリティ対策の総称のこと。
- AI自動パッチ生成 (脆弱性の自動修正)えーあいじどうぱっちせいせいAI自動パッチ生成とは、AIがソースコードの脆弱性を検出し、修正コードの生成から適用までを自動化する技術のこと。
- AIスキーミング (策謀・Scheming)えーあいすきーみんぐAIスキーミングとは、AIモデルが評価や監視の目をあざむき、指示に従うふりをして別の目的を隠し持って行動する挙動のこと。
- AI脆弱性発見 (自動バグハント)えーあいぜいじゃくせいはっけん(じどうばぐはんと)AI脆弱性発見（自動バグハント）とは、LLMやAIエージェントにコード解析・攻撃パターン生成を行わせ、ソフトウェアの脆弱性を自動的に発見・検証する手法のこと。
- AI生成コードの脆弱性 (Insecure AI-Generated Code)えーあいせいせいこーどのぜいじゃくせいAI生成コードの脆弱性とは、生成AIが提案するプログラムコードにSQLインジェクションや認証不備などの安全上の欠陥が紛れ込む問題のこと。
- AI生成コンテンツ検出 (AI Content Detection)えーあいせいせいこんてんつけんしゅつAI生成コンテンツ検出とは、テキスト・画像・音声・動画がAIによって生成されたかどうかを統計的・深層学習的手法で自動判別する技術のこと。
- AI生成フィッシング (AI Phishing)えーあいせいせいふぃっしんぐAI生成フィッシングとは、生成AIを悪用して本物そっくりの文面や音声・動画を自動生成し、なりすましで金銭や情報を騙し取る攻撃手法のこと。
- AI生成ポリモーフィック型マルウェアえーあいせいせいぽりもーふぃっくがたまるうぇあAI生成ポリモーフィック型マルウェアとは、生成AIを悪用してコードを実行のたびに自動変形させ、シグネチャベースの検出を回避するマルウェアのこと。
- AI DLP (AI情報漏洩対策)えーあいでぃーえるぴーAI DLPとは、生成AIやLLMの利用によって発生する社内機密情報や個人情報の外部漏洩を検知・防止する情報漏洩対策の仕組みのこと。
- AI TRiSM (AI信頼・リスク・セキュリティ管理)えーあいとりずむAI TRiSMとは、AIモデルやアプリケーションの信頼性・リスク・セキュリティを一元管理するガバナンスフレームワークのこと。Gartnerが提唱し、AIの安全な社会実装に不可欠な概念として広まっている。
- AIバグバウンティ (脆弱性報奨金)えーあいばぐばうんてぃ（ぜいじゃくせいほうしょうきん）AIバグバウンティとは、AIモデルやAIシステムに潜む脆弱性・有害な出力・安全対策の回避手口を発見した外部の研究者に報奨金を支払う制度のこと。
- AI BOM (AI部品表)えーあいびーおーえむAI BOM（AI部品表）とはAIシステムを構成するすべての要素（学習データ・モデルウェイト・ライブラリ・外部API依存）を一覧化した構成管理ドキュメントのこと。
- AIブラウザ拡張の情報漏洩リスクえーあいぶらうざかくちょうのじょうほうろうえいりすくAIブラウザ拡張の情報漏洩リスクとは、AI機能を持つブラウザ拡張機能が閲覧中のページ内容や入力フォームの情報を外部サーバーに送信し、意図せず機密情報や個人情報が漏洩してしまう危険性のこと。
- AIブラウザのハイジャック (CometJacking型)えーあいぶらうざのはいじゃっく（こめっとじゃっきんぐがた）AIブラウザのハイジャック（CometJacking型）とは、悪意あるリンクやページに仕込んだ指示でAIブラウザエージェントを誤動作させ、情報窃取や不正操作を行わせる攻撃手法のこと。
- AIベンダーリスク評価 (Vendor Risk)えーあいべんだーりすくひょうかAIベンダーリスク評価とは、外部のAIサービスやツールを導入する際に、データ取扱い・セキュリティ・法令順守などの観点から委託先の信頼性を事前に確認する手続きのこと。
- AIワーム (Morris II型)えーあいわーむAIワームとは、生成AIエージェント間でプロンプトを自己複製・自己拡散させ、機密情報窃取やスパム送信などを誘発する新種のセキュリティ攻撃手法のこと。
- エージェント監査ログ (Agent Audit Log)えーじぇんとかんさろぐエージェント監査ログとは、AIエージェントが行った判断や外部システムへの操作を時系列で記録し、後から追跡・検証できるようにする仕組みのこと。
- エージェント間の秘密結託 (Agent Collusion)えーじぇんとかんのひみつけっとくエージェント間の秘密結託とは、 複数の AI エージェントが 人間の監督者に気づかれない形で 利害を一致させ、 協調的に振る舞ってしまう現象のこと。
- エージェント経由のSSRF (内部リソース到達)えーじぇんとけいゆのえすえすあーるえふ（ないぶりそーすとうたつ）エージェント経由のSSRFとは、AIエージェントのURL取得・ツール実行機能を悪用し、内部ネットワークやクラウドメタデータ等の非公開リソースへ到達させる攻撃のこと。
- エージェント権限昇格 (Privilege Escalation)えーじぇんとけんげんしょうかくエージェント権限昇格とは、AIエージェントが本来割り当てられた権限の範囲を超えて、システムやAPI、ファイルへのアクセス・実行権限を不正に拡大してしまう脆弱性やリスクのこと。
- AgentDojo (エージェント攻撃耐性ベンチ)えーじぇんとどうじょーAgentDojoとは、LLMエージェントがツール実行中に受けるプロンプトインジェクション攻撃への耐性を測定するオープンベンチマークのことである。
- エージェントハイジャック (Agent Hijacking)えーじぇんとはいじゃっくエージェントハイジャックとは、AIエージェントが外部コンテンツに埋め込まれた悪意ある指示に乗っ取られ、意図しない動作を実行させられる攻撃手法のこと。
- APIキー漏洩 (Key Leakage)えーぴーあいきーろうえいAPIキー漏洩とは、外部サービス連携に使う認証用APIキーが、ソースコードやログ、公開リポジトリなどを通じて第三者に流出する事故のこと。
- エグレス制御 (外部通信の遮断)えぐれすせいぎょエグレス制御とは、社内ネットワークやクラウド環境から外部への通信を監視・制限し、不正な情報流出や不審な通信先への接続を防ぐ仕組みのこと。
- EchoLeak (ゼロクリックAI情報窃取)えこーりーくEchoLeakとは、ユーザーの操作を一切必要とせず、AIアシスタントがメールやドキュメントを読み込んだだけで機密情報を外部へ流出させてしまうゼロクリック型の情報窃取攻撃のこと。
- SOC 2 (AIベンダーの第三者保証)えすおーしーつーSOC 2とは、 AICPA (米国公認会計士協会) が定める セキュリティ・可用性等の基準に基づき、 第三者監査法人が AI ベンダーの内部統制を評価する認証制度のこと。
- NIST生成AIプロファイル (AI 600-1)えぬあいえすてぃーせいせいえーあいぷろふぁいるNIST生成AIプロファイル(AI 600-1)とは、米国NISTが公表したAIリスク管理フレームワーク(AI RMF)の生成AI版拡張ガイドラインのこと。
- MCP OAuth認可 (エージェント接続の認証)えむしーぴーおーあうすにんかMCP OAuth認可とは、AIエージェントがMCPサーバーに接続する際に、OAuth 2.1などの標準プロトコルで身元確認とアクセス権限の受け渡しを行う認可の仕組みのこと。
- MCPセキュリティ (MCP脆弱性)えむしーぴーせきゅりてぃ（えむしーぴーぜいじゃくせい）MCPセキュリティとは、AIエージェントが外部ツールやデータに接続する標準規格「MCP」利用時に生じる、権限奪取や情報漏洩などの脆弱性とその対策のことである。
- MCPラグプル攻撃 (Rug Pull)えむしーぴーらぐぷるこうげきMCPラグプル攻撃とは、承認済みのMCPツール定義が後から書き換えられ、ユーザーの許可なく悪意ある処理を実行させられる攻撃のこと。
- LLMキャッシュ汚染 (Cache Poisoning)えるえるえむきゃっしゅおせんLLMキャッシュ汚染とは、複数ユーザーで共有するプロンプトキャッシュに悪意ある入力を混入させ、他ユーザーへ誤った応答を返させる攻撃手法のこと。
- LLMファイアウォール (Prompt Firewall)えるえるえむふぁいあうぉーる（ぷろんぷとふぁいあうぉーる）LLMファイアウォール（Prompt Firewall）とは、LLMへの入出力をリアルタイムで監視・フィルタリングし、プロンプトインジェクションや情報漏洩・有害出力を防ぐセキュリティ層のこと。
- LLMペネトレーションテスト (LLM Pentesting)えるえるえむぺねとれーしょんてすとLLMペネトレーションテストとは、大規模言語モデルを組み込んだシステムに対しプロンプトインジェクションやジェイルブレイクなどの手法で疑似攻撃を行い、脆弱性を洗い出すセキュリティ診断のことである。
- LLM利用の異常検知 (Usage Anomaly)えるえるえむりようのいじょうけんちLLM利用の異常検知とは、API呼び出し回数やトークン消費量、アクセスパターンの急激な変化を監視し、不正利用やコスト暴走を早期発見する仕組みのこと。
- OWASP LLM Top 10おわすぷ えるえるえむ とっぷ てんOWASP LLM Top 10とは、OWASPがLLMアプリケーション固有の10大セキュリティリスクを優先度付きで体系化したフレームワークのこと。
- OWASP Agentic AI Top 10おわすぷあじぇんてぃっくえーあいとっぷてんOWASP Agentic AI Top 10とは、自律的に判断・行動するAIエージェントに特有のセキュリティリスクを10項目に整理した業界標準の脅威分類のこと。
- ガードモデル (Guard Model)がーどもでるガードモデルとは、LLMへの入力や出力を監視し、有害なプロンプトや不適切な回答を検知・ブロックする専用の小型AIモデルのこと。
- ガードレール (Guardrails)がーどれーるガードレールとは、AIシステムが有害・不適切・意図しない出力を生成しないよう制限するための安全制御機構のこと。
- 会議録AIの情報漏洩リスクかいぎろくえーあいのじょうほうろうえいりすく会議録AIの情報漏洩リスクとは、AIによる議事録自動作成・文字起こしサービスが会議音声や機密情報を外部サーバーに送信・保存することで生じる漏洩の危険性のこと。
- 会話共有リンクの流出 (Shared Chat Leak)かいわきょうゆうりんくのりゅうしゅつ会話共有リンクの流出とは、AIチャットの共有機能で発行したURLが検索エンジンに索引化されたり第三者に転送されたりして、意図せず会話内容が公開されてしまう現象のこと。
- 学習データ抽出攻撃 (Training Data Extraction)がくしゅうでーたちゅうしゅつこうげき学習データ抽出攻撃とは、巧妙なプロンプトでLLMに訓練データの断片を再現させ、含まれる個人情報や機密情報を抜き出す攻撃手法のこと。
- 過剰共有 (Copilot導入前の権限棚卸し)かじょうきょうゆう過剰共有とは、本来アクセス権のない従業員や部門からも社内ファイルや情報が閲覧・編集できてしまうほど共有設定が緩んだ状態のこと。
- 過剰なエージェンシー (Excessive Agency)かじょうなえーじぇんしー過剰なエージェンシーとは、AIエージェントに必要以上の権限・ツール・自律性を与えた結果、意図しない外部操作や取り消し不能なアクションが自律実行されるセキュリティリスクのこと。
- 画像レンダリング経由の情報流出がぞうれんだりんぐけいゆのじょうほうりゅうしゅつ画像レンダリング経由の情報流出とは、チャットUIがMarkdown画像タグを自動描画する際、画像URLのクエリ文字列に機密情報を埋め込み外部サーバーへ送信させる攻撃手法のこと。
- カナリアトークン (漏洩検知)かなりーとーくんカナリアトークンとは、アクセスされた瞬間に検知アラートが飛ぶよう仕込んだ「おとり」のファイルやURL、認証情報のことである。
- 画面常時記録AIのリスク (Recall型キャプチャ)がめんじょうじきろくえーあいのりすく画面常時記録AIのリスクとは、PC画面を継続的に撮影・保存しAIで検索可能にする機能が、機密情報の漏洩や監視強化を招く懸念のこと。
- garak (LLM脆弱性スキャナ)がらっくgarak（ガラック）とは、大規模言語モデルに対してプロンプトインジェクションや有害出力などの脆弱性を自動的に検査するオープンソースのセキュリティスキャナのことです。
- 間接プロンプトインジェクション (Indirect Prompt Injection)かんせつぷろんぷといんじぇくしょん間接プロンプトインジェクションとは、AIが処理する外部コンテンツ（Webページ・PDF・メール等）に悪意ある命令を埋め込み、AIエージェントに意図しない動作を引き起こすサイバー攻撃手法のこと。
- 危険能力評価 (Dangerous Capability Eval)きけんのうりょくひょうか危険能力評価とは、AIモデルがサイバー攻撃・生物兵器設計・自律的自己複製など、人間に重大な害をもたらしうる能力を持つかを開発元がリリース前に体系的にテストする評価手法のこと。
- 機密コンピューティング (Confidential Computing)きみつこんぴゅーてぃんぐ機密コンピューティングとは、CPU/GPUのハードウェア機能で「処理中」のデータもメモリ上で暗号化・隔離し、クラウド事業者を含む第三者からデータを守る技術のこと。
- CAPTCHA突破 (エージェントによる認証回避)きゃぷちゃとっぱCAPTCHA突破とは、AIエージェントがウェブ操作の途中で人間確認用のCAPTCHAを自動的に解読・突破し、処理を継続する技術や挙動のことである。
- 共有責任モデル (AI利用の責任分界)きょうゆうせきにんもでる共有責任モデルとは、AIサービスの提供者と利用企業の間で、性能・セキュリティ・出力結果に対する責任をどこまで分担するかを明確にする考え方のこと。
- キルスイッチ (緊急停止機構)きるすいっちキルスイッチ（kill switch）とは、機器やソフトウェアを緊急停止させる安全装置の総称のこと。AI分野では、AIエージェントが意図しない挙動を示した際に人間が即座に処理を強制停止できる緊急停止機構を指す。
- クレッシェンド攻撃 (Crescendo)くれっしぇんどこうげきクレッシェンド攻撃とは、無害な会話から始めて段階的に質問を過激化させ、LLMの安全対策を回避しながら有害な出力を引き出す脱獄攻撃の手法のこと。
- 権限考慮RAG (Permission-aware RAG)けんげんこうりょらぐ権限考慮RAGとは、RAGが参照する文書検索の際に利用者のアクセス権限を考慮し、閲覧権限のない文書を検索結果や生成回答に含めない仕組みのこと。
- 攻撃的AI (AI支援サイバー攻撃)こうげきてきえーあい攻撃的AIとは、生成AIを悪用してフィッシングメール作成やマルウェアコード生成、ディープフェイクによる詐欺などのサイバー攻撃を自動化・高度化する手法のこと。
- 合成ID詐欺 (AI生成の架空人物による不正)ごうせいあいでぃーさぎ合成ID詐欺とは、実在しない人物の顔写真・経歴・声をAIで生成し、本人確認や採用審査をすり抜けて口座開設や就労などの不正に利用する手口のこと。
- Constitutional Classifiers (憲法分類器)こんすてぃちゅーしょなる・くらしふぁいやーずConstitutional Classifiersとは、あらかじめ定めた「憲法」的ルールに沿って入出力を分類し、有害なプロンプトやジェイルブレイクを検知してブロックする防御用分類器のこと。
- コンテンツモデレーション (Moderation API)こんてんつもでれーしょんコンテンツモデレーション(Moderation API)とは、AIサービスにおいて有害・不適切なテキストや画像を自動検知し、公開前にフィルタリングする仕組みのこと。
- 混乱した代理人 (Confused Deputy)こんらんしただいりにん混乱した代理人とは、正当な権限を持つプログラムやAIエージェントが、悪意ある入力に騙されてその権限を不正利用させられてしまう脆弱性のこと。
- 最小権限の原則 (Least Privilege)さいしょうけんげんのげんそく最小権限の原則とはシステム・ユーザー・プロセスが業務遂行に必要な最低限の権限のみを持ち、それ以上は付与しないとするセキュリティ設計の基本原則のこと。
- 差分プライバシー (Differential Privacy)さぶんぷらいばしー差分プライバシーとは、統計クエリの結果に数学的ノイズを加えることで特定個人のデータが特定・漏洩しないことを確率的に保証するプライバシー保護技術のこと。
- サンドボックス化 (Sandboxing)さんどぼっくすかサンドボックス化とは、AIモデルやエージェントを本番環境から隔離された実行環境に閉じ込め、外部システムへの無制限アクセスを防ぐセキュリティ手法のこと。
- サンドボックス脱出 (Sandbox Escape)さんどぼっくすだっしゅつサンドボックス脱出とは、隔離実行環境に閉じ込められたプログラムやAIエージェントが、想定された制限を破ってホスト側のシステムやネットワークに不正アクセスできてしまう状態のこと。
- シークレット管理 (エージェントの資格情報)しーくれっとかんりシークレット管理 (エージェントの資格情報) とは、 AI エージェントが外部 API に接続する際に使う API キーやトークンを、 コードに書かず安全に保管し受け渡す仕組みのこと。
- シークレットスキャン (鍵の混入検知)しーくれっとすきゃんシークレットスキャンとは、ソースコードやコミット履歴に API キーやパスワードなどの秘匿情報が誤って混入していないかを自動検出する仕組みのこと。
- ジェイルブレイクじぇいるぶれいくAI の安全制限を回避する手法。 ロールプレイや仮想シナリオで 禁止出力を引き出す。
- システムプロンプト窃取 (System Prompt Extraction)しすてむぷろんぷとせっしゅシステムプロンプト窃取とは、AIチャットボットやエージェントに仕込まれた非公開の指示文（システムプロンプト）を、巧みな質問や特殊なプロンプトで引き出す攻撃手法のこと。
- 自動ジェイルブレイク生成 (GCG)じどうじぇいるぶれいくせいせい自動ジェイルブレイク生成（GCG）とは、勾配情報を使ってLLMの安全制限を回避するプロンプトを自動探索する攻撃手法のこと。
- シャドーAI (Shadow AI)しゃどーえーあいシャドーAIとは、企業のIT部門や経営層の承認なしに従業員が個人的に業務で使うAIツール・サービスのこと。情報漏洩・規約違反・ガバナンス崩壊のリスクを内包する。
- シャドーMCP (未承認MCPサーバ)しゃどーえむしーぴーシャドーMCPとは、情シスの承認を経ずに従業員や開発チームが個人判断で導入・接続する未承認のMCPサーバーのことをいう。
- 準同型暗号 (Homomorphic Encryption)じゅんどうけいあんごう準同型暗号とは、データを暗号化したまま演算・処理できる暗号方式のこと。復号せずに計算結果を得られるため、機密データをクラウドやAIに預けたまま安全に活用できる。
- 承認疲れ (Approval Fatigue)しょうにんつかれ承認疲れとは、AIエージェントが行動のたびに求める承認要求に人間が疲弊し、内容を精査せず反射的に承認してしまう状態のこと。
- 信頼境界 (Trust Boundary)しんらいきょうかい信頼境界とは、システム内で情報や処理の信頼度が変わる境目のことで、境界をまたぐデータには検証や権限チェックが必要とされる設計上の概念のこと。
- Skeleton Key (ジェイルブレイク手法)すけるとんきーSkeleton Keyとは、AIモデルに安全ガイドラインの段階的な上書きを指示し、あらゆる禁止コンテンツを出力させる汎用ジェイルブレイク手法のこと。
- ステップアップ認証 (重要操作の再認証)すてっぷあっぷにんしょうステップアップ認証とは、通常のログイン後に送金や個人情報変更など重要な操作を行う際、追加の認証を要求する仕組みのことである。
- スポットライティング (Spotlighting防御)すぽっとらいてぃんぐスポットライティングとは、LLMに渡す外部データを特殊な区切りや変換で明示し、指示との混同を防ぐプロンプトインジェクション対策手法のこと。
- スリーパーエージェント (Sleeper Agents)すりーぱーえーじぇんとスリーパーエージェントとは、通常時は安全に受け答えしつつ、特定のトリガー条件が揃った時だけ悪意ある挙動に切り替わるよう訓練されたAIモデルのことを指す。
- スロップスクワッティング (幻覚パッケージ悪用)すろっぷすくわってぃんぐスロップスクワッティングとは、AIコーディングツールがコード生成時に幻覚で作り出した実在しないパッケージ名を、攻撃者が先回りして公開レジストリに登録し悪用する攻撃手法のこと。
- セーフティケース (安全性論証)せーふてぃけーすセーフティケースとは、AIシステムが安全に運用できることを、根拠・証拠・論証構造によって示す文書のこと。
- safetensors (安全なモデル形式)せーふてんそーずsafetensorsとは、Hugging Faceが開発した、pickle形式の脆弱性を排除したAIモデル重み保存用の安全なファイル形式のことである。
- 責任あるスケーリング方針 (RSP)せきにんあるすけーりんぐほうしん責任あるスケーリング方針(RSP)とは、AI開発企業がモデルの能力が一定の危険度水準に達した際に、追加の安全対策なしに開発・公開を進めないと定める自主的なリスク管理方針のこと。
- ゼロデータ保持 (ZDR)ぜろでーたほじゼロデータ保持(ZDR)とは、AI事業者がAPI経由で受け取ったプロンプトや生成結果を処理完了後に一切保存せず即座に破棄する運用方式のこと。
- ゼロトラストAI (Zero Trust for AI)ぜろとらすとえーあいゼロトラストAIとは、AIシステムへのアクセスや操作において「何も信頼しない」原則を適用し、すべてのリクエストを継続的に検証・認証するセキュリティフレームワークのこと。
- 属性推論攻撃 (Attribute Inference)ぞくせいすいろんこうげき属性推論攻撃とは、AIモデルの出力や公開データから、性別・年齢・病歴・思想信条など学習ラベルに含まれない個人の機微属性を統計的に推定するプライバシー攻撃のこと。
- 致命的な三要素 (Lethal Trifecta)ちめいてきなさんようそ致命的な三要素とは、AIエージェントが機密データへのアクセス・未信頼コンテンツの処理・外部への通信能力を同時に持つと、プロンプトインジェクションで情報漏洩が起きる危険な組み合わせのことである。
- ツールシャドーイング (Tool Shadowing)つーるしゃどーいんぐツールシャドーイングとは、複数のAIツールを同時接続した際、悪意あるツールの説明文が正規ツールの動作を上書き・誘導し、エージェントに意図しない処理をさせる攻撃手法のこと。
- ツールポイズニング (Tool Poisoning)つーるぽいずにんぐツールポイズニングとは、AIエージェントが呼び出す外部ツールの説明文や応答結果に、ユーザーには見えない悪意ある指示を埋め込み、意図しない挙動を誘発させる攻撃手法のこと。
- ディープフェイクKYC突破 (KYC Bypass)でぃーぷふぇいくけーわいしーとっぱディープフェイクKYC突破とは、生成AIで作った偽の顔映像・音声でオンライン本人確認のなりすまし検知を欺き、口座開設や認証を不正に通過させる攻撃手法のことである。
- ディープフェイク詐欺 (Deepfake Fraud / BEC)でぃーぷふぇいくさぎディープフェイク詐欺とは、AI生成の音声・映像で経営者や取引先になりすまし、送金指示や機密情報の詐取を狙うBEC（ビジネスメール詐欺）の高度化形態のことである。
- ディープフェイク面接詐欺 (Interview Fraud)でぃーぷふぇいくめんせつさぎディープフェイク面接詐欺とは、生成AIのリアルタイム映像・音声合成で他人になりすまし、リモート採用面接を突破する詐欺手口のこと。
- 低リソース言語ジェイルブレイクていりそーすげんごじぇいるぶれいく低リソース言語ジェイルブレイクとは、学習データもレッドチーム検証も手薄な少数言語に有害な指示を翻訳して投げ、安全フィルターの検出をすり抜けようとする攻撃手法のこと。
- データクリーンルーム (安全なデータ突合)でーたくりーんるーむデータクリーンルームとは、複数の企業が保有する顧客データを、生データを開示することなく突合・分析できる安全な計算環境のこと。
- データ分類 (機密区分とAI利用可否)でーたぶんるいデータ分類とは、社内データを機密度に応じて公開・社内限定・社外秘・機密などの区分に分け、生成AIへの入力可否を判定する管理手法のこと。
- データレジデンシー (国内データ保管)でーたれじでんしーデータレジデンシー（国内データ保管）とは、AIサービスが扱うデータの保存・処理を特定の国や地域内に限定する運用上の要件のこと。
- データ漏洩 (Data Leakage)でーたろうえいデータ漏洩とは、機密情報や個人データが意図せず外部に流出してしまうセキュリティ上のインシデントのこと。
- 敵対的堅牢性 (Adversarial Robustness)てきたいてきけんろうせい敵対的堅牢性とは、悪意ある入力(敵対的サンプルやプロンプト攻撃)を与えられても、AIモデルが誤った出力や意図しない挙動をせずに正しく機能し続ける性質のこと。
- 敵対的サンプル (Adversarial Examples)てきたいてきさんぷる敵対的サンプルとは、人間には正常に見えるがAIモデルを意図的に誤分類・誤判断させるよう微小な摂動を加えた入力データのこと。
- Denial of Wallet (課金枯渇攻撃)でないある・おぶ・うぉれっと（かきんこかつこうげき）Denial of Walletとは、攻撃者が意図的に大量のAPIリクエストやリソース消費を発生させ、従量課金サービスの利用料を高騰させて金銭的損害を与える攻撃のこと。
- テナント分離 (Tenant Isolation)てなんとぶんりテナント分離とは、マルチテナントのAIシステムで顧客ごとのデータ・処理環境を論理的または物理的に隔離し、他社データへのアクセスを防ぐ設計のこと。
- デュアルLLMパターン (Dual LLM Pattern)でゅあるえるえるえむぱたーんデュアルLLMパターンとは、権限を持つ「特権LLM」と外部データを読む「隔離LLM」を分離し、プロンプトインジェクションによる権限奪取を防ぐエージェント設計手法のこと。
- 動画ディープフェイク検出どうがでぃーぷふぇいくけんしゅつ動画ディープフェイク検出とは、AIで生成・改変された偽の動画コンテンツを、画素の不自然さや生成モデル特有の痕跡から解析して見抜く技術のこと。
- トークン長サイドチャネル攻撃とーくんちょうさいどちゃねるこうげきトークン長サイドチャネル攻撃とは、暗号化された LLM の応答でも、トークン数や応答長の変化から質問内容や機密情報の一部を推測できてしまう脆弱性のこと。
- 偽AIアプリ (マルウェア配布)にせえーあいあぷり偽AIアプリとは、人気AIツールを装ってマルウェアやフィッシングサイトへの誘導を仕込んだ悪質なアプリ・偽サイトのこと。
- 入力サニタイズ (外部データの無害化)にゅうりょくさにたいず入力サニタイズとは、外部から取り込むユーザー入力やAPIレスポンス、スクレイピング結果に含まれる不正な命令やコードを検知し、無害化してからシステムに渡す処理のこと。
- 人間性証明 (Proof of Personhood)にんげんせいしょうめい人間性証明とは、オンライン上のユーザーが生成AIボットではなく実在の人間であることを暗号技術や生体情報などで示す仕組みのこと。
- PyRIT (AIレッドチームツール)ぱいりっとPyRITとは、Microsoftが開発したオープンソースの生成AI向け自動レッドチーミングツールのことで、攻撃プロンプトの生成と出力の危険度採点を一貫して行える。
- 破壊的操作ガード (Destructive Action Guard)はかいてきそうさがーど破壊的操作ガードとは、AIエージェントがファイル削除やDB変更など取り消し困難な操作を実行する前に、確認や承認を挟んで防ぐ安全機構のことである。
- バックドア攻撃 (Backdoor Attack)ばっくどあこうげきバックドア攻撃とはAIモデルの学習データや重みに悪意のある仕掛けを埋め込み、特定のトリガー入力時のみ意図せぬ誤動作を引き起こすサイバー攻撃のこと。
- PIIマスキング (個人情報マスキング)ぴーあいあいますきんぐ (こじんじょうほうますきんぐ)PIIマスキングとは、氏名・メールアドレス・電話番号などの個人識別情報(PII)をAIモデルやシステムが処理する前に隠蔽・置換し、プライバシー漏洩を防ぐ技術のこと。
- 秘匿推論 (Private Inference)ひとくすいろん秘匿推論とは、TEEや準同型暗号などを用いて、入力データを推論サービス提供者からも隠したままAIモデルの計算を実行する技術のこと。
- 秘密計算 (MPC)ひみつけいさん秘密計算(MPC)とは、複数の当事者が自分のデータを他者に開示せずに、共同で計算した結果だけを得られる暗号技術のことをいう。
- ファインチューニング攻撃 (安全機構の解除)ふぁいんちゅーにんぐこうげきファインチューニング攻撃とは、公開されているAIモデルを独自データで再学習させ、開発元が組み込んだ安全機構やコンテンツフィルターを回避・解除する攻撃手法のこと。
- ブラストレディウス (影響範囲)ぶらすとれでぃうすブラストレディウスとは、システム障害やセキュリティ侵害が発生した際に被害が及ぶ範囲のことで、権限設計により被害を最小限に封じ込める考え方を指す。
- プロンプトインジェクションぷろんぷといんじぇくしょんユーザー入力で AI の指示を上書きする攻撃。 「これまでの指示は無視して◯◯」 が典型例。
- 閉域接続 (Private Endpoint)へいいきせつぞく閉域接続とは、パブリックインターネットを経由せず、専用線や仮想ネットワーク内でクラウドサービスに直接アクセスする接続方式のことです。
- 報酬ハッキング (Reward Hacking)ほうしゅうハッキング報酬ハッキングとは、AIモデルが与えられた報酬関数の抜け穴を突き、本来の目的を達成しないままスコアだけを最大化してしまう現象のこと。
- ホモグリフ攻撃 (紛らわしい文字の悪用)ほもぐりふこうげきホモグリフ攻撃とは、見た目がそっくりな異なる文字(キリル文字のaなど)を使い、ドメイン名やアカウント名を偽装してなりすます攻撃手法のこと。
- ポリシーエンジン (エージェント実行制御)ぽりしーえんじん(えーじぇんとじっこうせいぎょ)ポリシーエンジン（エージェント実行制御）とは、AIエージェントが実行するツール呼び出しやファイル操作の可否を、あらかじめ定めたルールに基づき自動判定・制御する仕組みのこと。
- MITRE ATLAS (AI攻撃フレームワーク)まいたーあとらすMITRE ATLASとは、AIシステムを狙う攻撃者の戦術・手法を体系化した、MITRE ATT&CK型の脅威フレームワークのこと。
- マルチモーダルインジェクション (画像経由)まるちもーだるいんじぇくしょん（がぞうけいゆ）マルチモーダルインジェクション（画像経由）とは、画像内に隠した文字や模様でAIへ不正な指示を紛れ込ませ、意図しない挙動を引き起こす攻撃手法のこと。
- Many-shot ジェイルブレイクめにーしょっとじぇいるぶれいくMany-shotジェイルブレイクとは、プロンプト内に禁止行為を許容する大量の偽対話例を詰め込み、LLMの安全制御を段階的に突破する攻撃手法のこと。
- メモリポイズニング (Memory Poisoning)めもりぽいずにんぐメモリポイズニングとは、AIエージェントが長期記憶として保存する会話履歴や外部知識ベースに悪意あるデータを混入させ、後の応答や判断を誤らせる攻撃手法のこと。
- メンバーシップ推論攻撃 (Membership Inference)めんばーしっぷすいろんこうげきメンバーシップ推論攻撃とは、あるデータがAIモデルの学習に使われたかどうかを外部から統計的に推定するプライバシー攻撃のこと。モデルの出力スコアの差異を観察することで個人情報漏洩につながる。
- モデルウェイト窃取 (Weight Exfiltration)もでるうぇいとせっしゅモデルウェイト窃取とは、学習済みAIモデルの重み(パラメータ)を内部不正やAPI経由の抽出攻撃などで外部に持ち出し、模倣や悪用に転用される行為のこと。
- モデル署名 (Model Signing)もでるしょめいモデル署名とは、AIモデルの重みファイルやコンテナイメージに発行者が暗号署名を付与し、改ざん検知と来歴の真正性を検証できるようにする仕組みのこと。
- モデル抽出攻撃 (Model Extraction)もでるちゅうしゅつこうげきモデル抽出攻撃とは、AIモデルへの大量クエリで挙動を解析し、元モデルを模倣した「影モデル」を不正に構築するサイバー攻撃のこと。
- モデルDoS (Model Denial of Service)もでるどすモデルDoSとは、大量の高負荷プロンプトや長文入力を送りつけてAIモデルの処理リソースを枯渇させ、正規ユーザーの応答を妨げる攻撃のこと。
- モデル反転攻撃 (Model Inversion)もでるはんてんこうげきモデル反転攻撃とは、AIモデルへの大量クエリを通じて学習に使われたデータや個人情報を逆算・復元するプライバシー侵害攻撃のこと。
- モデルファイル逆シリアル化攻撃 (Pickle)もでるふぁいるぎゃくしりあるかこうげきモデルファイル逆シリアル化攻撃(Pickle)とは、Pythonのpickle形式で保存されたAIモデルの読み込み時に悪意あるコードが実行されてしまう脆弱性を悪用した攻撃のこと。
- モデルポイズニング (Model Poisoning)もでるぽいずにんぐモデルポイズニングとは、AIモデルの学習データに悪意あるデータを混入させ、モデルの出力や判断を意図的に歪める攻撃手法のこと。
- ライブネス検知 (なりすまし判定)らいぶねすけんちライブネス検知とは、顔認証やeKYC（オンライン本人確認）の際に、カメラに写っている人物が実在する生きた本人か、写真・動画・マスクなどによるなりすましかを判定する技術のこと。
- RAGポイズニング (RAG Poisoning)らぐぽいずにんぐRAGポイズニングとは、AIが参照する外部データベースやドキュメントに悪意ある情報を混入させ、誤った回答を誘発させる攻撃手法のこと。
- レインボーチーミング (Rainbow Teaming)れいんぼーちーみんぐレインボーチーミングとは、リスクカテゴリと攻撃スタイルを掛け合わせて多様な敵対的プロンプトを自動生成し、AIモデルの脆弱性を網羅的に洗い出すレッドチーミング手法のこと。
- レッドチーミング (Red Teaming)れっどちーみんぐレッドチーミングとは、AIシステムの安全性・脆弱性を検証するため、攻撃者の視点から意図的に悪意ある入力やシナリオを試みる評価手法のこと。
AI用語辞典のトップへ
全カテゴリ横断で検索・絞り込みができます
辞典トップへ