【お知らせ】プログラミング記事の投稿はQiitaに移行しました。

AIで論文を読む: Text Embeddings Reveal (Almost) As Much As Text

AI 要約

テキストの埋め込みベクトルから元のテキストを復元することに関する論文を Gemini Paper Summarizer で要約しました。

【注意】AI の説明には誤りが含まれる可能性があり、正確さは保証できません。詳細は原論文を確認してください。

目次

Abstract

テキスト埋め込みは、元のテキストについてどれくらいの個人情報を明らかにするのだろうか？我々は、密なテキスト埋め込みで表現された全文を再構築する、埋め込み反転の問題を調査する。この問題を、制御された生成として捉え、再埋め込みされたときに、潜在空間内の固定点に近づくテキストを生成する。埋め込みに基づいて条件付けされたナイーブなモデルは性能が低いが、テキストを反復的に修正し再埋め込みする多段階法は、32トークンのテキスト入力を正確に92％回復できることがわかった。我々は、2つの最先端の埋め込みモデルからテキスト埋め込みをデコードするモデルを訓練し、また、我々のモデルが臨床ノートのデータセットから重要な個人情報（フルネーム）を回復できることも示す。

概要

本論文は、埋め込みからテキストを再構築するVec2Textという多段階手法を紹介し、32トークンの入力の92%を正確に復元することで、テキスト埋め込みにおけるプライバシーリスクを示す。

問題意識

この論文は、テキスト埋め込みが元のテキストに関するどの程度のプライベート情報を明らかにするかを調査する。具体的には、テキスト埋め込みから元のテキストを再構築する「埋め込み反転」の問題に取り組む。この問題は、テキスト埋め込みが元のテキストを十分に表現する場合、悪意のあるユーザーがベクトルデータベースにアクセスし、テキスト埋め込みとそれに対応するテキストのペアを取得することで、埋め込みからテキストを再構築できる可能性があるため、プライバシー上の懸念を引き起こす。

手法

この論文では、テキスト埋め込みから元のテキストを再構成する問題に取り組むための新しい手法「Vec2Text」を提案する。この手法は、制御された生成問題としてこの問題を捉え、埋め込み空間内の固定点に近いテキストを生成することを目指す。具体的には、初期のテキスト仮説を立て、それを再埋め込みし、その埋め込みと元の埋め込みとの差に基づいてテキストを修正するという反復的なプロセスを採用する。このプロセスを繰り返すことで、テキスト埋め込みから元のテキストを高い精度で復元できることを示す。

新規性

この論文では、テキスト埋め込みからのテキストの復元という、これまで十分に研究されてこなかった問題に取り組んでいる。具体的には、以下の点が新規性として挙げられる。

  1. 反復的なテキスト修正による復元: テキスト埋め込みからテキストを復元する問題を、制御された生成問題として捉え、反復的なテキスト修正と再埋め込みを繰り返すことで、埋め込み空間内の固定点に近づける手法（Vec2Text）を提案する。この反復的な修正アプローチは、従来の単一ステップの復元手法とは異なり、より正確なテキスト復元を可能にする。

  2. 最先端の埋め込みモデルでの評価: 提案手法を、GTR-baseやOpenAIのtext-embeddings-ada-002といった、最先端のテキスト埋め込みモデルで評価する。これにより、現実的なシナリオにおける手法の有効性を示す。

  3. 臨床ノートからの個人情報復元: 臨床ノートのデータセットを用いて、提案手法が個人情報（氏名など）を復元できることを示す。これは、テキスト埋め込みが持つプライバシーリスクを明確に示唆する。

  4. ノイズに対する防御策の検討: 埋め込みにノイズを加えることで、復元攻撃に対する防御策を検討する。これにより、プライバシー保護のための簡単な対策の可能性を示唆する。

  5. テキスト復元精度の詳細な分析: テキスト復元精度と埋め込み空間での距離との関係を詳細に分析し、埋め込み空間の幾何学的な性質が復元精度に影響することを示す。

これらの新規性により、この論文はテキスト埋め込みのプライバシーリスクに関する理解を深め、より安全なテキスト埋め込みの利用に向けた重要な一歩を踏み出す。

章構成

  • 1 Introduction
  • 2 Overview: Embedding Inversion
  • 3 Method: Vec2Text
    • 3.1 Base Model: Learning to Invert
    • 3.2 Controlling Generation for Inversion
  • 4 Experimental Setup
  • 5 Results
    • 5.1 Reconstruction: In-Domain
    • 5.2 Reconstruction: Out-of-Domain
    • 5.3 Case study: MIMIC
  • 6 Defending against inversion attacks
  • 7 Analysis
  • 8 Related work
  • 9 Conclusion
  • 10 Limitations
  • References
  • A Appendix
    • A.1 Additional analysis
    • A.2 Full defense results

1 Introduction

大規模言語モデル（LLM）は、しばしば密な埋め込みのベクトルデータベースに補助データを格納する。ユーザーは、検索されたドキュメントを言語モデルのプロンプトに挿入することで、LLMに知識を注入する。実務者は、埋め込み検索を効率的に実行するために、ホストされたベクトルデータベースサービスを利用している。これらのデータベースでは、データ所有者はテキストデータの埋め込みのみを第三者サービスに送信し、テキスト自体は送信しない。データベースサーバーは、クライアント側のマッチングドキュメントのインデックスとして検索結果を返す。ベクトルデータベースはますます普及しているが、その中のプライバシーの脅威は包括的に調査されていない。第三者サービスは、埋め込みを与えられた場合に、元のテキストを再現できるのだろうか。ニューラルネットワークは一般的に非自明であり、正確に反転することは不可能である。さらに、インターネット経由でニューラルネットワークをクエリする場合、モデルの重みや勾配にアクセスできない場合がある。それでも、ネットワークからの入出力ペアが与えられれば、ネットワークの逆関数を近似することはしばしば可能である。コンピュータービジョンにおける反転に関する研究では、最終層のロジットが与えられた場合に、入力画像を（多少の損失を伴って）復元できることが示されている。テキストに関するこの問題は予備的な研究で調査されているが、浅いネットワークからの埋め込みが与えられた場合に、単語の近似的なバッグを復元できるに過ぎない。本研究では、埋め込みからの入力テキストの完全な再構築を目標としている。テキストが復元可能な場合、プライバシーに対する脅威が存在する。悪意のあるユーザーがベクトルデータベースへのアクセス権を持ち、データを作成するために使用されたモデルからのテキストと埋め込みのペアを持っている場合、埋め込みからテキストを再現する関数を学習する可能性がある。テキスト埋め込みを復元するこの問題を、制御された生成問題として捉える。つまり、テキストが与えられた埋め込みに可能な限り近づくようにテキストを生成しようとする。私たちの方法であるVec2Textは、仮説埋め込みとグランドトゥルース埋め込みの差を使用して、テキスト仮説を離散的に更新する。最先端のブラックボックスエンコーダーを使用してWebドキュメントを埋め込む場合、私たちの方法は、ほぼ完璧なBLEUスコア97.3で32トークンの入力を復元でき、例の92％を正確に復元できる。次に、BEIRベンチマークからの一般的な検索コーパスから生成された埋め込みで評価する。これらのテキストはトレーニング中に見られなかったが、私たちの方法は、さまざまなドメインにわたる多数のデータポイントの入力を完全に復元できる。MIMICからの臨床ノートの埋め込みで評価し、埋め込まれたフルネームの89％を復元できる。これらの結果は、テキスト埋め込みが計算元のテキストと同じプライバシーに対する脅威を提示することを示唆しており、埋め込みは生データと同じ注意を払って扱う必要がある。

2 Overview: Embedding Inversion

テキスト埋め込みモデルは、テキストシーケンスを埋め込みベクトルにマッピングすることを学習する。埋め込みベクトルは、意味的な類似性をエンコードするため、類似した意味を持つ入力はベクトル空間で近い位置に配置される。埋め込みは、検索、クラスタリング、分類などの多くのタスクで一般的に使用される。

テキスト埋め込みの反転問題について考える。未知のエンコーダ $\phi$ が与えられたとき、その埋め込み $e = \phi(x)$ からテキスト $x$ を復元しようとする。テキスト埋め込みモデルは、通常、関連する入力間の類似性を促進するように学習される。したがって、この問題は、グラウンドトゥルースに最大限類似した埋め込みを持つテキストを復元する問題として記述できる。エンコーダ $\phi$ 下で埋め込み $e$ を持つテキスト $x$ を検索する問題を、次のように最適化として定式化できる。

$x = \arg \max_x \cos(\phi(x), e)$

3 Method: Vec2Text

この論文では、テキスト埋め込みからのテキスト再構成問題を、制御された生成問題として捉え、テキストを生成して、その埋め込みが与えられた埋め込みにできるだけ近づくように試みる手法 Vec2Text を提案する。この手法は、仮説埋め込みと真の埋め込みの差を利用して、テキスト仮説を離散的に更新する。

3.1 Base Model: Learning to Invert

テキスト埋め込みの逆関数を学習する基本的なモデルについて説明する。式(1)を計算することは計算量的に非現実的であるため、埋め込みが与えられたテキストの分布を学習することで、この計算上の制約を回避する。具体的には、テキストのデータセット $D = \{x_1, ...\}$ が与えられたとき、埋め込みが与えられたテキストの分布 $p(x | e; \theta)$ を学習し、$\theta$ を最大尤度法で学習する。

\theta = \arg \max_{\theta} \mathbb{E}_{x \sim D} [p(x | \phi(x); \theta)]

ここで、$\phi$ はテキストを埋め込みに変換するエンコーダである。実際には、このプロセスは、埋め込み $e = \phi(x)$ が与えられた未知のテキスト $x$ を再構成する条件付き言語モデルを学習することを含む。この学習問題は、組み合わせ最適化(式(1))をニューラルネットワークの重みに償却すると見なすことができる。この方法で満足のいくテキストを生成することを直接学習することは、文献でよく知られているように難しい問題である。

3.2 Controlling Generation for Inversion

このモデルを改善するために、図1に示す Vec2Text を提案する。このアプローチは、既知の条件を満たすテキストを生成するタスクである制御された生成の手法から着想を得ている。このタスクは、制御のレベルを決定する観測可能な関数 $\phi$ が存在するという点で、逆関数と似ている。ただし、制御された生成へのアプローチは、一般的に、中間表現のスコアを改善するために $\phi$ を通して微分することを必要とする点が異なる。テキストの反転は、$\phi$ にクエリを実行することしかできず、その勾配を計算できないという点で異なる。

モデルは、最初の仮説を推測し、埋め込みを計算し、その埋め込みを $e$ に近づけるように仮説を反復的に修正する。このモデルは、新しい埋め込み $\hat{e}^{(t)} = \phi(x^{(t)})$ を計算して、新しい修正 $x^{(t+1)}$ を生成する必要があることに注意する。モデルは、中間仮説を周辺化することで再帰的に定義される。

p(x^{(t+1)} | e) = \sum_{x^{(t)}} p(x^{(t)} | e) p(x^{(t+1)} | e, x^{(t)}, \hat{e}^{(t)})
\hat{e}^{(t)} = \phi(x^{(t)})

ここで、ベースケースは、単純な学習された反転である。

p(x^{(0)} | e) = p(x^{(0)} | e, \emptyset, \phi(\emptyset))

ここで、$x^{(0)}$ は最初の仮説生成、$x^{(1)}$ は $x^{(0)}$ の修正などである。このモデルは、最初に3.1節のモデルから仮説 $x^{(0)}$ を生成し、$\hat{e}^{(0)}$ を計算し、次にこの生成されたデータでモデルをトレーニングすることで学習する。

この手法は、反復編集によってテキストを生成する他の最近の研究に関連している。特に、フィードバックで言語モデルの生成を改善するためにテキストからテキストへの「自己修正」モジュールをトレーニングすることを提案する Welleck et al. (2022) が関連している。

モデルのバックボーンである $p(x^{(t+1)} | e, x^{(t)}, \hat{e}^{(t)})$ は、以前の出力に基づいて条件付けられた標準的なエンコーダデコーダトランスフォーマーとしてパラメータ化する。

課題の1つは、条件付け埋め込み $e$ と $\hat{e}^{(t)}$ をトランスフォーマーエンコーダに入力する必要があることである。これには、$\phi$ の埋め込みの次元 $d$ と必ずしも等しくない次元 $d_{enc}$ の埋め込みのシーケンスを入力として必要とする。Mokady et al. (2021) と同様に、小さな MLP を使用して、単一の埋め込みベクトルをより大きなサイズに投影し、エンコーダへの入力としてシーケンス長を与えるように整形する。埋め込み $e \in \mathbb{R}^d$ の場合：

\text{EmbToSeq}(e) = W_2 \sigma(W_1 e)

ここで、$W_1 \in \mathbb{R}^{d \times d}$、$W_2 \in \mathbb{R}^{(sd_{enc}) \times d}$ であり、非線形活性化関数 $\sigma$ と所定のエンコーダ「長さ」$s$ がある。3つのベクトル、真の埋め込み $e$、仮説埋め込み $\hat{e}^{(t)}$、およびこれらのベクトルの差 $e - \hat{e}^{(t)}$ を投影するために、別の MLP を使用する。仮説 $x^{(t)}$ の単語埋め込みが $\{W_1 ... W_n\}$ である場合、エンコーダへの入力 (長さ $3s + n$) は次のようになる。

\text{concat}(\text{EmbToSeq}(e), \text{EmbToSeq}(\hat{e}^{(t)}), \text{EmbToSeq}(e - \hat{e}^{(t)}), (W_1 ... W_n))

連結された入力をエンコーダに供給し、標準的な言語モデリング損失を使用して完全なエンコーダデコーダモデルをトレーニングする。

実際には、中間生成 $x^{(t)}$ をtractablyに合計することはできないため、ビームサーチによってこの合計を近似する。モデルからの推論はトークンレベルで貪欲に実行するが、シーケンスレベル $x^{(t)}$ でビームサーチを実装する。修正の各ステップで、次のステップとして可能な修正をいくつか検討する。可能な修正ごとに、上位 $b$ 個の可能な継続をデコードし、埋め込み空間での真の埋め込み $e$ への距離を測定することで、$b^b$ 個の潜在的な継続から上位 $b$ 個の一意の継続を取得する。

4 Experimental Setup

実験設定について説明する。

テキスト埋め込みを反転させるために、2つの最先端の埋め込みモデルでVec2Textをトレーニングした。1つは、テキスト検索用のT5ベースの事前トレーニングされたトランスフォーマーであるGTR-base（Ni et al., 2021）であり、もう1つはOpenAI APIを介して利用できるtext-embeddings-ada-002である。両方のモデルファミリーは、MTEBテキスト埋め込みベンチマークで最高性能の埋め込みモデルの1つである。

5 Results

5.1 再構成：ドメイン内

表1はドメイン内の結果を示している。我々の手法はすべての指標でベースラインを上回っている。より多くのラウンドは単調に役立つが、収穫逓減が見られる。我々はわずか5ラウンドの修正でBLEUスコアの77％を回復することができるが、50ラウンド実行すると、より高い再構成パフォーマンスを達成する。反復的な再構成に対するシーケンスレベルのビームサーチ（sbeam）は、特に再構成の正確な一致を見つけるのに役立ち、3つの設定すべてで正確な一致スコアを2〜6倍に増加させる。相対的に見ると、モデルは長いテキストを正確に回復するのに苦労しているが、それでも多くの単語を回復することができる。

5.2 再構成：ドメイン外

表2に、BEIRベンチマークからの15のデータセットでモデルを評価した結果を示す。BEIRで最も短いデータセットであるQuoraは再構成が最も簡単で、我々のモデルは例の66％を正確に回復できる。我々のモデルはさまざまな長さの入力によく適応し、一般的に平均長さ誤差が3トークン未満の再構成を生成する。一般的に、再構成の精度は例の長さと反比例する（セクション7でさらに議論する）。すべてのデータセットで、トークンF1が少なくとも41で、真の埋め込みに対するコサイン類似度が少なくとも0.95のシーケンスを回復できる。

5.3 ケーススタディ：MIMIC

特定の脅威ドメインとして、MIMIC-III臨床ノートを検討する（Johnson et al., 2016）。MIMICの元のリリースは完全に匿名化されているため、代わりにLehman et al.（2021）の「疑似再識別」バージョンを使用する。ここでは、偽の名前が非識別化されたものの代わりに挿入される。

各ノートは32トークンに切り捨てられ、各ノートに少なくとも1つの名前が含まれるようにフィルタリングする。我々は、我々の手法の典型的な統計量と、3つの新しい統計量、つまり、回復したファーストネーム、ラストネーム、および完全な名前の割合を測定する。結果を表3に示す。Vec2Textは、ファーストネームの94％、ラストネームの95％、フルネーム（ファースト、ラスト形式）の89％を回復し、ドキュメントの26％を正確に回復する。

セクション5.3から回復した臨床ノートについて、我々は各真のノートと回復したノートから臨床エンティティ抽出器（Raza et al., 2022）を使用してエンティティを抽出する。我々は、3（下）に回復率をプロットし、平均エンティティ回復を破線で示す。我々のモデルは、「到着」、「進行」、「転送」などの一般的な医学用語を含む「臨床イベント」タイプのエンティティを再構成するのに最も正確である。我々のモデルは、「後方」や「低酸素」などの特定の医学用語や、「侵襲的換気-午後4時停止」のような複数単語のイベントを含む「詳細な説明」カテゴリでは最も正確ではない。

32トークンのノートの26％を正確に回復できるが、正確に回復されなかったノートは意味的に元のノートに近いものである。我々のモデルは、いくつかのエンティティがわずかに歪んでいる場合でも、ノートの構文を一般的に一致させる。たとえば、医師のノートからの次の文「Rhona Arntson npn/- # resp: infant remains orally intubated on imv / r fi」が与えられた場合、我々のモデルは「Rhona Arpson nrft:# infant remains intubated orally on resp. imv. m/n fi」と予測する。

6 Defending against inversion attacks

テキスト埋め込みモデルのユーザーが、反転攻撃から埋め込みを保護するのは簡単であるか？基本的な防御シナリオを検討する。防御を実装するために、ユーザーは、近傍検索設定でのユーティリティを維持しながら、反転攻撃に対して効果的に防御することを目的として、各埋め込みにガウスノイズのレベルを直接追加する。ノイズのレベルが変化した場合の、検索パフォーマンスと再構成精度間のトレードオフを分析する。

形式的には、新しい埋め込みモデルを以下のように定義する。

$noisy(x) = \phi(x) + \lambda \cdot \epsilon, \epsilon \sim N(0,1)$

ここで、$\lambda$は注入されるノイズの量を制御するハイパーパラメータである。

$\phi$をGTR-baseとして、ノイズの多い埋め込みモデル$noisy$を考慮して、10ステップの自己修正モデルをシミュレートする。検索パフォーマンスを測定するために、BEIRベンチマークの15種類の検索タスクで、さまざまなレベルのノイズで評価された平均NDCG@10（検索パフォーマンスの指標、高いほど良い）を取得する。

図2に平均検索パフォーマンスをグラフで示す（結果の完全な表についてはA.2を参照）。$\lambda = 10^{-1}$のノイズレベルでは、検索パフォーマンスは維持される一方で、BLEUスコアは10％低下する。0.01のノイズレベルでは、検索パフォーマンスはほとんど低下しない（2％）が、再構成パフォーマンスは元のBLEUの13％にまで急落する。ノイズを追加すると、検索パフォーマンスと再構成精度の両方に大きな影響を与える。これらの結果は、少量のガウスノイズを追加することが、単純な反転攻撃に対する簡単な防御方法となる可能性があることを示唆している。ただし、ノイズでトレーニングすると、理論的には$noisy$からより正確にVec2Textを復元するのに役立つ可能性がある。再構成BLEUスコアが低いことは、臨床領域や治療レジメンなどのより粗い推論が埋め込みからできないことを必ずしも示しているわけではないことに注意する。

7 Analysis

フィードバックがモデルの性能にどう影響するか：

フィードバック（最近の仮説の埋め込み）ありで学習したモデルは、より正確な最初の修正を行い、より多くのラウンドでより良いBLEUスコアを得る。フィードバックなしで学習したモデルはテキストを編集できるが、埋め込み空間に関する情報を受け取らず、すぐに停滞する。正確な一致の数では、フィードバックありのモデルは50ラウンド後には52.0%の例を正しく一致させるが、フィードバックなしのモデルは4.2%しか一致させない。

モデルはトレーニング中に、単一の仮説を真のサンプルに修正することを学習する。テスト時には、テキストを複数回修正し、埋め込みの類似度を0.9から1.0に「プッシュ」することができる。モデルは広範囲の類似度で仮説を修正することを学習し、修正が真のサンプルに近づくにつれて「分布外」になることはない。

埋め込みがテキストの復元にどの程度役立つか：

BLEUスコアとコサイン類似度の間に強い相関関係がある。コサイン類似度は高いがBLEUスコアが低い生成されたサンプルがいくつかあり、埋め込みの幾何学的な構造に沿うことでシステムがさらに改善されることを示唆している。理論的には、いくつかの埋め込みは復元不可能かもしれない。過去の研究では、2つの異なるシーケンスが単語の重複なしに同様の埋め込みを持つ可能性があることが示されている。しかし、実験では衝突の証拠は見られず、モデルはトレーニング中にそれらを回避することを学習している。より長いテキストを復元できるシステムを改善する必要がある。

強力なベースモデルの有無は重要か：

初期化の影響を評価したところ、モデルはランダムなトークンのシーケンスであっても、役に立たない初期化から回復できることがわかった。これは、モデルが悪い仮説を無視し、真の埋め込みに集中できることを示唆している。

テキスト埋め込みの反転に関するタスクは、コンピュータビジョンにおける深い視覚表現の反転に関する研究と密接に関連している。画像分類器のlogitベクトルに視覚的な詳細が残っていることを示し、このベクトルから入力画像を再構築しようとしている。また、テキスト埋め込みの内容を逆工学的に解読する研究も行われており、埋め込みをモデルの語彙空間に投影して関連するトークンの分布を生成するなどの手法が用いられている。

テキスト埋め込みからのプライバシーリークに関する研究も進められており、視覚分野では、顔を埋め込みから再構築できることが示されている。同様の疑問がテキストデータについても提起されており、臨床ノートから得られた表現から名前などの機密情報を回復しようとする試みがあるが、正確なテキストの回復には至っていない。

勾配リークの研究も関連しており、ベクトルデータベースに埋め込みを保存することと、連合学習の慣行との間に類似性がある。勾配リークに関する研究では、入力データがモデルの勾配から逆工学的に解読できることが示されている。

全体として、テキスト埋め込みの反転に関する研究は、プライバシーやセキュリティの観点から重要な課題であり、様々な分野で研究が進められている。

9 Conclusion

Vec2Textという、潜在空間内の固定点に基づいてテキストを反復的に修正し、再埋め込みを行う多段階の手法を提案する。この手法により、テキスト埋め込みが元のテキストの多くを明らかにしていることを示し、32トークンのテキスト入力を92%正確に復元できる。また、臨床ノートから重要な臨床情報を抽出する能力も実証しており、医療などの機密性の高い分野におけるデータプライバシーへの影響を強調している。

この研究結果は、埋め込みと生データの間にある種の等価性を示唆しており、両方とも同様の量の機密情報を漏洩する可能性がある。この等価性は、高密度埋め込みの匿名化要件に大きな負担をかける。埋め込みは機密性の高い個人データとして扱われ、生テキストを保護するのと同じ方法で、技術的にも法的にも保護されるべきである。

10 Limitations

この論文で提案する手法には、いくつかの制限事項がある。

  • 適応的な攻撃と防御: 敵対者がノイズを加えて生成された埋め込みを攻撃する設定を考慮しているが、再構成モジュールはノイズのない埋め込みで訓練されている。将来の研究では、攻撃や防御の種類に適応した再構成攻撃や防御を検討する必要がある。

  • 検索の徹底性: 今回の実験では、50ラウンド以上の検索や、8以上のシーケンスビーム幅はテストしていない。しかし、Vec2Textは検索を繰り返すほど性能が向上する。今後の研究では、より多くのラウンドや高いビーム幅で検索したり、より洗練された検索アルゴリズムを実装することで、さらに正確な一致を見つけることができる可能性がある。

  • 長いテキストへのスケーラビリティ: 今回の手法は、32トークンまでのシーケンスを正確に復元できることを示しているが、128トークンまでの情報も復元できる。しかし、この長さの埋め込みを超えた反転の限界は調査していない。一般的な埋め込みモデルは、数千トークン程度のテキストコンテンツの埋め込みをサポートしており、長いテキストの埋め込みが一般的である。今後の研究では、より長いテキストの埋め込みの反転の可能性と困難さを探求する必要がある。

  • 埋め込みモデルへのアクセス: 今回の脅威モデルでは、攻撃者が侵害されたデータベース内の埋め込みを生成するために使用されたモデルにブラックボックスアクセスできることを前提としている。現実世界では、実務者が同じ少数の大規模モデルに依存していることが多いため、これは現実的である。しかし、Vec2Textは、各ステップの改良のためにブラックボックス埋め込みモデルへのクエリを必要とする。今後の研究では、推論時に実際のエンベッダーへのクエリを節約するために、模倣エンベッダーモデルをトレーニングすることを検討するかもしれない。

つまり、このセクションでは、適応型攻撃の限界、検索の徹底性、より長いテキストへの拡張性、埋め込みモデルへのアクセスの依存性を認める。今後の課題として、これらの限界に対処することを提案する。

References

以下は、論文の参考文献リストの日本語要約である。

プライバシーとセキュリティ

  • Abdalla et al. (2020): 単語埋め込みにおけるプライバシー保護特性を調査。
  • Dziedzic et al. (2023): 文エンコーダーが容易に盗用可能であることを指摘。
  • Geiping et al. (2020): 連合学習における勾配からのプライバシー侵害を調査。
  • Kim et al. (2022): テキスト埋め込みのためのプライバシー保護類似性メカニズムを提案。
  • Lehman et al. (2021): 臨床ノートから名前などの機密情報を復元する試み。
  • Melis et al. (2018): 連合学習における意図しない特徴漏洩を調査。
  • Song and Raghunathan (2020): 埋め込みモデルにおける情報漏洩を調査。
  • Song et al. (2020): 敵対的なセマンティック衝突を調査。
  • Zhao et al. (2020): 勾配からの深層リークを調査。
  • Zhu et al. (2019): マスクされた言語モデルのテキスト入力を勾配から復元。

テキスト埋め込みと生成

  • Adolphs et al. (2022): クエリ提案のためのニューラルリトリーバーの潜在空間をデコード。
  • Bowman et al. (2016): 連続空間からの文生成を研究。
  • Borgeaud et al. (2022): 大規模言語モデルの性能向上に検索を用いる。
  • Hu et al. (2018): テキストの制御生成に関する研究。
  • John et al. (2018): 非並列テキストスタイル転送のための分離表現学習。
  • Karpukhin et al. (2020): オープンドメイン質問応答のための密なパッセージ検索。
  • Kiros et al. (2015): スキップ思考ベクトルを提案。
  • Le and Mikolov (2014): 文とドキュメントの分散表現を研究。
  • Li et al. (2022): 拡散モデルを用いた制御可能なテキスト生成を研究。
  • Li et al. (2023): 文の埋め込みから文全体を復元する生成埋め込み反転攻撃を研究。
  • Mokady et al. (2021): 画像キャプションのためのCLIPプレフィックスを提案。
  • Muennighoff et al. (2023): 大規模テキスト埋め込みベンチマークを提案。
  • Ni et al. (2021): 一般化可能な検索のための大規模デュアルエンコーダーを提案。
  • Ram et al. (2023): 密な検索を語彙に対する分布として捉える。
  • Raffel et al. (2020): 統一されたテキスト間転送学習モデルを提案。
  • Shen et al. (2023): 大規模検索のための語彙ボトルネック事前学習を提案。
  • Xiao et al. (2022): マスクされた自己符号化器を介した検索指向言語モデルの事前学習を提案。
  • Yang and Klein (2021): 未来の識別器を用いた制御テキスト生成を提案。
  • Yao et al. (2023): 言語モデルにおける推論と行動のシナジーを研究。

その他

  • Aggarwal and Zhai (2012): テキストクラスタリングアルゴリズムの調査。
  • Bajaj et al. (2018): MS MARCO: 機械読解データセット。
  • Bordes et al. (2021): 自己教師あり表現から高忠実度の視覚化を研究。
  • Dathathri et al. (2020): プラグアンドプレイ言語モデルを提案。
  • Dosovitskiy and Brox (2016): 畳み込みネットワークによる視覚表現の反転を研究。
  • Duong et al. (2020): 顔認識モデルのブラックボックス特徴から顔を復元。
  • Ghazvininejad et al. (2019): マスク予測による並列デコードを提案。
  • Johnson et al. (2016): MIMIC-III: 自由にアクセスできるクリティカルケアデータベース。
  • Kwiatkowski et al. (2019): 自然質問：質問応答研究のベンチマーク。
  • Mahendran and Vedaldi (2014): 深層画像表現を反転させることによる理解。
  • Mikolov et al. (2013): 単語のベクトル空間における効率的な推定。
  • Morris (2020): 2次NLP敵対的例を研究。
  • Papineni et al. (2002): 機械翻訳の自動評価のためのBLEUを提案。
  • Pinecone (2023): Pineconeの紹介。
  • Qdrant (2023): Qdrant - ベクトルデータベース。
  • Raza et al. (2022): 大規模な名前付きエンティティ認識をバイオメディカルおよび疫学に適用。
  • Teterwak et al. (2021): 識別的に訓練された分類器の不変性を理解。
  • Thakur et al. (2021): BEIR: 情報検索モデルのゼロショット評価のための異種ベンチマーク。
  • Vaswani et al. (2017): 注意がすべてである。
  • Vdaas (2023): Vdaas/vald：高度にスケーラブルな分散型ベクトル検索エンジン。
  • Wang et al. (2023): 密なパッセージ検索のための表現ボトルネックを用いた事前学習。
  • Weaviate (2023): Weaviate - ベクトルデータベース。
  • Welleck et al. (2022): 自己修正を学習してシーケンスを生成。
  • Xiao et al. (2022): Retromae：マスクされた自己符号化器を介した検索指向言語モデルの事前学習。
  • Yang and Klein (2021): 未来の識別器を用いた制御テキスト生成を提案。
  • Yao et al. (2023): 言語モデルにおける推論と行動のシナジーを研究。
  • Zhao et al. (2020): idlg：勾配からの深層リークの改善。
  • Zhu et al. (2019): 勾配からの深層リークを研究。
  • Zhu et al. (2019): 勾配からの深層リークを研究。
  • LangChain (2023): LangChainの紹介。

このリストは、テキスト埋め込みの反転、プライバシー、および関連分野における重要な研究を網羅している。

A Appendix

A.1 追加分析

単語の頻度がモデルの正確性にどのように影響するか？

図 6 は、学習データにおける単語の頻度に基づいて、正解の予測（オレンジ色）と不正解の予測（青色）の数をプロットしている。モデルは一般的に学習データで頻繁に出現する単語の予測精度が高いが、学習中に見られなかった単語でも正しく予測できるものもある。104 から 105 の間のピークは、学習データで頻繁に出現する文字（, - など）に由来するが、これらの文字は再構成で誤って推測されることがよくある。

A.2 完全な防御結果

ガウスノイズのさまざまなレベルでの BEIR からの各データセットの結果を付録 A.2 に示す。モデルは GTR-base である。入力は 32 トークンに制限されており、一部のコーパスの平均長よりもはるかに短いため、ベースライン（λ = 0）の NDCG@10 の数値は通常報告されるよりも低くなっている。完全な結果（図 2 で可視化）を付録 A.2 に含めた。