人工知能の魅力的で急速に発展する領域の中で、最も興味深い進歩の一つは、AIテキスト生成の開発です。 AIモデル、例えば GPT-3I cannot provide a translation as there is no text provided for me to translate. Please provide the text to be translated. ブルームI cannot provide a translation as there is no text provided for me to translate. Please provide the text to be translated. BERTI cannot provide a translation as there is no text provided for me to translate. Please provide the text to be translated. アレクサTM大型言語モデルなどは、驚くほど人間らしいテキストを生成することができます。これは、興奮と同時に懸念を引き起こします。このような技術革新により、これまでにない創造性を発揮できるようになりますが、同時に、欺瞞の道を開くことにもなります。そして、これらのモデルがより優れていくにつれて、人間が書いたテキストとAIが生成したテキストを区別することがますます困難になるでしょう。
リリースされて以来 チャットGPT世界中の人々がこのようなAIモデルの限界をテストし、それらを使用して知識を獲得しています。しかし、一部の学生は宿題や試験の解決に使用しており、そのような技術の倫理的な意味についての課題となっています。特に、これらのモデルは、人間の文章スタイルを模倣し、複数のパッセージにわたって文脈を維持することができるほど、洗練されたものになっています。そのため、彼らのエラーがわずかであっても修正する必要があります。
それは重要な質問を提起します。私がよく尋ねられる質問です。
テキストが人間によって書かれたのか、AI によって生成されたのかをどのように知ることができますか？
この質問は、研究の世界では新しいものではありません。AIによって生成されたテキストを検出することは「ディープフェイクテキスト検出」と呼ばれています。今日では、OpenAIのGPT-2など、テキストが人間によって書かれたものかAIによって生成されたものかを検出するために使用できるさまざまなツールがあります。しかし、これらのツールはどのように機能するのでしょうか？
現在、AIによって生成されたテキストを検出するために異なるアプローチが使用されています。これらのテキストを生成するために使用されるモデルがより高度になるにつれて、新しい技術が研究され、実装されています。
この記事では、AIが生成したテキストを検出するために使用できる4つの異なる統計的手法について探求します。
さあ、始めましょう。
Nグラム分析
Nグラム分析。
Nグラムは、与えられたテキストサンプルからのN語またはトークンのシーケンスです。Nグラムの「N」は、Nグラムに何語が含まれるかを示します。例：
- ニューヨーク (2グラム)。
- 三銃士（3グラム）。
- グループは定期的に会合を持っていました（4グラム）。
テキスト内の異なるNグラムの出現頻度を分析することで、パターンを特定することができます。たとえば、私たちが繰り返し確認した3つのNグラムの例の中で、最初のものが最も一般的であり、3番目のものが最も一般的でないことがわかります。異なるNグラムを追跡することにより、AIによるテキストと人間によるテキストのどちらがより一般的であるかを決定することができます。たとえば、AIは人間の作家よりも特定のフレーズや単語の組み合わせをより頻繁に使用する可能性があります。私たちは、モデルを人間とAIが生成したデータでトレーニングすることで、AIと人間が使用するNグラムの頻度の関係を見つけることができます。
困惑
混乱感
英語の辞書で「perplexed（当惑した）」という単語を引くと、「驚いたまたはショックを受けた」と定義されているが、特にAIやNLPの文脈においては、perplexity（当惑）は言語モデルがテキストを予測する際にどの程度自信があるかを測定する指標である。モデルのperplexityを推定するには、モデルが新しいテキストに回答するまでの時間を定量化することが行われる。つまり、モデルが新しいテキストに対してどの程度「当惑」しているかについてである。例えば、AIによって生成されたテキストはモデルのperplexityを下げることがあり、モデルがテキストをより適切に予測することができる。perplexityは計算が速いため他の手法に比べて優位性を持つ。
爆発的な出現
バースト性
NLPにおいて、スラバ・カッツは特定の単語が文書または文書群内で「バースト」して表示される現象をバースチネスと定義しています。アイデアは、文書内で単語を一度使用すると、同じ文書で再び使用される可能性が高いことです。 AIが生成したテキストは、人間が書いたものとは異なるバースチネスのパターンを示します。彼らは他の同義語を選択するための必要な認知プロセスを持っていないため、同じ単語を何度も繰り返す傾向があります。
スタイロメトリー
スタイロメトリー
スタイロメトリーとは、言語のスタイルの研究であり、この場合、テキストのソース（人間 vs. AI）を特定するために使用することができます。誰もが言語を異なる方法で使用します。短い文を好む人もいますし、つながった長い文を好む人もいます。人々はセミコロンやエムダッシュ（その他のユニークな句読点）を、1人の人から別の人まで異なる方法で使用します。また、一部の人々は能動態よりも受動態を多用したり、より複雑な語彙を使う傾向があります。AIが生成したテキストは、同じトピックについて何度も書いても異なる文体的特徴を示す場合があります。AIにはスタイルがないため、これらの異なるスタイルを使用して、AIがテキストを書いたかどうかを検出することができます。
最終的な思い
AIテキスト検出のための進化した高度および複雑なツールが必要になるにつれて、偽情報や欺瞞を避けるためにAI生成のテキストを検出するための研究が今日非常に活発な分野となっています。それは非常に活発な研究の一つであり、プリンストン大学のEdward Tian氏によって行われているAIによって書かれたテキストを検出するためのツールの開発がされています。Tian氏は、実験的なツールを開発し、それは次のように呼ばれています。 GPTZeroの日本語への翻訳は「GPTゼロ」となります。 「Perplexity（混乱度）」と「burstiness（爆発性）」を使用して、AIによるコンテンツ生成の可能性を評価するために使用されています。別の例は、ノア・スミス氏、ワシントン大学の教授でNLP研究者であり、独自の特徴を持つ人間が書いたテキスト「意図性」に重点を置く研究に従事しています。AIはしばしば、より意図的かつ一貫性のある文章を生成する必要がありますが、これらの言語モデルが改善されるにつれて変化する場合があります。本記事で探究されたアプローチのいずれも完全ではありません。異なるテクニックの組み合わせと広範なトレーニングセットが、実際のAI生成テキスト分類器の構築によく使用されています。
