AIテキストの見抜き方〈ChatGPTが作った文章の特徴を見る〉

byNatchan - 2023/02/01 2023/06/24

0

OpenAI開発のChatGPTが生成した文章を基にAIテキストを見抜く方法を考えたのでシェアします。今後、AIテキストは論文やエッセイだけでなく小説、キャッチフレーズ、歌詞にまで幅広い媒体で利用されていきます。

文字が溢れる世の中で「それは人間による言葉なのかそれとも単なるAIが作った文章なのか」を見極めたい場面が出てくると思ったので書きました。

{tocify} $title={Table of Contents}

AIテキストを見抜く5つの方法

早速、本題に入ります。ここで教えるのはAIテキストを"ある程度"見抜く方法です。完全な見抜き方ではないのであくまで参考程度にしてください。ChatGPTを使う中で気づいた特徴もふまえた内容にしています。

1．意見がない

ChatGPTを使い始めてすぐに気づいたのはAIは意見を持たないということです。以下はイーロン・マスクについてどう思うか聞いたときの答えです。

正直で好感持てるな..

「私は人工知能モデルであり、意見を持つことはできません」とはっきり答えてくれました。AIはデータを書き出すのは得意ですが、独自のアイディアやオリジナルコンテンツを書き出すことは苦手です。

なので、たくさんのデータを並べる割に意見がほとんどないような文章はAIテキストを使った文章の可能性が高いです。また、AI特有のドライな口調も気になりますね。論文ならいいんですけどブログの記事とかならすぐバレそう。

2．捏造癖がある

AIはネットから集めた知識と要求された質問の内容が一致しないときに答えを捏造するクセがあります。

それだけでなく、質問の解釈がズレたときに統計情報やリンクなどの情報を取り違えて回答することも起こります。こういった明らかなミスをする人はあんまりいないのでAIだからこそ起こるミスかな。

ChatGPTが凄まじい嘘歴史を生成してゐる pic.twitter.com/8rtUrHOdUC
— TJO (@TJO_datasci) December 15, 2022

うーん……ChatGPTくんは「うろ覚えで自信がない」みたいな状態がないらしく、明らかな捏造や嘘を自信たっぷりに答えてくるので情報源としては信用できないね……
目下ポエムを作るのが最も実用的な目的かもしれない pic.twitter.com/0xp1Tv1mH8
— Cubbit (@cubbit2) December 2, 2022

3．コードに謎の用語がある

ChatGPTが登場したときにコーディングが出来るということが話題になってプログラマーの仕事がなくなるとか騒がれてたんですけど、実際コーディングは上手くないようです。

2022年12月にプログラマー向けフォーラムとして有名なStack Overflowは「ChatGPTが生成する回答が不正確であるのに、投稿前に回答の正しさを確認せずに投稿する人が多数いることがユーザーにとって有害である」との理由でChatGPTを当面禁止にしました。

アメリカ版Gizmodoによると、コードに意味不明な謎の用語を含めてくるそうです。自信たっぷりに答えてくるので、一見もっともらしく見えてしまいますがQ&Aサイトに載せるのはダメです。

筆者もテンプレート編集時にStackOverflowに何度もお世話になっているのでBANされて安心しました。

話題のChatGPTにハマったcodingについて聞いてみたら、走らないcodeが帰っきたので、まあ結局自分でバグ取りしなあかんなと思いましたよ。
— zac (@2acky) January 31, 2023

4．内容が被りやすい

AIは所詮ネットにある膨大な情報をまとめて、それっぽく聞こえるよう綺麗な言葉に言い換えているだけなのでAIテキストの内容はとても被りやすいです。

例えば、以下のツイートを見てください。

Chatgpt　糞コンサルタントを廃業に追い込むレベルの良回答。 pic.twitter.com/xQiY9A7zAA
— kobefs@パソコンの人 (@kobefs) January 30, 2023

このツイートと全く同じ質問をしてみたところ、ほぼ同じ内容の答えが返ってきました。

薄っぺらいありふれた回答

ChatGPTと1対1でやり取りする分にはさほど気になりませんが、教育の現場などで大勢がChatGPTを使って課題や論文を提出したら、内容がどれも被っているのですぐにバレちゃいます。

文章自体は自然なんですけどね..。て言うかネットの情報をかき集めて生成した文章って誰の文章なんだろう。AIテキストを自分の作品として提出するのは著作権的に大丈夫じゃない気が。文章にもクレジット表記を付けるべきかもしれません。

ちなみにニューヨークの教育機関ではAIテキストの利用をすべての学校で禁止しています。そのうちオリジナルの文章が書けなくなっちゃうリスクがあるからですね。

5．より詳細な内容を書けない

これはかなりわかりやすい見抜き方です。AIは込み入った話ができないので、より詳細な内容を書けないことが最大の特徴です。

例えば、イトーヨーカドーがセブンイレブンに食われた理由について質問してみました。

ヨーカドーのことも話せよ

そうすると、目次に一文を付け加えただけのような簡易的な回答が来たので、より詳しく説明するよう求めました。

わからないって言えばいいのに

詳しく説明してと言ってるのに、最初の回答に少し単語を付け加えただけの内容です。これ何が起きてるかというと、やっぱりAIは自身が何を言っているのかを理解していないんですよね。

だから根拠を述べることやデータの肉付けみたいなことがまともに出来ないんです。なので、具体的な根拠なしで表面的な情報ばかりの文章はAIテキストである可能性が高いです。

参考リンク：

The Dangers of AI Writing and How to Spot AI-Generated Text

最後に｜AIの文章なんか読むかって話

私たち(左)とAI(右)

以上、ChatGPTが生成した文章を基にAIテキストを見抜く方法をシェアしました。

ChatGPTはちょっとした質問に対する短い回答が欲しいときには便利かもしれません。ただ、実務で使うために人に読ませるテキストを作るには現実味がないです。

というか、AIが作った文章なんて読みたいですかね？散々色んな質問してみましたが、私はAIテキストに何の魅力も感じていないです。

ツイッター見てると「ChatGPTを利用して記事を大量生成する方法」とか言って、AIに大量の記事を書かせてサイト運営でサクサク儲けようみたいな情報が出回っていますが、一旦立ち止まってほしいです。

AIはオリジナルコンテンツを書けないから、人間味がある言葉を生み出せません。つまり、文章に魅力がないんです。それに、Googleは実体験や独自の意見を好むのでAIテキストまみれのサイトは上位にあがれません。

それは企業でも同じです。AIが生成した文章を顧客が読みたいと本気で思っているのか、読まされる方の身になって考えてみてほしいです。