4つの異なる画像検出器をテスト: その精度は?

要約

Illuminarty、or Not、Hive Moderation、SDXL Detectorの4つの画像検出器の機能を、DALL-Eで生成された2つの画像と人間が撮影した1枚の写真を使用してテストしました。
検出器によって結果は異なり、AI生成画像と実際の写真を正確に区別するものもあれば、間違いを犯すものもありました。
最も正確な検出器でさえ完璧ではなく、偽物を発見するには複数のツールが必要であることを強調しています。

偽造の芸術や写真を特定することが重要であれば、画像検出器は非常に貴重ですが、信頼性は異なります。現在入手可能な最高のアプリをテストした結果、それぞれがAI生成画像と人間の画像でどのように機能したかを以下に示します。

画像検出器のテスト方法

最高の画像検出ツール4つを選択した後、DALL-E 2で2つの画像を作成しました。1つは蝶を見ている猫の画像です。もう1つは、鳥に囲まれたヨットの絵画を模倣しています。

Illuminarty、or Not、Hive Moderation、SDXL Detectorは、これらの両方の画像を、確実に人間が撮影した象の置物の写真と一緒に処理しました。

以下のスクリーンショットは、最初の結果を表示しています。このプロセスを繰り返しても結果は変わりませんでした。つまり、アプリは使用時に学習するものではないということです。分析と確率スコアは、そのアルゴリズムのみに基づいています。画像検出の精度が高いものから低いものの順に記載されています。

Hive Moderationの精度は?

Hive Moderationは、最も効果的な画像検出器でした。猫と蝶の画像は99.9パーセントのスコアでした。ヨットも98.3パーセントの確率でAI生成とマークされました。

人間が作成した画像が与えられた場合、Hive Moderationは誤検出を一度も発生させませんでした。それはリアルと人工の創造物の違いを明確に区別できます。

つまり、Hive Moderationは正確であるだけでなく、その分析能力にも非常に自信を持っています。手の描写に苦労している画像ジェネレーターはこの検出器を欺くことはほとんどできません。

Hugging FaceのSDXL Detectorの精度は?

最も魅力的なアプリではありませんが、Hugging FaceのSDXL DetectorはHive Moderationに次ぐ性能を発揮し、このリストで2番目に正確な画像検出器となっています。

アップロードされたファイルは、AIと人間のどちらによって生成された可能性が高いかに基づいてスコア付けされます。猫と蝶の画像は、AIについて0.844、人間について0.156というスコアを獲得しました。検出器はそれをAI生成と正確に識別しましたが、多少の不確実性がありました。

ヨットの偽の絵画は、Hugging Faceのアルゴリズムによって正しく検出されました。AIのスコアは0.981、人間のスコアは0.019でした。検出器は、Hive Moderationの確率計算と一致しました。

象の置物の写真についても正しく判定されました。SDXL Detectorはそれを1というスコアで人間とマークし、それが人工である可能性はなくなりました。

Illuminartyの精度は?

Illuminartyは画像を正しく検出しましたが、実際の写真も人工であると考えました。結果を詳しく見てみましょう。

猫と蝶は最も高い確率スコアである89.3パーセントを獲得しました。検出器は、欠陥によってAI生成画像を識別するようにプログラムされており、この画像ではかなりうまく機能しました。

しかし、ヨットのアートワークに関しては、自信がありませんでした。ストロークとテクスチャは検出器を一時停止させるのに十分な説得力がありますが、完全にだますことはできません。確率スコアは78.5パーセントでした。

しかし、Illuminartyは象の写真が77.7パーセントの確率でAI生成されたと確信していました。

これは、最高の画像検出器でさえ完璧ではないことを示しています。画像の主題や特性によっては、間違いを犯す可能性があります。

or Notの精度は?

or Notは、はるかにシンプルな結果を提供します。確率のパーセンテージはなく、画像がAIであるか人間の可能性だけです。

画像でテストしたところ、猫と蝶を正しく人工物として分類しました。しかし、ヨットは検出器を騙し、人間が生成したものとして通過しました。

残念ながら、or Notは実際の写真やアートワークを処理するのに苦労していますが、処理すると、それらを人間が作ったものとして正確に識別します。

この実験が示しているのは、一部の画像検出器はまだ開発途上であるのに対し、他の検出器はすでに偽物の写真を発見するのに非常に信頼できるということです。Hive ModerationとHugging FaceのSDXL Detectorが最も正確ですが、or Notのソフトウェアが開発されるにつれて、その便利さを軽視しないでください。

AI生成画像、特にますますリアルになるにつれて、それらを発見して回避する最善の方法は、複数の検出器で分析することです。信頼できるものを少なくとも2つ選択し、二度と偽の写真にだまされないようにしてください。

パソコンの友達