**ジェミニ1.5の100万トークンコンテキストがゲームチェンジャーとなる理由

概要

• Googleジェミニ1.5は、クロードやChatGPTなどの競合他社を上回る100万トークンのコンテキストウィンドウを導入しました。
• より大きなコンテキストウィンドウは AI モデルのパフォーマンスを向上させ、エラーを削減しますが、全体的な成功を保証するものではありません。
• ジェミニ1.5のより大きなコンテキストウィンドウは、精度を大幅に向上させ、エラーを削減し、理解を向上させる可能性があります。

Googleジェミニ1.5は現在、ChatGPT、クロード、その他の AI チャットボットの直接的な競合相手を圧倒する、100万トークンという巨大なコンテキストウィンドウを備えています。

大規模なアップグレードのように聞こえ、ジェミニを際立たせる可能性があります。その全容を把握するのは少し難しいですが、ジェミニの巨大なコンテキストウィンドウはゲームチェンジャーになる可能性があります。

コンテキストウィンドウとは

概念の説明やテキストの要約など、あなたの質問に答える際、 AI モデルは応答を生成するために考慮できるデータ量に制限があります。考慮できるテキストサイズの制限はコンテキストウィンドウと呼ばれます。

別の見方をしてみましょう。食料品リストなしで食料品を買いに行くために食料品店に行くとします。買い物中にあなたが覚えている食料品の数は、あなたのコンテキストウィンドウです。覚えておける食料品が多いほど、買い物計画を台無しにする可能性は低くなります。同様に、 AI モデルのコンテキストウィンドウが大きいほど、モデルがあなたに最良の結果を提供するために必要なすべてのことを記憶する可能性が高くなります。

執筆時点では、AnthropicのClaude 2.1の20万コンテキストウィンドウは、一般に利用可能な AI モデルの中で最大のコンテキストウィンドウです。これに続くのは、128kコンテキストウィンドウを備えたGPT-4 Turboです。Googleジェミニ1.5は100万のコンテキストウィンドウをもたらし、市場の他のどの製品よりも4倍も大きくなっています。これにより、100万トークンのコンテキストウィンドウの何がそんなにすごいのかという大きな疑問が生じます。

ジェミニ1.5のコンテキストウィンドウが大きな意味を持つ理由

より明確にするために言うと、Claude AIの20万コンテキストウィンドウは、約15万語の本を消化してそれに答えることができることを意味します。それは巨大です。しかし、Googleのジェミニ1.5は一度に70万語を消化することができます。

大量のテキストブロックをChatGPTやジェミニなどの AI チャットボットに投入すると、可能な限り多くのテキストを消化しようとしますが、消化できる量はコンテキストウィンドウによって決まります。したがって、28kしか処理できないモデルで10万語に及ぶ会話をして、その後、会話全体の10万語の完全な知識を必要とする質問をし始めると、失敗に陥ります。

1時間の映画をわずか20分間しか見なかったのに、映画全体の説明を求められたことを想像してみてください。あなたの結果はどれほど良いでしょうか？あなたは答えることを拒否するか、単に作り話をします。それはまさに AI チャットボットが行うことであり、 AI 幻覚につながります。

今、あなたはチャットボットに10万語を入力する必要はないと思っているかもしれませんが、それは考慮すべきことではありません。コンテキストウィンドウは、 AI モデルに単一のプロンプトで入力するテキストだけを超越します。 AI モデルは、チャットセッション中に交わした会話をすべて考慮して、応答が可能な限り関連性があることを確認します。

したがって、10万語の本をフィードしていないとしても、やり取りする会話や提供される返信はすべてコンテキストウィンドウの計算に追加されます。ChatGPTやGoogleのジェミニが会話の早い段階であなたに言ったことを忘れているのはなぜでしょうか？おそらくコンテキストウィンドウのスペースが不足して、物事を忘れ始めたのでしょう。

より大きなコンテキストウィンドウは、長い記事の要約、複雑な質問への回答、生成されたテキストの一貫したナラティブの維持など、コンテキストの深い理解を必要とするタスクに特に重要です。一貫したナラティブを持つ5万語の小説を書きたいですか？1時間のビデオファイルを見て質問に答えることができるモデルが欲しいですか？より大きなコンテキストウィンドウが必要です！

要約すると、ジェミニ1.5のより大きなコンテキストウィンドウは、 AI モデルのパフォーマンスを大幅に向上させ、幻覚を減らし、精度と指示に従う能力を大幅に向上させる可能性があります。

ジェミニ1.5は期待に応えるか

すべてが計画通りに進めば、ジェミニ1.5は市場で最高の AI モデルを上回る可能性があります。ただし、Googleが安定した AI モデルの構築に何度も失敗していることを考えると、慎重に考えることが重要です。モデルのコンテキストウィンドウを単に拡張するだけでは、自動的にモデルが向上するわけではありません。

私はクロード2.1の20万コンテキストウィンドウをリリース以来数か月間使用してきましたが、私には1つのことが明らかです。より大きなコンテキストウィンドウは確かにコンテキストの敏感性を向上させることができますが、コアモデルのパフォーマンスの問題はそれ自体が大きなコンテキストの問題を引き起こす可能性があります。

Googleジェミニ1.5はゲームチェンジャーになるでしょうか？ソーシャルメディアは現在、先行アクセスユーザーによるジェミニ1.5の好意的なレビューで溢れています。ただし、ほとんどの5つ星のレビューは、急いだり単純化されたユースケースから生まれています。ジェミニ1.5が実際の環境でどのように機能するかを確認するのに適した場所は、Googleのジェミニ1.5技術レポート[PDF]です。このレポートは、「制御されたテスト」中であっても、モデルがコンテキストウィンドウのサイズ内にあっても、ドキュメントのすべての小さな詳細を取得できなかったことを示しています。

100万トークンのコンテキストウィンドウは確かに印象的な技術的偉業ですが、ドキュメントの詳細を確実に取得できない場合、より大きなコンテキストウィンドウは実用的な価値がほとんどなく、精度と幻覚の低下を引き起こす原因にもなりかねません。