長コンテキスト

AI基盤モデル

長コンテキストの実際：注意機構のスケーリングと検索補助の境界

コンテキスト長の拡大は「より多く入力すれば精度が上がる」という単純な話ではない。注意の希薄化と計算コストの二乗的増加が、どの時点で検索補助（…