[Bug] Safety Filter False Positives Cause Unwanted Model Downgrade to Opus 4.8 with Silent Failures
Bug Description
安全装置の誤検知によるモデル強制切替について、続報です(前回 8/6 報告済み)。
この1週間で状況は改善しておらず、「気がついたらモデルが変わっている」ことが
常態化しています。切替先が旧世代の Opus 4.8 であるため、出力品質の低下という
実害が出ています。
【前提】
自社の業務管理システム(社内CRM)の開発です。自社GCPプロジェクト・自社ドメイン内で
完結しており、外部への攻撃性も第三者データの扱いもありません。
「Fable 5 が実装計画を立て、複数の Opus 5 エージェントに実装を指示し、
上がってきた実装を Fable 5 がレビューする」という役割分担で、毎日長時間の
セッションを運用しています。
【今回の状況】
安全装置の誤検知が作動すると、Fable 5 から自動的に Opus 4.8 へ切り落とされます。
通知に気づかないまま作業が進むことも多く、長時間セッションで /compact や
セッション継続を挟むうちにモデルが変わり、しばらく作業した後に /model を打って
初めて気づく——今日も /compact 直後に確認したら変わっており、手でデフォルトを
設定し直しました。
【困っている点】
- 切替先の Opus 4.8 は Fable 5 と比べて明確に精度が低く、実装計画・レビューの
品質が落ちます。オーケストレーター役の判断品質が下がるのは、単なる不便では
なく成果物の品質問題です。Fable 5 を使う契約をしているのに、誤検知のたびに
旧世代モデルの品質に落とされるのは対価に見合いません。
- 切替に気づけません。通知があっても流れやすく、通知なしのケースでは
/model を打つまで分かりません。
- 気づくまでの間の成果物が、どのモデルの判断で作られたのか事後に判別できず、
「品質の劣る判断が混ざったかもしれない」区間のレビューやデプロイ判断を
信頼できなくなります。
【要望】
- 誤検知で切り替わった場合、次のターンで自動的に元のモデル(Fable 5)へ
…
Note: Content was truncated.
This issue has 1 comment on GitHub. Read the full discussion on GitHub ↗