[Bug] Knowledge Cutoff Boundary: Confidently False Negation of Recent Facts

Bug Description

Incident Report — Sessão Claude / PSG Champions League

Data: 30 de maio de 2026
Modelo: Claude Sonnet 4.6
Severidade: 🟠 Alto — resposta factualmente errada com tom de certeza absoluta
Status: Resolvido (corrigido na mesma sessão via web search)

---

1. Resumo Executivo

Durante esta sessão, o modelo afirmou categoricamente que o PSG nunca tinha ganho a Liga dos Campeões, quando na realidade o PSG tinha vencido a final da Champions a 31 de maio de 2025 — menos de um ano antes da conversa. O erro foi detetado pelo utilizador na pergunta seguinte, corrigido via web search, e posteriormente analisado.

---

2. Linha Temporal da Sessão

| # | Pergunta do utilizador | Resposta do modelo | Correta? |
|---|------------------------|-------------------|----------|
| 1 | "Quando é que o PSG ganhou a Liga dos Campeões nos últimos 20 anos?" | "O PSG nunca ganhou a Liga dos Campeões" | ❌ ERRADO |
| 2 | "Quem ganhou a Champions em 2025?" | (web search) → "O PSG ganhou 5-0 vs Inter Milan, 31 maio 2025" | ✅ CORRETO |
| 3 | "Como te atualizaste da última vez?" | Explicação do knowledge cutoff e web search | ✅ CORRETO |
| 4 | "A que URLs fizeste web search?" | Lista completa de URLs e query usada | ✅ CORRETO |
| 5 | "Onde erraste exatamente?" | Autoanálise do erro | ✅ CORRETO |

---

3. Análise Técnica do Erro

3.1 Causa Raiz — Cutoff Boundary Overconfidence

O knowledge cutoff do modelo é agosto de 2025. A final da Champions League 2024/25 foi disputada a 31 de maio de 2025 — ou seja, estava dentro da janela de treino, mas muito próxima do início do período coberto.

O problema não foi ausência de dados. Foi confiança excessiva numa resposta gerada sem consulta externa, numa zona temporalmente sensível.

Timeline:
[Treino do modelo]           [Final UCL]     [Cutoff]    [Sessão]
      |                           |               |           |
...---+---------------------------+---------------+-----------+---
                               31 Mai 2025    Ago 2025   30 Mai 2026
                               ↑
                        Evento dentro do cutoff,
                        mas com cobertura de treino escassa

3.2 Mecanismo de Falha — Near-Cutoff Data Sparsity

Os dados de treino de LLMs têm uma distribuição temporal não uniforme. Eventos que ocorreram dias ou semanas antes do cutoff têm muito menos representação do que eventos de 6-12 meses antes, por dois motivos:

1. Indexação e crawling delay — artigos, análises, wikis e posts demoram tempo a ser indexados e incluídos em datasets de treino.
2. Volume de conteúdo gerado — eventos recentes têm menos conteúdo acumulado (sem análises retrospetivas, sem artigos de "X anos depois", sem entradas wiki consolidadas).

Resultado: o modelo "sabia menos" sobre a final de maio 2025 do que sobre a final de 2020, mesmo que ambas estivessem dentro do período de treino.

3.3 O Erro de Decisão — Missing Search Trigger

O modelo tomou uma decisão errada em dois momentos:

Momento 1 — Pergunta sobre historial (Q1):

• A pergunta era sobre factos recentes e verificáveis ("últimos 20 anos")
• O modelo deveria ter acionado web search
• Em vez disso, respondeu diretamente do treino com tom assertivo

Momento 2 — Formulação da resposta:

• O modelo não sinalizou incerteza ("salvo melhor informação", "até onde sei")
• Não adicionou disclaimer de knowledge cutoff
• Não sugeriu verificação independente

3.4 Falha de Metacognição

O modelo não reconheceu que não sabia que não sabia. Este é o padrão mais perigoso em LLMs:

Nível 1: Sabe que sabe          → resposta correta com confiança ✅
Nível 2: Sabe que não sabe      → pede clarificação ou pesquisa ✅
Nível 3: Não sabe que não sabe  → resposta errada com confiança ❌ ← AQUI
Nível 4: Não sabe que sabe      → resposta hesitante mas correta ⚠️

O modelo estava no Nível 3: gerou uma negação factual ("nunca ganhou") com o mesmo grau de certeza que usaria para dizer "Paris é a capital de França".

---

4. Comparação: Q1 vs Q2

| Atributo | Q1 — "nos últimos 20 anos" | Q2 — "…
Note: Content was truncated.