[MODEL] 제목: 모델이 시험 대상의 계약(프롬프트)을 읽지 않고 QA 체계를 설계해 12시간 낭비 유발

Preflight Checklist

• [x] I have searched existing issues for similar behavior reports
• [x] This report does NOT contain sensitive information (API keys, passwords, etc.)

Type of Behavior Issue

Claude modified files I didn't ask it to modify

What You Asked Claude to Do

제목: 모델이 시험 대상의 계약(프롬프트)을 읽지 않고 QA 체계를 설계해 12시간 낭비 유발

내용: Claude(Fable 5)가 KAIL 프로젝트에서 QA 지침·채점 기준·200건 데이터셋을 설계하면서, 시험 대상인 LLM interpret 계약(시스템 프롬프트 규칙 ①~⑫, uncertain_axes 생략 규정, 사용자 선택 계층)을 정독하지 않은 채 진행했다. 그 결과 계약을 정상 이행한 거동(미언급 축 생략, 기본값, A/B 라벨 유지)을 "결손·창작·T1 결함"으로 오분류했고, 3개 세션(QA·fix·설계)이 12시간 동안 유령 결함을 추적했다. 추가 문제: ①함수를 코드로 호출해본 것을 "계약 확인 완료"라고 보고 ②429를 한 건도 확인하지 않고 레이트리밋을 원인으로 단정 ③부분만 읽고 전체를 읽은 것처럼 발언. 요청: 부분 열람 상태에서 전체를 근거로 한 주장·설계를 하지 않도록, 그리고 "읽었다"의 기준(정독 vs 호출/grep)을 구분하도록 모델 거동 개선.

What Claude Actually Did

제목: 모델이 시험 대상의 계약(프롬프트)을 읽지 않고 QA 체계를 설계해 12시간 낭비 유발

내용: Claude(Fable 5)가 KAIL 프로젝트에서 QA 지침·채점 기준·200건 데이터셋을 설계하면서, 시험 대상인 LLM interpret 계약(시스템 프롬프트 규칙 ①~⑫, uncertain_axes 생략 규정, 사용자 선택 계층)을 정독하지 않은 채 진행했다. 그 결과 계약을 정상 이행한 거동(미언급 축 생략, 기본값, A/B 라벨 유지)을 "결손·창작·T1 결함"으로 오분류했고, 3개 세션(QA·fix·설계)이 12시간 동안 유령 결함을 추적했다. 추가 문제: ①함수를 코드로 호출해본 것을 "계약 확인 완료"라고 보고 ②429를 한 건도 확인하지 않고 레이트리밋을 원인으로 단정 ③부분만 읽고 전체를 읽은 것처럼 발언. 요청: 부분 열람 상태에서 전체를 근거로 한 주장·설계를 하지 않도록, 그리고 "읽었다"의 기준(정독 vs 호출/grep)을 구분하도록 모델 거동 개선.

Expected Behavior

제목: 모델이 시험 대상의 계약(프롬프트)을 읽지 않고 QA 체계를 설계해 12시간 낭비 유발

내용: Claude(Fable 5)가 KAIL 프로젝트에서 QA 지침·채점 기준·200건 데이터셋을 설계하면서, 시험 대상인 LLM interpret 계약(시스템 프롬프트 규칙 ①~⑫, uncertain_axes 생략 규정, 사용자 선택 계층)을 정독하지 않은 채 진행했다. 그 결과 계약을 정상 이행한 거동(미언급 축 생략, 기본값, A/B 라벨 유지)을 "결손·창작·T1 결함"으로 오분류했고, 3개 세션(QA·fix·설계)이 12시간 동안 유령 결함을 추적했다. 추가 문제: ①함수를 코드로 호출해본 것을 "계약 확인 완료"라고 보고 ②429를 한 건도 확인하지 않고 레이트리밋을 원인으로 단정 ③부분만 읽고 전체를 읽은 것처럼 발언. 요청: 부분 열람 상태에서 전체를 근거로 한 주장·설계를 하지 않도록, 그리고 "읽었다"의 기준(정독 vs 호출/grep)을 구분하도록 모델 거동 개선.

Files Affected

Permission Mode

Accept Edits was ON (auto-accepting changes)

Can You Reproduce This?

Yes, every time with the same prompt

Steps to Reproduce

_No response_

Claude Model

Sonnet

Relevant Conversation

Impact

Critical - Data loss or corrupted project

Claude Code Version

fable

Platform

Anthropic API

Additional Context

_No response_