한 줄 결론
v2는 근거가 넓고 쉬운 브리프가 됐지만, 더 길어졌고 '맞히는 힘'은 그대로입니다. (월~금 5일, 같은 미국 세션의 실제 발송본과 비교)
✅ 좋아진 점
- 근거 매체가 하루 평균 3.0곳 → 12.8곳, 한 매체 쏠림 53% → 19%
- 통신사(Reuters·AP) 인용 0.0건 → 3.2건
- Claude 채점 4개 항목 모두 상승 — 가장 큰 차이는 출처 품질 (2.0 → 3.8)
- 전문용어 0개 — 사전 기반 자동 치환
➖ 그대로인 점
- 예상 적중률은 둘 다 60% — 아직 '맞히는 힘' 은 개선되지 않음
- 기간 밖(오래된) 기사 인용은 둘 다 0건
- 공식·주요 매체 비율은 53%로 같음 — 공식 출처(tier1)는 여전히 부족
⚠️ 고칠 점
- 분량이 약 2.0배 (2714자 → 5538자). 첫 화면 '핵심 3가지' 로 보완했지만 전체는 길다
- v2 시나리오 15개 중 9개가 '조건 불충족'으로 채점 불가 → 오르면/내리면 짝 시나리오 필요
- '뚜렷한 계기 확인 안 됨' 종목이 늘어 정보가 줄었다는 지적 (근거 규칙이 엄격해진 대가)
품질 점수
Claude가 두 브리프와 실제 결과를 함께 보고 매긴 점수입니다(5일 평균). v2를 만든 모델과 같아 후할 수 있으니 아래 Python 지표와 함께 보세요.
기존 발송본v2 (jungbok)5점 만점 · Claude 채점
출처 다양성
브리프가 근거로 인용한 기사 기준 · 하루 평균 · Python 계산
서로 다른 매체 수
12.8곳기존 3.0곳
좋아짐 (4.3배)
한 매체 최대 비중
19%기존 53%
좋아짐
통신사(Reuters·AP) 인용
3.2건기존 0.0건
좋아짐
기간 밖(오래된) 기사
0.0건기존 0.0건
변화 없음
읽기 쉬움
Telegram으로 나간 전체 텍스트 기준
전문용어 수
0.0개기존 0.6개
좋아짐
평균 문장 길이
26.5자기존 22.7자
나빠짐
전체 분량
5538자기존 2714자
나빠짐 (2.0배)
예상은 맞았나
v2 시나리오는 Python이 실제 값으로 자동 채점, 기존 '오늘 볼 것'은 Claude 판정
v2 시나리오 (Python 자동 채점)
329
적중 3 · 빗나감 2 · 조건 불충족 9 · 대기 1
판정 가능한 5개 중 적중률 60%. '조건 불충족'은 "오늘 밤 반도체가 밀리면" 같은 조건이 실제로 일어나지 않아 채점할 수 없었다는 뜻입니다.
시장 온도 vs 그날 코스피 방향
32
적중 3 · 빗나감 2
온도 50 초과(위험 선호)면 코스피 상승, 미만이면 하락과 맞는지 봅니다. 기존·v2 공통(같은 Python 계산).
Claude 판정 적중률
기존 60% · v2 60%
날짜별
카드를 누르면 그날의 상세 평가와 두 브리프 원문이 나옵니다. 점수는 기존→v2
11/2 (월)코스피 ▲ 2.24%
정확성3→4
이해도3→4
유용성2→3
출처2→3
v2는 38개 출처, 16개 매체, 통신사 인용으로 근거가 훨씬 넓고, 쉬운 비유와 용어 설명으로 읽기 쉽다
조건 불충족 조건 불충족 조건 불충족
자세히 보기 →11/3 (화)코스피 ▼ 3.59%
정확성2→3
이해도3→4
유용성2→4
출처2→4
v2는 '핵심 3가지 쉽게 풀어보기', 비유, 용어 설명, 조건부 체크리스트(만약 이렇다면, 살펴볼 곳)를 넣어 쉬운 말과 실행성이 좋아졌고, 출처가…
적중 조건 불충족 조건 불충족
자세히 보기 →11/4 (수)코스피 ▲ 0.62%
정확성3→3
이해도3→4
유용성3→4
출처2→4
v2는 '핵심 3가지'와 비유, 용어 풀이, 관심 종목 심층, 만약 이렇다면 시나리오로 쉽게 읽히고 확인할 점이 구체적입니다
적중 조건 불충족 조건 불충족
자세히 보기 →언제 수집·생성했나
| 발행일 | 미국 세션 | 기존 발송 시각 | v2 기준 시각 | v2 생성(실행) 시각 | v2 뉴스 후보 |
|---|---|---|---|---|---|
| 11/02 (월) | 10/30 | 10/31 10:39 | 11/02 07:20 | 11/06 17:58 | 261건 · 78곳 |
| 11/03 (화) | 11/02 | 11/03 14:34 | 11/03 07:20 | 11/08 19:32 | 304건 · 81곳 |
| 11/04 (수) | 11/03 | 11/04 11:26 | 11/04 07:20 | 11/08 19:37 | 286건 · 74곳 |
| 11/05 (목) | 11/04 | 11/05 11:32 | 11/05 07:20 | 11/08 19:52 | 271건 · 76곳 |
| 11/06 (금) | 11/05 | 11/06 11:32 | 11/06 07:20 | 11/08 18:37 | 169건 · 45곳 |
시각은 모두 한국시간. v2는 '기준 시각' 이전에 나온 기사·봉만 사용하도록 재생성(replay)했습니다. 주간 평가는 11/08 19:55에 실행했습니다.
평가 방법과 한계
- 기존 발송본: 같은 미국 세션을 다룬 실제 발송본. 월요일(11/2)은 원래 주간 프리뷰가 나간 날이라 같은 세션(10/30)을 다룬 토요일(10/31) 데일리와 비교했습니다. 11/3·11/5·11/6 기존본은 GitHub Actions 시험 운행본이라 발행 시각이 늦습니다.
- v2:
python main.py --replay 날짜. 기준 시각 07:20 KST 이후 기사·봉 제외, WebSearch 차단. 다만 WebFetch로 연 공식 일정 페이지와 실적표는 '지금' 내용이라 미래 정보가 일부 섞일 수 있습니다. - 24시간 자산(환율·유가): replay는 발송 시각 값이 아니라 확정 일봉을 씁니다. 11/4 환율을 두고 Claude 평가자가 다른 날 값과 비교해 '틀림'으로 본 사례가 있습니다(v2 값은 해당일 일봉과 일치).
- 표본: 5일. 적중률은 방향을 보는 참고치이고 통계적 결론이 아닙니다. 11/6 발행분의 '오늘 밤 미국장·다음 한국장(11/9)' 결과는 평가 시점에 없었습니다.
- Telegram 테스트 발송은 하지 않았습니다(.env 테스트 봇 미설정).