visual summary LLM judge 사용법

지도허브에서 트랙을 고른다

1. 1A 정본 — stg 에 반영된 제품이 전체로 좋아졌나
2. 2B 종류 — 시각화 종류를 강제하면 추천보다 어떤가
3. 3C 로컬 — 아직 stg 에 안 올린, 내가 고친 것이 효과가 있나
4. 4설정 — 무엇을 대상으로(표본) · 무엇으로(축·프롬프트) 잴지

트랙 안에서는 둘째 줄의 실행 | 결과 로 오간다. 아래 「지금 도는 판정」에 진행 중인 판정이 선다.

1표본을 고른다

1 묶음을 고른다(예 c4-250 · 원문 250). 고르개가 비었으면 「설정에서 만들기」로 간다.

2이 회차의 뜻을 적는다

1. 1회차 이름 — 조각이 여럿이어도 같은 이름이면 한 회차다
2. 2바뀐 것 — 무엇이 달라져서 돌리는지 한 줄
3. 3정본으로 올린다 — 켜야 추세선에 선다. 계열은 비우면 방식 이름(visual)이다

3판정 조건을 확인한다

1. 1판정 축 — 기본은 다섯 축
2. 2프롬프트 묶음 — 바꾸려면 「편집」으로 새 이름을 만든다
3. 3모델 · 반복(홀수만)

기본값 그대로면 접힌 채 두고 넘어가도 된다.

4굽는다 — 비용 0

1 「검색 창 열기」로 팝업을 띄우고 2 「굽기 실행」을 누른다. 원문 250 이면 35분쯤 걸리고, 60건마다 올라간다. 창을 닫았다 와도 이어서 간다.

⚠ 팝업은 미캔 로그인 세션을 쓴다. 미캔에 로그인한 브라우저에서 연다.

5판정한다 — 비용이 붙는다

1. 1그림 준비 — 비용 0
2. 2견적 내기 — 판정 칸 · 비용 · 시간을 본다(LLM 을 부르지 않는다)
3. 3판정 실행 — 끝나면 「결과 보기」「회차 상세」 링크가 선다

⚠ 굽기와 판정은 일부러 다른 단추다. 판정은 칸당 약 $0.0294(5축)이라 견적을 보고 누른다.

6결과 › 흐름 — 추세를 본다

1. 1흐름 탭(?view=flow)
2. 2계열별 「지금」과 직전 대비 — visual 은 22.0%에서 20.3%로 내려갔다
3. 3추세 — 정본만 선다. ⛔ 는 표본이 달라 선을 끊은 자리, ⚠ 는 판정자·잣대가 바뀐 자리다
4. 4정본 목록 · 아래에 「정본 아님」「미분류」가 접혀 있다
5. 5연필 — 정본 여부 · 바뀐 것 · 계열 · 결론을 고친다

7결과 › 전후 — 무엇이 움직였나

1. 1기준 — 기본은 직전 정본(1010-c4-visual)
2. 2한 줄 결론 — 22.0%에서 20.3%로 내려갔다 · 못 가른다
3. 3가장 벌어진 칸 — 나빠진 칸이 먼저 선다(20장 미만 제외)
4. 4축 · 길이 · 질의 갈래 · 등수 구간 · 유형 탭
5. 5수를 누르면 그 칸의 장이 아래에 열린다

8칸을 눌러 장을 본다

1. 1등수 구간 탭 — 1위 / 2–5위 / 6–10위
2. 22–5위 비교 수 19.2%(230/1,200)를 누른다
3. 3장 보기 — 누른 수와 장 건수가 같다(1,200)
4. 4거르개 지우기

⚠ 1위만 보면 효과를 과대평가한다. 판정 단위가 원문당 상위 10 이다.

9회차 상세로 내려간다

결과에서 회차 이름을 누르면 /full/r/1013-c4-visual 이 열린다.

1. 1직전 정본 대비 띠 — 「전후 자세히」로 결과에 돌아간다
2. 2이 회차의 그림으로 다시 판정 → 6 판정만 다시
3. 3축 막대를 누르면 그 행만 아래 표에 남는다

1표본과 종류 묶음을 고른다

1. 1표본
2. 2종류 — list · table · process · compare · chart 중 고른다
3. 3추천도 함께 굽는다 — 기본 켬. 견줄 대조군이다

판정 조건은 A 와 같다. 한 번 실행이 한 묶음으로 저장된다.

2굽고 판정한다

1 굽기는 원문 × 고른 종류 수(+추천)만큼 돈다 — 원문 250 × 6벌이면 A 의 여섯 배다. 2 견적을 보고 판정한다.

⚠ 판정 비용도 종류 수만큼 는다. 견적 칸의 비용을 꼭 본다.

3종류 × 지정↔추천을 읽는다

1. 1종류 회차 — 1013-e4-kinds
2. 2추천 대조군 — 추천 벌이 없는 회차면 같은 표본의 추천 회차를 고른다
3. 3차(지정 − 추천) — 같은 원문끼리 짝지어 잰다
4. 4결론 — 표는 추천 18.9%에서 지정 56.8%로 올라갔다(나빠졌다)
5. 5BAD 장 보기

4공급 부족과 고른 유형을 본다

1. 1공급 부족 — 그 종류로는 표현할 수 없었던 원문
2. 2장 없음 — 장이 하나도 안 나온 원문 수. 측정 실패와는 다르다
3. 3무엇을 골랐나 — 종류 칩을 눌러 상위 10 유형 분포를 본다

5장을 본다

1 종류 2 등급 3 등수로 좁혀 실제 장을 넘겨 본다. 나쁜 것부터 선다.

맨 아래 「조건」 표에서 두 회차가 같은 잣대로 판정됐는지 확인한다.

6회차 상세에서 종류로 거른다

1 종류 칩(?fKind=table)을 누르면 아래 모든 표가 그 종류만 센다. 2 「이 회차의 그림으로 다시 판정」도 여기 있다.

1–2표본 · 무엇을 고쳤나

1. 1표본 묶음
2. 2러너 입력 내려받기(inputs.json) — 다시 생성할 때 쓴다
3. 3고친 곳 — 풀 · 검색·순위(iui Rust) · 대치(TS) · 생성기 · 판정 축
4. 4한 줄 설명 — C 결과 입구의 제목이 이 글이다

3생성 — 재사용인가 다시인가

1 지난 회차의 YAML 재사용 — 비용 0. 검색·대치만 고쳤으면 이쪽이다. 생성을 다시 돌리면 입력부터 갈라져 차이가 어디서 왔는지 못 가른다.

2 다시 생성 — 생성기 프롬프트를 고쳤을 때. OpenAI 비용이 든다.

4–5종류 · 판정 조건

종류를 고르지 않으면 추천 한 벌이다. 강제는 4 로컬 종류별 에서 다룬다.

판정 조건(축 · 프롬프트 묶음)은 A 와 같은 칸이고, 고른 값이 명령에 실린다.

6명령 한 줄을 복사해 돌린다

1. 1서버가 떠 있나 — 200 이 아니면 로컬 Rust 서버(:18080)부터 띄운다
2. 2①–⑥ 문서 · 검색 · 재료 · 대치 · 렌더 · CSV
3. 3검산 — 검색·대치가 운영과 같은가
4. 4복사 — 레포 뿌리에서 붙여 넣는다

7–8CSV 를 올리고 판정한다

1. 1judge.csv 를 끌어다 놓는다
2. 2올리고 적재 — 트랙 local · 목적 delta · 표본 · 바뀐 것이 자동으로 적힌다
3. 3판정 — 견적을 보고 실행한다(비용)

9회차 상세를 연다

1 로컬 회차 상세는 기준 대비 띠를 주소의 ?base=회차이름 으로 세운다. 견주기는 5 고친 자리가 움직였나 에서 한다.

1강제 종류를 고른다

1 종류를 하나 이상 체크한다(예 table). 원문마다 종류 벌을 따로 돈다.

2 추천도 함께 굽는다 — 같은 회차 안에 대조군이 생긴다.

3결과의 종류 축으로 읽는다

1 전후 표의 「종류」 줄이 종류마다 그 종류 장을 따로 센다. 2 줄 이름을 누르면 그 종류로 좁힌다(fKind) — 위의 띠·분포가 그 종류 기준으로 다시 선다.

그림의 회차는 추천만 구운 회차라 「추천」 한 줄만 선다.

1입구 — 무엇을 고쳤나

1. 1기준 — 라디오 하나
2. 2비교 — 체크 여럿
3. 3열기
4. 4표본이 다르면 ⛔, 모르면 ⚠ 가 고르기 전에 뜬다

기준을 정본 트랙 회차에서 고를 수도 있다(접힌 칸).

2한 줄 결론 · 가장 벌어진 칸

1 비교 회차의 BAD 비율은 22.6%에서 18.9%로 내려갔다 — 구간이 0 을 품어 못 가른다.

2 가장 벌어진 칸 — 나빠진 칸부터, 20장 이상만 선다. 칸을 누르면 그 조건으로 좁힌다.

3희석 띠 — 좁힌 칸과 전체를 나란히

1. 1좁힌 조건 — 유형 Enumeration_ListingTable(&fType=…)
2. 2좁힌 범위 — 11.0%에서 19.3%로 올라갔다
3. 3전체 — 22.6%에서 18.9% · 못 가른다

「고친 자리는 움직였는데 전체로는 구분되지 않는다」가 여기서 보인다.

4유형 분포 — 검색이 무엇을 내놓았나

1 K1 에서 ListingTable 몫이 43.3%에서 90.7%로 올라갔다. 2 「1위 중」은 순위가 바뀐 자리를 가리킨다.

판정 흔들림이 섞이지 않아, 띠가 「못 가른다」일 때도 무엇이 바뀌었는지가 보인다.

5탭 › 전후 표

1 축 · 길이 · 갈래 · 등수 구간 · 종류 · 유형이 차례로 선다. 2 줄 이름을 누르면 그 조건으로 좁힌다. 3 장 수를 누르면 그 장들이 열린다.

20장 미만 칸은 흐리게 선다 — 숨기면 「없다」로 읽혀서다.

6탭 › 등급 이동

1 같은 원문의 등급이 어디서 어디로 갔나. 2 ACCEPTABLE → BAD 3 원문이 나빠졌다. 3 아래에 무너진 원문이 장 수 많은 것부터 선다.

7탭 › 장 보기

비교 · 기준을 바꿔 가며 실제 장을 본다. 장 아래 「회차 상세」로 내려가면 원문 · 요약 · 컴포넌트까지 본다.

8탭 › 조건

1 두 회차가 같은 축 · 모델 · 반복 · 프롬프트 묶음으로 판정됐나. 다르면 차이를 제품 변화로 읽지 않는다.

9탭 › 연속 변화

비교 회차를 여럿 고르면 시각 차례로 잇는 작은 추세가 선다. 같은 주제를 여러 번 고칠 때 쓴다.

1회차 상세에서 다시 판정을 누른다

1 「이 회차의 그림으로 다시 판정」 → 그 트랙의 실행 화면이 열린다. A · B · C 회차 상세 모두에 있다.

2판정 조건과 판정 칸만 선다

1. 1원 회차의 조각 · 표본 · 바뀐 것을 물려받는다
2. 2새 묶음 이름 — 기본은 <원이름>-rejudge-<n>
3. 3정본으로 올린다

아래 판정 조건에서 축이나 프롬프트 묶음을 바꾼다.

3견적을 보고 실행한다

1 견적 내기 — 그림의 조건(조각 7 · 반복 5)이면 판정 칸 14,940 · $374.25–620.75 다. 반복을 줄이면 견적이 그만큼 준다.

2 판정 실행 — 비용이 붙는다.

⚠ 조건을 바꾸면 견적이 지워진다. 낡은 견적으로는 실행하지 않는다.

1가장 벌어진 칸부터 본다

1 무엇을 봐야 할지 모르면 여기부터다. 나빠진 칸이 먼저 선다 — 이 회차는 Transformation_Transformation 이 16.1%에서 30.3%로 올라갔지만 못 가른다.

2수를 눌러 장을 연다

1 표의 수를 누르면 2 그 칸의 장이 열린다. 누른 수와 장 건수가 같다. 장 아래 회차 번호로 회차 상세에 내려간다.

3회차 상세의 행을 펼친다

1. 1행 하나가 유저 입력 하나다 — 눌러서 편다
2. 21–10위 장 — 테두리 색이 등급이다
3. 3상세 — 그 장 한 칸의 판정 재료를 연다