Flitto · English Exam Labeling
영어 진단 태깅
작업자 이메일을 입력하세요.
작업 현황
현재 진행 상태
진행률 상세
대시보드 데이터를 불러오세요.
연동 설정
Google Sheet와 연결할 Apps Script Web App URL을 저장하세요.
PM 작업 순서 (How-to)
-
1. 문항 준비
Flitto 벤더 JSON(6필드:
item_id/grade/passage/question/options/answer)이면scripts/convert_vendor_json.pl로 먼저 변환하세요. 이미 cluster JSON 포맷이면 바로 사용 가능합니다. -
2. 문항 업로드
아래 "문항 JSON 업로드" 패널에서 파일을 올린 뒤, Google Sheet의
Items탭에 문항이 들어갔는지 확인하세요. 이 단계는 아직 아무한테도 배정되지 않은 상태입니다. -
3. 작업자 확인
Workers시트에서 이메일·이름·allowed_clusters(M1~M3/H1~H3)·active를 확인하세요. 새 작업자는 이 시트에 직접 행을 추가하면 됩니다. -
4. 회차 일괄 배정
Google Sheet 상단 메뉴 라벨링 툴 관리 > 회차 일괄 배정을 눌러 회차(wave) 값과 작업자 이메일(쉼표 구분)을 입력하세요. 중등/고등처럼 클러스터가 다른 그룹은 따로 실행하는 걸 권장합니다. 이미 배정된 건은 건드리지 않으니 여러 번 실행해도 안전합니다.
-
5. 진행 상황 확인
홈 탭 대시보드에서 전체/작업자별/학년별 진행률을 확인할 수 있습니다.
-
6. 검수
검수 탭에서 작업 완료(
done) 문항을 승인 또는 반려합니다. -
7. (필요 시) 코드북 갱신
코드북이 바뀌면 아래 "코드북 재동기화" 패널에서 새 코드북 JSON을 올리면 됩니다.
회차 일괄 배정
선택한 회차의 문항 전체를 선택한 작업자 전원에게 배정합니다. 이미 배정된 조합은 건드리지 않아 여러 번 실행해도 안전합니다.
Assignments 검증
시트 직접 편집 후 item_id, 작업자, 중복, 상태값, 권한 불일치를 점검합니다.
검증 결과가 여기에 표시됩니다.
어노테이션 자동 지정
선택한 회차에서 문항의 30%를 필수 어노테이션 대상으로 지정합니다. 이미 지정된 필수/선택 문항은 유지하고, 미지정 문항 중 부족분만 채웁니다.
Export
배정, 제출 결과, 검수 상태를 합쳐 고객 제출/내부 QA용 파일을 생성합니다.
문항 JSON 업로드
기존 cluster JSON 또는 reference 배열 JSON을 업로드할 수 있습니다.
업로드 규칙
- 기존 cluster JSON은
items배열을 포함해야 합니다. - Reference JSON은
itemId,question,metadata를 가진 배열 형태도 가능합니다. - 작업 배정은
assigned_worker_name값을 사용합니다. Reference 데이터는 배정 전에도 업로드할 수 있습니다. - 작업자는 이메일로 로그인하며 Workers 시트의 작업자 정보와 매칭됩니다.
코드북 재동기화
코드북 JSON(codebookEntries 포함)을 올리면 문법/독해/어휘/한국어 영향 태그와 정의가 최신 버전으로 교체됩니다.
- Tier 1(대분류/문항 유형/CEFR/인지 수준)은 코드북에 대응 항목이 없어 그대로 유지됩니다.
- 이번에 업로드한 코드북에 없는 기존 태그는 제거됩니다 — 전체 버전 교체용입니다.
작업자 로그인
Workers 시트에 등록된 이메일로 할당 문항을 불러옵니다.
문항을 선택하세요
왼쪽 작업 목록에서 할당 문항을 선택하세요.
waiting
보기
검수 대기 목록
작업 완료 문항을 불러와 라벨과 근거를 확인한 뒤 승인 또는 반려합니다.
검수 목록을 불러오세요.
검수 상세
검수할 문항을 선택하세요.