같은 학교, 같은 과목, 3년

A 비율의 진폭 중앙값 7.4%p. 70개 조합 가운데 17개가 10%p 이상 흔들렸고, 가장 큰 것은 21.0%p였다 (상명중학교 국어).

한 학교의 학생 집단이 3년 만에 그만큼 달라졌다고 보기는 어렵다. 달라진 것은 학생이 아니라 그해의 시험이다. A 비율은 학교의 성질이 아니라 시험의 성질을 크게 반영한다.

“A 비율이 높은 학교가 공부를 잘 시키는 학교다”

말할 수 없다 A 비율이 높은 이유는 둘이다 — 시험이 쉬웠거나, 학생들의 성취가 높거나. 이 숫자만으로는 둘을 가를 수 없고, 두 경우의 뜻은 정반대다.

🔴 가를 방법이 없는 것이 아니라, 가르려면 같은 문제로 봐야 한다. 4-나는 학교마다 자기 시험을 낸 절대평가다.

“그래도 학교끼리 나란히 놓고 보면 대충 감이 온다”

성립하지 않는다 시험지가 다르면 점수는 같은 자로 잰 값이 아니다. 쉬운 시험을 낸 학교가 자동으로 위로 올라간다.

🔴 그래서 우리는 이 데이터로 순위표를 만들지 않는다. 만들 수 있는데 안 만드는 것이 아니라, 만들면 틀린 표가 된다.

“A 비율이 높으면 우리 아이도 A 받기 쉽겠다”

반대일 수 있다 A 가 많은 이유가 「성취가 높은 집단」이라면 그 안에서 A 를 받기는 오히려 더 어렵다. 같은 숫자가 정반대의 상황을 가리킨다.

🔴 「받기 쉬운 정도」로 읽는 순간 가장 크게 틀리는 지점이다.

“평균이 높은 학교가 A 비율도 높을 것이다”

느슨하게만 그렇다 표본 210칸에서 평균과 A 비율의 상관은 0.46이다. 같은 방향이긴 하지만 하나로 다른 하나를 짐작할 수는 없다.

🔴 평균은 가운데를, A 비율은 위쪽 꼬리를 잰다. 다른 것을 재는 두 숫자다.

“중학교 A 비율과 고등학교 A 비율을 나란히 본다”

나란히 놓지 않는다 표기 규칙부터 다르다. 고등학교는 이수단위로 가중하고 중학교는 단순평균이다. 2024학년도까지는 칸이 7개(표준편차 포함), 2025학년도부터 6개다.

🔴 칸 수가 바뀐 것을 모르고 폭을 고정해 읽으면 옛 자료가 통째로 사라진다 — 우리가 실제로 한 번 겪은 일이다.

한 학교 안에서, 시간을 따라 본다. 학교 간 비교는 자가 다르지만 같은 학교의 해마다 값은 같은 학교가 낸 시험끼리의 비교다. 「올해 유난히 A 가 적었다」는 그 학교에 물어볼 만한 질문이 된다.

과목 사이의 결을 본다. 한 학교 안에서 어떤 과목만 계속 낮게 나오면 그 과목의 평가 방식이 다르다는 신호일 수 있다. 이것도 답이 아니라 질문이다.

학교에 물어볼 말을 만드는 데 쓴다. 이 숫자는 결론을 주지 않고 물어볼 자리를 알려 준다.

학교 순위를 만들지 않는다. 같은 문제로 본 자료가 아니라 순위를 만들면 쉬운 시험을 낸 학교가 위로 가는 표가 된다.

「학업성취도 상위 N개교」는 어떤 공공 데이터로도 만들 수 없다. 같은 문항으로 재던 국가수준 학업성취도는 2017년에 학교별 공시가 중단됐다. 그 뒤로 학교를 같은 자로 잰 공개 자료는 없다.

표본을 넓히지 않는다. 이 자료는 노원구 14개교뿐이고, 학교 간 비교를 하지 않기로 한 이상 표본을 늘려도 할 수 있는 말이 늘지 않는다.