인스타 릴스 표지 A/B 테스트가 4편에서 멈춘 이유

한 안경원의 인스타그램 릴스는 스크립트가 정해진 날에 자동으로 올려요. 올리는 구조는 릴스 자동 발행 글에 있어요.

2026년 7월 25일, 이 운영은 표지 두 안 가운데 어느 쪽이 더 많이 보이는지 숫자로 가리기로 했어요. 테스트 문서 첫머리에 이렇게 적었어요.

잡지 커버형 표지 2안 중 어느 쪽이 성과가 좋은지 실제 지표로 판정한다. 감으로 정하지 않는다.

결과부터 말하면, 그 뒤 올린 릴스 32편 가운데 표지안이 기록된 것은 4편이에요. 판정은 하지 않았고, 9월 18일 테스트 문서는 쓰지 않는 문서를 모아 두는 보관 폴더로 옮겨졌어요.

이렇게 설계했어요

조회수를 1순위로 둔 것은 표지가 하는 일이 스크롤을 멈추게 하는 것이라서예요. 문서도 그렇게 적었어요.

성과를 끌어오는 스크립트

7월 26일 집계 스크립트를 만들었어요. 발행 기록에 있는 게시물마다 메타 그래프 API의 미디어 인사이트를 불러, 표지안별 평균을 표로 찍어요. 핵심은 아래 부분이에요.

import requests

METRICS = ["views", "reach", "likes", "comments", "saved", "shares", "total_interactions"]

def fetch(media_id, token, ver):
    base = f"https://graph.facebook.com/{ver}/{media_id}/insights"
    r = requests.get(base, params={"metric": ",".join(METRICS), "access_token": token}, timeout=30)
    if r.status_code == 200:
        return {d["name"]: d["values"][0]["value"] for d in r.json().get("data", [])}
    out = {}
    for m in METRICS:  # 한꺼번에 거부되면 지표를 하나씩 다시 요청
        rr = requests.get(base, params={"metric": m, "access_token": token}, timeout=30)
        if rr.status_code == 200:
            for d in rr.json().get("data", []):
                out[d["name"]] = d["values"][0]["value"]
    return out

지표를 한꺼번에 요청했다가 거부되면 하나씩 다시 묻는 것은 API 버전과 계정에 따라 나오지 않는 지표가 있어서예요. 결과 표 끝에는 «표본이 적으면(각 3건 미만) 우열을 단정하지 말 것. 최소 5건씩 쌓고 판단.»이라는 경고가 찍혀요.

메타 공식 문서를 보면 이 숫자들은 바로 나오지 않아요. 지표 계산에 쓰는 데이터는 최대 48시간 늦을 수 있고, 2년까지 보관돼요. 2024년 7월 2일 이후 올린 게시물은 노출 수(impressions) 지표가 중단됐어요. 이 스크립트는 조회수(views)를 써요.

이 글을 쓰며 이 스크립트를 실행해 보지는 않았어요. 운영 계정의 토큰이 필요해서예요.

실제로 쌓인 표본

표지안이 붙은 것은 7월 28일·31일(A), 7월 30일·8월 1일(B) 네 편이에요. 7월 27일 것은 브랜드 특별편이라 테스트에서 뺐고, 7월 29일 것은 테스트 전에 만든 세트였어요. 8월 4일부터 10월 9일까지 올린 26편에는 표지안이 없어요.

왜 멈췄나

사흘 만에 표지 형식이 바뀌었어요

7월 29일 운영자가 다음 세트부터 릴스 골격을 바꾸자고 했어요. 표지는 모델이 안경을 집어서 쓰는 4초짜리 동작 영상이 됐고, 이미 만들어 둔 세트만 옛 골격으로 올렸어요. 테스트가 비교하던 «정지된 표지 위 제호 배치»가 새 릴스에서 사라진 거예요. 옛 골격으로 만든 마지막 A/B 세트가 8월 1일에 올라갔어요.

표지를 일부러 매번 다르게 만들기 시작했어요

8월 3일 운영자는 참고할 표지 12장을 주며 이렇게 말했어요.

«표지가 아니라 표지 폰트 글자 스타일을 베끼라는 거야. 표지는 지금도 다양하게 가고 있으니까.»

그래서 표지 글자 스타일 12종을 만들어 돌려 쓰고, 직전 두 세트와 같은 스타일이 나오면 스크립트가 멈추게 했어요. 한 가지만 바꾸고 나머지는 고정해야 하는 A/B 테스트와 반대 방향이에요.

기록을 사람 손에 맡겼어요

표지안은 세트 폴더에 사람이 표지안.txt 를 만들어 적는 방식이었어요. 파일이 없어도 발행은 그대로 되고, 발행 기록에는 «미지정»이 적혀요. 8월 4일부터는 이 파일을 만들지 않았고, 아무 경고 없이 «미지정»이 26번 쌓였어요.

9월 18일 저장소를 정리하며 남긴 설명서에는 이렇게 적혀 있어요.

표지 마스트헤드 A/B(2026-07-25 시작). 표지 골격이 V2 로 바뀌며 비교 대상이 사라졌다

대신 남은 것

조회수 비교는 몇 주가 걸리지만, 표지 글자가 배경에 묻히는지는 바로 잴 수 있어요. 8월 30일 운영자가 «계속 자산 쌓아놓자.»라고 해서 글자 스타일을 18종으로 늘렸고, 이때 실제 표지 4장(파란 하늘, 흰 벽, 백사장, 흙담)에 18종을 모두 얹어 읽히는지 쟀어요. 어느 배경에나 안전한 스타일은 3종에서 6종으로 늘었어요.

표지 그림을 넣으면 18종을 얹어 보고 잘 읽히는 순서로 줄 세우는 기능도 만들었어요. 그 전에 글자가 배경에 묻혀 표지를 급히 바꾼 일이 두 번 있었는데, 커밋 기록에는 «두 번의 사고는 이걸 안 하고 감으로 골라서 났다»고 적혀 있어요.

다시 한다면

• 테스트를 열기 전에 판정할 때까지 표지 형식을 바꿀 계획이 있는지부터 확인해요. 각 안 5편이면 최소 10편이 필요하고, 하루 한 편씩 올려도 열흘이 걸려요. 이 운영은 사흘 만에 형식이 바뀌었어요.
• 표지안 기록이 빠지면 발행 스크립트가 경고를 내게 해요. 조용히 «미지정»으로 채우면 아무도 모르고 지나가요.
• 인사이트는 발행하고 이틀이 지난 뒤에 모아요. 공식 문서에 최대 48시간 늦을 수 있다고 적혀 있어요.
• 몇 주가 걸리는 질문(어느 표지가 더 많이 보이나)과 바로 잴 수 있는 질문(글자가 읽히나)을 나눠요. 바로 잴 수 있는 것은 테스트를 기다리지 않아도 돼요.

확인하지 못한 것

• 집계 스크립트를 실제로 돌렸는지, 돌렸다면 A와 B 가운데 어느 쪽 숫자가 컸는지. 운영 저장소에는 결과가 남아 있지 않아요.
• 운영자가 테스트를 끝내자고 따로 말했는지. 기록으로는 표지 골격이 바뀌면서 멈췄어요.

근거

• Meta 개발자 문서, Instagram Media Insights · 2026-10-10 확인. 조회수 정의, 최대 48시간 지연, 2년 보관, 2024년 7월 2일 이후 게시물의 노출 수 중단이 적혀 있어요.
• 운영 저장소(인스타 자동 발행) · 2026-10-10 열어 확인. 테스트 문서(7월 25일), 집계 스크립트(7월 26일 커밋), 발행 기록(릴스 32편의 표지안 값), 7월 29일 골격 변경·8월 3일·8월 30일 커밋 메시지, 9월 18일 보관 폴더 설명서, 7월 27일 세트의 «A/B 테스트 제외» 메모.

이 글을 만든 방법

• 바탕운영자가 실제로 돌린 작업의 기록(작업 일지·설정 파일·오류 기록)
• 쓴 쪽AI(Claude)가 썼어요
• 독립 검수2026-10-10에 쓴 AI와 다른 AI가 원본과 대조해 통과시켰어요
• 사실 확인2026-10-10