Whisper AI란? 음성 인식으로 자막 만들기

2026년 7월 7일 · 자막공방 가이드

자막 추출 도구를 찾다 보면 어디서나 "Whisper"라는 이름을 만나게 됩니다. Whisper는 OpenAI가 2022년에 공개한 오픈소스 음성 인식(STT) 모델로, 공개 이후 사실상 자막 제작의 표준이 됐습니다. 왜 그런지, 어떤 종류가 있는지 쉽게 정리해 보겠습니다.

Whisper가 특별한 이유

• 다국어 지원 — 약 100개 언어의 음성을 인식합니다. 특히 영어, 일본어, 스페인어처럼 학습 데이터가 많은 언어에서 정확도가 뛰어납니다.
• 타임스탬프 제공 — 단순히 받아쓰기만 하는 게 아니라 각 문장이 언제 시작하고 끝나는지 시간 정보를 함께 출력합니다. 이 덕분에 결과를 바로 SRT 자막으로 만들 수 있습니다.
• 소음에 강함 — 배경음악이나 잡음이 섞인 실제 영상 환경에서도 잘 동작하도록 학습됐습니다.
• 오픈소스 — 누구나 무료로 내려받아 쓸 수 있어 수많은 자막 도구의 엔진이 됐습니다.

모델 크기별 차이

Whisper는 크기별로 여러 모델이 있습니다. 클수록 정확하지만 느리고 무겁습니다.

• tiny / base — 매우 빠르지만 오탈자가 많음. 영어 외 언어에서는 실사용이 어려운 수준.
• small / medium — 속도와 정확도의 절충. 명료한 음성이라면 쓸 만함.
• large (v2, v3) — 가장 정확한 모델. 일본어·중국어 등 비영어권 언어라면 사실상 필수.
• large-v3-turbo — large-v3의 정확도를 거의 유지하면서 속도를 4배 이상 끌어올린 경량화 버전. 현재 자막 용도로 가장 인기 있는 선택지이며, 자막공방도 이 모델을 사용합니다.

Whisper의 약점: 환각(Hallucination)

Whisper에는 유명한 버릇이 하나 있습니다. 말이 없는 구간(묵음)에서 존재하지 않는 문장을 만들어내는 것입니다. 유튜브 영상으로 학습된 영향으로 "ご視聴ありがとうございました", "Thanks for watching", "구독과 좋아요 부탁드립니다" 같은 영상 마무리 멘트가 뜬금없이 자막에 등장하거나, 같은 문장이 수십 번 반복되기도 합니다.

이런 환각은 규칙 기반으로 상당 부분 걸러낼 수 있습니다. 알려진 환각 문구 목록과 대조하고, 동일 문장의 비정상적인 연속 반복을 제거하는 방식입니다. 자막공방은 이 필터를 기본으로 내장하고 있어서 결과물에서 환각 자막을 직접 지울 일이 거의 없습니다.

Whisper를 써보는 가장 쉬운 방법

Whisper를 직접 설치하려면 Python 환경과 GPU가 필요하지만, 설치 없이 쓰는 방법도 있습니다. 자막공방은 브라우저에서 영상을 올리면 Whisper large-v3-turbo로 자막을 추출하고, 원한다면 AI 번역까지 한 번에 처리합니다. 영상 파일은 서버로 전송되지 않고 브라우저 안에서 오디오만 분리되어 처리되므로 개인 영상도 안심하고 쓸 수 있습니다. 전체 과정이 궁금하다면 자막 추출 방법 비교 가이드를 함께 읽어보세요.