Whisper AI 사용해서 자막 추출하기 (대실패!)

* https://www.avdbs.com/board/632121 글을 참조했습니다.

근데 설명이 너무 간단해서, 오히려 뭐가 뭔지 잘 모르겠다는 느낌이 들어서, 초보자 입장에서 A to Z 정리하는 글입니다.

결론부터 말하자면 추출에는 성공했지만, 컴퓨터 사양이 낮아서 낮은 성능의 모델로만 가능했습니다. ㅠ

오랜만에 취향저격에 너무 꼴리는 스토리 작품을 접했습니다.

SDMF-029 동정인 나와 키스 연습에 사귀어 준 남편 언니.폭주해서 안으로 계속 내보냈다.분홍색 가족 VOL.31 미사키 가나 

소주컵 키스 레게노...

 자막으로 더욱 몰입하고 싶다!!

어라. 자막 없네...

젠장. 

그래서 시작하는 자막 만들기 프로젝트~!

과정은 총 3단계 입니다.

1. mp4 -> mp3 음성파일 추출하기

* 추출 안하고 바로 동영상 파일로 적용해도 됩니다!

2. mp3 -> Whisper AI 로 srt 자막 파일 생성하기

3. 자막파일 -> DeepL AI 번역기로 번역하기

* 추출 안하고 바로 동영상 파일로 적용해도 됩니다! 

* 다만, 동영상 자체로 돌리면 램 용량을 많이 잡아먹는것 같습니다.

* 필요한 분들을 위해 내용은 지우지 않겠습니다.

1. mp4 -> mp3 음성파일 추출하기

whisper AI 는 영상이 아니라 "음성을 인식하는 AI" 입니다.

 고로 먼저 mp4 파일에서 mp3 를 추출해야합니다.. 

각자의 방법대로 추출하시면 됩니다. 

모르시는 분들은 샤나인코더 또는 losslesscut 프로그램을 추천드립니다. 

(설치는 구글링 ㄱㄱ)

파일을 열고 상단에 트랙 클릭

저것만 눌러서 음성부분만 따로 추출할 수 있습니다.
(조금 시간이 걸리니 다른일 하고 옵시다)

샤나 인코더에서는 프리셋 설정을 통해 mp3로 변환할 수 있습니다.

2. Whisper AI 로 srt 자막 파일 생성하기

Whisper AI 를 사용하려면 두가지 방법이 있습니다. 

1) 구글 클라우드의 힘을 빌린다 (구글 콜랩) 

- 초보자용

- GPU가 없다, 혹은 내 컴터로 하기 싫다

- 근데 콜랩 GPU 사용 제한이 있어서... 쓰다가 튕김 주의

2) 내 컴터 GPU 로 돌린다

- 고사양 그래픽카드(VRAM 8GB 이상) 를 가졌고, API 사용에 익숙하신 분들

- 고수용

- VRAM 확인하는 방법 : 작업관리자 - 성능 - 엔비디아 GPU - "전용" GPU 메모리

* 그냥 GPU 메모리 = CPU 메모리 ("공유" GPU 메모리) + "전용" GPU 메모리 

2-1) 구글 클라우드의 힘을 빌린다 

참고: https://arca.live/b/momoirocode/63021531

아래 링크를 들어가시면....

https://colab.research.google.com/drive/1qeTSvi7Bt_5RMm88ipW4fkcsMOKlDDss?usp=sharing#scrollTo=IuL5nGTIWYTY

짜잔!

이미 코드가 완성되어 있습니다.

딱 한가지만 설정하고 바로 실행시키면 됩니다.

그러면 코드가 쭉 실행되면서, 따라 스크롤 내려보면 다음과 같은 부분이 있을겁니다.

중간에 보시면 파란 URL 두줄 보이시나요? 그게 whisper AI를 webui 로 만든 결과물입니다.

클릭해서 들어가시면 됩니다.

(URL 은 72시간만 유지됩니다.)

일단 처음에는 한번 mp3 음악 파일로 테스트해보시길 추천드립니다.

모델은 medium 또는 large를 추천드립니다. large 는 높은 정확도 대신에 두배 느린 속도가 걸립니다.

* large v2는 더 개선된 large 입니다. 당연히 더 성능 좋습니다.

Languae 는 해당 파일에서 "인식"하고 싶은 언어입니다.  주의하세요. 번역하는 언어 아닙니다.

밑에 Task에서 transcribe 을 선택하면 Language 의 언어 그대로 출력되는 것이고, 

(영어를 인식하면 영어로, 일본어를 인식하면 일본어로 출력)

translate를 선택하면 "영어"로 번역해서 출력해줍니다.

(일본어를 인식해서 영어로 번역, 한국어를 인식해서 영어로 번역)

우린 deepL 을 사용해서 번역할 것이기 때문에, 그냥 transcribe 으로 냅두시면 됩니다.

2-2) 내 컴터 GPU 로 돌린다

참고: https://www.clien.net/service/board/lecture/17699124

제가 설명하는것보다 위에 참고 링크에 자세히 설명되어 있으니 쭉 따라가시면 됩니다.

모델은 small, medium, large 가 있는데

small 은 성능이 낮지만 VRAM 2GB로도 충분합니다. 속도도 아주 빠릅니다.

medium 은 평범한 성능이고, VRAM 5GB가 필요합니다. 속도는 적당히 빠릅니다.

large 는 medium 보다 조금 좋거나 비슷합니다. VRAM 10GB 필요합니다. 속도는 느립니다.

만약 그래픽카드가 없거나, 사양이 낮은데 CPU는 좋은거 끼고 있다? 

그럼 CPU로도 가능은 합니다. 

대신 속도는 엄청 아주 매우 느립니다. 거의 10배 이상으로 느립니다. 

(밤에 잘때나 돌려야 할듯..)

맨 처음 실행하면, 딱 한번만 모델을 다운받습니다. small 은 400MB, medium 은 1.4GB.. 

* 파일 경로, 파일 이름에 띄어쓰기가 있으면 큰따옴표로 묶어주세요

* 참고로 위에꺼는 medium 으로 돌렸는데 VRAM 부족으로 실패 ㅠ small 로 변경후 성공함.

3. 자막파일 -> DeepL AI 번역기로 번역하기

참고: https://www.avdbs.com/board/619703

음.... 이거 번역 중간에 3천자 넘으니까 에러뜨고 종료나서 포기... ㅠ ㅅ..ㅂ..

그냥 팟플레이어에 자막 실시간 번역 기능 씁시다!

구글 번역, 파파고 번역, 카카오 번역 등등 가능합니다. 성능도 나쁘진 않습니다.

( 없으니만 못한것 같기도 하고... ㅠㅠ )

* 추가) 위에 영상의 자막은 small 모델로 추출한건데, 

새로 medium 모델로 추출한 것(아래사진)을 적용해보니 꽤나 비슷한 맥락으로 번역되었습니다.

* 결론) 

1. 진짜 진짜 자막을 찾기 어렵고, 근데 너무 작품이 좋아서 소장하고 싶을 경우, 자막 대충 만들어서 저장해두는 용도로 딱 좋음. 

2. medium 이상으로 추출하자. small 은 퀄리티가 안좋음.

3. 좋은 그래픽 카드 사고싶다..

대실패로 끝났지만, 추후 방법을 알게된다면 업데이트 해놓겠습니다 ㅠㅠㅠㅠ 

제가 만든 일본어 자막은 [ 에딥톡방 ] 에 올려놓겠습니다. 필요하시면 가져다가 번역해서 보세요 ㅠㅠ

즐딸!