Web Assembly와 Gstreamer를 이용한 웹 방송 오픈소스 플랫폼

[semteul]

안녕하세요, 정말 오랫만입니다! 이번에 아이디어가 하나 있어 공유해보려고 합니다.

직접적으로 Gstreamer에 기여하는 아이디어는 아니고, Gstreamer를 이용한 프로젝트를 만들만 한게 뭐가 있을까 고민하다가 생각난 점이 있어서 올리는 아이디어 글입니다. 아마 이렇게 gstreamer를 사용하다보면 gstreamer에 기여할 수 있는 날도 오게 될 것 같아 여기부터 출발하려는 생각도 있습니다.

https://github.com/fluendo/gst.wasm

이런 프로젝트가 있습니다. 아직 제대로 살펴보지는 않았습니다만, WebAssembly에 Gstreamer를 포팅하는 프로젝트입니다. OS가 아닌 웹에서 돌아가느니만큼 한계가 있기는 하겠지만, WebRTC같은 미디어 전송 프로토콜은 사용이 가능하다고 합니다.

아이디어는 이렇습니다.

• 바이너리를 설치하지 않고, WebASM 만을 이용해서 바이너리 설치 없이 웹에서 여러대의 웹캠이나 브라우저 화면을 묶어 전송할 수 있는 방송 기술
• OBS 보다는 훨씬 경량화된 기능을 제공하게 될 것 같습니다.
• WebRTC로 전송

[Browser]
(카메라, 화면 캡처 api)
↓
[GStreamer(gst.wasm)]
(가공 / 합성 / 변환) <- 여기에서 일종의 obs같은 역할을 해주기
↓
[WebRTC]
(송출 / 배포)
↓
인터넷 or localhost
↓
[WebRTC 수신을 받는 endpoint]

그래서 위와 같은 구조를 이용하면 바이너리 설치없이 웹용 오픈소스 방송플랫폼을 만들 수 있을 것 같습니다.

실제 서비스 개발보다는 가능한지 일종의 기술 실증과 같은 단계에서 출발할 것 같습니다. 우선 일종의 프로토타이핑으로 한번 시작해보도록 하겠습니다.

[semteul]

endpoint는 가급적이면 직접 개발하기보다는 상용 webrtc 서버 (정확히는 webrtc의 전송을 입력받는 서버)를 활용하면 좋을 것 같습니다. 예를 들어 WHIP & WHEP 같은 프로토콜을 준수하도록 개발한다면, 이미 존재하는 기술들과 호환되어 쓸모가 조금은 생길 것 같습니다.

[semteul]

예를 들면 twitch같은 방송 플랫폼에서는 whip/whep를 지원한다고 하는데, 제 위 아이디어를 구현하면 twitch에 정보를 보낼 수 있을 것 같습니다. 실제로 vod.ninja라는 서비스가 그런 방식으로 이미 웹용 방송플랫폼을 만들었는데, 만약 gstreamer-wasm로 이와 비슷한걸 만든다면 gstreamer의 여러 엘리먼트들을 활용할 수 있는 오픈소스 플랫폼 대안을 만들 수 있을 것 같습니다.

[justinjoy]

좋은 아이디어인데요. WASM은 리소스를 많이 사용하는 문제가 있기는 하지만, 그와 동시에 여러가지 제약을 풀어주는 트레이드오프 관계가 확실한 기술인것은 맞습니다.

GStreamer를 WASM으로 구동하는 것자체는 그다지 어렵지는 않을 것 같은데,
웹 방송이라고 한다면 특정한 서비스 플랫폼을 타겟으로 하는 것인가요?
아니면 WebRTC 클라이언트만을 염두해 둔 것인가요?