音声ハードミュート機能を追加する

Author: t-miya

CHANGES.md

@@ -19,6 +19,13 @@
 - [UPDATE] Configuration.simulcastRid を非推奨にする
   - 移行先は `Configuration.simulcastRequestRid`
   - @zztkm
+- [ADD] 音声のハードミュート有効化/無効化機能を追加する
+  - AudioDeviceModuleWrapper クラスを追加する
+    - RTCAudioDeviceModule の pauseRecording/resumeRecording を実行するためのラッパークラス
+    - インスタンスは NativePeerChannelFactory が保持する
+  - MediaChannel に setAudioHardMute(_:) を追加する
+    - 内部で NativePeerChannelFactory 経由で AudioDeviceModuleWrapper.setAudioHardMute(_:) を呼び出す
+  - @t-miya
 - [ADD] MediaChannel に libwebrtc の統計情報を取得する `getStats` メソッドを追加する
   - @t-miya
 - [ADD] RTCAudioTrack から音声データを受け取るためのコールバックプロトコルである RTCAudioTrackSink を追加する

Sora/AudioDeviceModuleWrapper.swift

@@ -0,0 +1,88 @@
+import Foundation
+import WebRTC
+
+/// RTCAudioDeviceModule の録音ポーズ/再開をラップするクラス。
+public final class AudioDeviceModuleWrapper {
+  private let audioDeviceModule: RTCAudioDeviceModule
+  // ハードミュート処理を直列化するためのキュー
+  private let queue = DispatchQueue(label: "jp.shiguredo.sora.audio.device.wrapper")
+  private var isHardMuted: Bool = false
+
+  public init(audioDeviceModule: RTCAudioDeviceModule) {
+    self.audioDeviceModule = audioDeviceModule
+  }
+
+  /// 音声のハードミュート有効化/無効化します
+  /// RTCAudioDeviceModule の pause/resume と RTCAudioSession.isAudioEnabled での切り替えが必要
+  /// RTCAudioSession.isAudioEnabled 操作には RTCAudioSession.useManualAudio=true が必要なため
+  /// useManualAudio を true に変更します
+  /// 
+  /// - Parameter mute: `true` で一時停止、`false` で再開
+  /// - Returns: 成功した場合は `true`
+  public func setAudioHardMute(_ mute: Bool) -> Bool {
+    queue.sync {
+      if !setAudioHardMuteInternal(mute) {
+        return false
+      }
+
+      let session = RTCAudioSession.sharedInstance()
+      session.lockForConfiguration()
+      session.useManualAudio = true
+      session.isAudioEnabled = !mute
+      session.unlockForConfiguration()
+
+      Logger.debug(
+        type: .mediaChannel,
+        message: "setAudioHardMute via isAudioEnabled=\(!mute)")
+
+      isHardMuted = mute
+      return true
+    }
+  }
+
+  /// ハードミュート状態を保持している場合にリセットします
+  /// RTCAudioSession.useManualAudio/isAudioEnabled もデフォルトの false にリセットします
+  ///
+  /// NativePeerChannelFactory、RTCAudioSession はシングルトンでのオブジェクト運用により
+  /// ハードミュート状態で切断後に再接続時する際、前回の状態が残ってしまうため
+  public func resetHardMuteIfNeeded() {
+    guard isHardMuted else {
+      return
+    }
+    queue.sync {
+      setAudioHardMuteInternal(false)
+      let session = RTCAudioSession.sharedInstance()
+      session.lockForConfiguration()
+      session.useManualAudio = false
+      session.isAudioEnabled = false
+      session.unlockForConfiguration()
+      isHardMuted = false
+      Logger.debug(
+        type: .mediaChannel,
+        message: "Reset audio hard mute and useManualAudio/isAudioEnabled via RTCAudioSession")
+    }
+  }
+
+  private func setAudioHardMuteInternal(_ mute: Bool) -> Bool {
+    let result = mute ? pauseRecordingInternal() : resumeRecordingInternal()
+    if result == 0 {
+      Logger.debug(
+        type: .mediaChannel,
+        message: "setAudioHardMute via RTCAudioDeviceModule mute=\(mute)")
+        return true
+    } else {
+      Logger.debug(
+        type: .mediaChannel,
+        message: "RTCAudioDeviceModule mute=\(mute) failed")
+      return false
+    }
+  }
+
+  private func pauseRecordingInternal() -> Int32 {
+    Int32(audioDeviceModule.pauseRecording())
+  }
+
+  private func resumeRecordingInternal() -> Int32 {
+    Int32(audioDeviceModule.resumeRecording())
+  }
+}

Sora/MediaChannel.swift

@@ -279,6 +279,16 @@ public final class MediaChannel {
     connectionStartTime = nil
     connectionTask.peerChannel = peerChannel
 
+    // NativePeerChannelFactory がシングルトンのため
+    // 前回切断時に音声ハードミュート状態の場合は状態が残ってしまうので
+    // 音声ハードミュートのリセットを行います
+    if configuration.audioEnabled {
+      Logger.debug(
+        type: .mediaChannel,
+        message: "reset audio hard mute before connecting")
+      _ = NativePeerChannelFactory.default.audioDeviceModuleWrapper.resetHardMuteIfNeeded()
+    }
+
     signalingChannel.internalHandlers.onDisconnect = { [weak self] error, reason in
       guard let weakSelf = self else {
         return
@@ -521,6 +531,27 @@ public final class MediaChannel {
     return result
       ? nil : SoraError.messagingError(reason: "failed to send message: label => \(label)")
   }
+
+  /// MediaChannel の接続中にマイクをハードミュート有効化/無効化します
+  /// - Parameter mute: `true` で有効化、`false` で無効化
+  /// - Returns: 成功した場合は `true`、接続状態などの理由で処理しなかった場合は `false`
+  public func setAudioHardMute(_ mute: Bool) -> Bool {
+    guard state == .connected else {
+      Logger.debug(
+        type: .mediaChannel,
+        message: "setAudioHardMute failed, cause MediaChannel is not connected (state: \(state))")
+      return false
+    }
+
+    guard configuration.audioEnabled else {
+      Logger.debug(
+        type: .mediaChannel,
+        message: "setAudioHardMute skipped because audioEnabled is false")
+      return false
+    }
+
+    return NativePeerChannelFactory.default.audioDeviceModuleWrapper.setAudioHardMute(mute)
+  }
 }
 
 extension MediaChannel: CustomStringConvertible {

Sora/NativePeerChannelFactory.swift

@@ -33,18 +33,26 @@ class WrapperVideoEncoderFactory: NSObject, RTCVideoEncoderFactory {
 class NativePeerChannelFactory {
   static var `default` = NativePeerChannelFactory()
 
+  let audioDeviceModule: RTCAudioDeviceModule
+  /// 録音ポーズ/再開制御用に保持する ADM ラッパー
+  let audioDeviceModuleWrapper: AudioDeviceModuleWrapper
+
   var nativeFactory: RTCPeerConnectionFactory
 
   init() {
     Logger.debug(type: .peerChannel, message: "create native peer channel factory")
 
+    audioDeviceModule = RTCAudioDeviceModule()
+    audioDeviceModuleWrapper = AudioDeviceModuleWrapper(audioDeviceModule: audioDeviceModule)
+
     // 映像コーデックのエンコーダーとデコーダーを用意する
     let encoder = WrapperVideoEncoderFactory.shared
     let decoder = RTCDefaultVideoDecoderFactory()
     nativeFactory =
       RTCPeerConnectionFactory(
         encoderFactory: encoder,
-        decoderFactory: decoder)
+        decoderFactory: decoder,
+        audioDeviceModule: audioDeviceModule)
 
     for info in encoder.supportedCodecs() {
       Logger.debug(