分割アップロード仕様案

[tamaina]

Misskeyの分割アップロード仕様案

※HLS分割は概要欄のテキストから消していないけどfMP4で保持するほうが良さげなのでなしで See #16344 (comment)

アップロード

1. クライアントはサーバーAPIに、ファイルの情報をリクエストに含めつつ一時id発行を要求する。
   進行状況はRedisで管理?
2. クライアントは取得した一時idとともにファイル本体をチャンクに分割しつつ順番に送信していく。
3. a. 動画の場合: サーバーは動画を解釈し、動画をtsに適宜分割しオブジェクトストレージにアップロードし、URLとメタデータをRedisの進行状況データに追記する
   b. バイナリの場合: サーバーはアップロードされたチャンクをそれぞれObjectStorageに格納していき、URLをRedisの進行状況データに追記する
4. クライアントは、最後のチャンクをアップロードする際にeofである旨のフラグを送信する。
5. eofフラグを持ったチャンクを受け取ったサーバーは、Redisの進行状況データを元にドライブファイルとして追加する。
   (共通): 専用のカラム(chunks)にアップロードされたチャンクURLの配列を保存する
   a. 動画の場合: サーバーはm3u8ファイルを生成し、ObjectStorageに格納し、これをwebpublicとして設定する。

ドライブファイルの形式の判別

• chunksがnullである → 普通のファイル
• typeがapplication/vnd.apple.mpegurlである → HLS動画 (chunksがnullの場合はエラーを吐くべき)
  • file-typeはテキストファイルを判定せずm3u8はアップロードされない前提
• typeがapplication/vnd.apple.mpegurlではなくchunksがある → 分割されたファイル

取得・ダウンロード

動画の場合

適切な実装にwebpublicのm3u8を指定すればブラウザ上で再生できるはず
(Safari以外はhls.jsやvideo.jsを使う必要がある)

バイナリの場合

Webクライアントでは、/sw/files/:idなどにアクセスするとServiceWorkerで結合できるように

Optional?: サーバーサイドでの結合

/filesなどで結合してダウンロードする機能を用意する？

リモートへの共有で必要かも？

削除

ファイル削除ではchunksの全てのファイルを削除するようにする

設ける制約

チャンクサイズは、最初と最後のチャンク以外は最低サイズを設定する。
PUTの回数でも課金されるオブジェクトストレージサービスがあり、負担を軽減するため。

[tamaina]

HLSアップロードだけ先に実装してもいいのかもしれない

[tamaina]

chunksカラムを追加するので半分は実装することにはなる

[tamaina]

(適切なライブラリ=hls.jsやvideo.jsのことを指しているつもりだった)

[tamaina]

Webクライアントでは、/sw/files/:idなどにアクセスするとServiceWorkerで結合できるように

クロスオリジンだから普通にダメじゃない？？

[tamaina]

HLS分割ではなくfMP4で保存してもよさそう、というかPOST回数が減るのでfMP4の方が良さそう

#14131 (comment)