Mastodonでリンクが共有される度に猛烈な負荷がリンク先のサーバーに襲いかかるという報告

[tamaina]

https://gigazine.net/news/20240502-mastodon-share-link-problem/

前々からDDoS的な挙動になるのは気にしてた

Summaly Proxyをキャッシュとして使えれば解決しそう

misskey-dev/summaly#27

[tamaina]

ただ、同一のクライアント(?)から同じサイトに連続的にアクセスするとbotとしてブロックされてしまうため、同じSummaly Proxyを全員が使うと表示できなくなるサイトは増えると思われる

[tamaina]

その点summerflareは最適解なのかもしれない?

[Sayamame-beans]

Related: #13679

[tamaina]

#13679 で問題とされていたのは1つのサーバーの複数ユーザーがアクセスすると云々という話だけど、そうではなくてここで言いたいのは、URL付きノートがリモートに配信され（てアクティブユーザーがURLプレビューを一斉に表示しようとす）ると各サーバーのsummalyが一斉にURLにリクエストを行うのが問題

[Sayamame-beans]

なるほど…

[mei23]

Mastodonからのプレビューリクエストが多いのは、URLプレビューリクエストはアクティブユーザーがいるかにかかわらず必ず行われるので、立てて放置されたようなサーバーからも来るからだと思うのだわ。

実際にURL投稿してもMisskeyからはあまり数は来ない印象だわ。

[tamaina]

とはいえ: 一瞬(1秒以内)で多く見積もって10000リクエストぐらいだと思うんだけど、それは通常のアクセスの範疇内でありサーバーが貧弱なだけではないかと思ってしまう
(ただDDoS的挙動なのは確かではある

[NEKOYASAN]

SummalyBot の UserAgentの付いたリクエストが短時間に異常なほどに送られていて、調査をしていたところこのDiscussionにたどり着きました。
Misskey.io などのある程度メジャーなサービスが受けているリクエスト量から見ると「通常のアクセスの範疇内」と判断されるのかもしれませんが、平時にあまりリクエストの多くないサービスだとサーバーが貧弱なので、異常なほどのバーストリクエストによってスケールアウトが間に合わず、そのタイミングでアクセスしてきた通常のユーザーの利用にまで影響が及ぶケースがあります。

robots.txtを見てくれるのであればまだやりようがありますが、現在も見てくれていないような挙動なので残念ながらWAFでブロックするしかない状況です。

[tassoman]

Does Summaly acts as a proxy? Can be useful for mitigating the mini-DDOS activity?
Now, I'm using plain misskey parameters. If I set content-lenght parameter, and leaving empty user-agent parameter, I can't get any website's preview.
Do I can run Summaly with PM2? Which port must be proxied?