🚀 New Generative Recommendation Models in torch-rechub: HSTU & HLLM || torch-rechub 新增两种生成式推荐模型：HSTU 与 HLLM

[1985312383]

Hi everyone,

We’re excited to announce that torch-rechub now supports two new generative recommendation models:

• HSTU – Hierarchical Sequential Transduction Units based generative sequential recommendation model
• HLLM – Hierarchical Large Language Model for recommendation with LLM-based item embeddings

These models are designed for next-item prediction and sequence-based recommendation in scenarios such as:

• E-commerce click / purchase sequences
• Content recommendation (videos, news, items)
• Any scenario where user behavior can be modeled as a sequence and generative modeling can better capture uncertainty and diversity in recommendations

🔍 Model Resources

• HSTU Paper: https://arxiv.org/abs/2402.17152v3
• HLLM Paper: https://arxiv.org/abs/2508.18118v1
• Example scripts:
  • examples/generative/run_hstu_movielens.py
  • examples/generative/run_hllm_movielens.py
• Online docs (ZH): https://datawhalechina.github.io/torch-rechub/zh/

  You can switch to English in the top-right corner of the docs site if/when available.

We encourage you to:

• Try training and evaluating HSTU and HLLM on your own datasets or standard benchmarks
• Compare them with your existing matching / ranking / sequential models
• Explore how generative modeling changes your recommendation quality and user experience

💬 How to Ask Questions / Give Feedback

We warmly welcome questions, feedback, and suggestions from the community:

• For discussions & Q&A:
  • Reply directly under this Discussion
  • Or start a new thread in GitHub Discussions (e.g., “Q&A / 使用咨询”)
• For bug reports / feature requests:
  • Please open a GitHub Issue using the existing templates (Bug Report / Feature Request)

Your feedback will help us:

• Improve the HSTU & HLLM implementations
• Enrich examples and documentation
• Decide what to support next in generative recommendation within torch-rechub

Thank you for your continued support and contributions to torch-rechub! 🙌
We’re looking forward to seeing what you build with HSTU and HLLM.

---

大家好，

我们非常高兴地宣布：torch-rechub 现已支持 两种全新的生成式推荐模型：

• HSTU —— 基于层次化序列转导单元的生成式序列推荐模型
• HLLM —— 基于大语言模型表征的层次化生成式推荐模型

这两个模型主要面向 下一物品预测（next-item prediction） 与 序列推荐 场景，例如：

• 电商点击 / 购买行为序列
• 内容推荐（视频、新闻、物品流）
• 任何可以将用户行为建模为序列，并期望通过生成式建模更好地捕捉不确定性与多样性的推荐场景

🔍 模型与资源链接

• HSTU 论文： https://arxiv.org/abs/2402.17152v3
• HLLM 论文： https://arxiv.org/abs/2508.18118v1
• 代码示例：
  • examples/generative/run_hstu_movielens.py
  • examples/generative/run_hllm_movielens.py
• 在线文档（中文）： https://datawhalechina.github.io/torch-rechub/zh/

欢迎大家：

• 在自己的数据集或公开数据集上尝试训练、评估 HSTU 和 HLLM
• 与现有的匹配 / 排序 / 序列模型进行对比实验
• 探索生成式建模在推荐质量、多样性和用户体验上的提升

💬 如何提问与反馈

我们非常欢迎社区同学就这两个模型 提问、交流使用体验、反馈问题或提出改进建议：

• 一般讨论 & 使用答疑：
  • 可以直接在本条 Discussions 下方回复
  • 也可以在 GitHub Discussions 中新建讨论主题（如“Q&A / 使用咨询”等）
• Bug 反馈 & 功能需求：
  • 请在 GitHub 上使用已有的 Issue 模板 创建 Issue（Bug Report / Feature Request）

你的反馈将帮助我们：

• 改进 HSTU 与 HLLM 的实现与接口设计
• 完善示例代码与使用文档
• 决定后续在 torch-rechub 中继续支持哪些生成式推荐方向

感谢大家一直以来对 torch-rechub 的关注与贡献！🙌
期待看到你们基于 HSTU 和 HLLM 做出的更多有趣探索与实践。

[zerolovesea]

hstu layer里出现了跟attention差不多的scale，但是公式里好像没有

[1985312383]

这是注意力机制的核心。scale = 1/sqrt(head_dim) 是 Scaled Dot-Product Attention 的核心缩放因子,用于在计算注意力分数时对点积结果进行归一化。当 Q 和 K 进行点积时,如果维度 $d_k$ 很大,点积的结果会变得非常大。

当 $d_k$ 很大时：点积结果的方差会变成 $d_k$，这导致 softmax 输入值过大,进入饱和区域。最终梯度消失，softmax 在极端值处梯度接近 0,训练困难。通过除以 $sqrt(d_k)$ ,将方差归一化回 1。

具体详见17年的论文《Attention is all you need》:

[zerolovesea]

这是原版的attention的scale，但是hstu里好像没提到这个参数

[1985312383]

HSTU论文这一段有提及:

$f_2$ Norm

[zerolovesea]

是这一段，f2是一个简单的线性变换+silu，norm是layer normal,剩下的就是a@v就是正常乘，因为没用softmax 所以我理解是不需要再做scale

[1985312383]

https://github.com/meta-recsys/generative-recommenders/blob/main/generative_recommenders/ops/pytorch/pt_hstu_attention.py

官方在这里有关于 激活函数 $\phi_2$ (SiLU) 与 归一化。在 hstu.py 的 _hstu_attention_maybe_from_cache 函数中实现相对注意力偏置 (rab, Relative Attention Bias) $rab_{p,t}$ ， 我写的确实有些问题，只走到了他之前默认的判断项