问题讨论：怎么看待Engram

[SUNMMIO-jlou]

最近知乎上有一个讨论，有人做了详尽的实验发现，Engram有好处，但是好像不一定真的是记住了什么，实验证明把HASH BIAO的容量设成1效果差不多。这个很有意思，值得进一步讨论和研究。

https://zhuanlan.zhihu.com/p/2026419832371836848?share_code=12a2H3St9arMy&utm_psn=2027152041684813638

[DDDMUC]

github上也有实验证明engram可以在冻结主模型后用于微调：https://github.com/AutoArk/TinyEngram

如果根本记不住东西，只是纯噪声在起作用的话，那不管怎么训练，loss都应该一样才对。

只能说这是新研究，现在大家都算盲人摸象，得到不同结论很正常。

我还是相信engram的。