Skip to content

结构化剪枝 vs. 非结构化剪枝 中关于是否改变模型结构的说法是否有误? #36

@Pinery-lee

Description

@Pinery-lee

文中描述是否有错呢?
非结构化剪枝:破坏了原有模型的结构
结构化剪枝:模型的结构却没有被破坏

我的理解:
非结构化剪枝仅仅是某些权重值置零,并没改变模型结构。参数量本质不变,所以对于不支持稀疏矩阵计算的硬件而言,无法加速或加速有限。
结构化剪枝除了会去掉权重、神经元、通道、核、甚至整个层,明显改变了模型结构。模型结构精简了,参数量小了,自然也就能硬件加速了。
Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions