代码功能

使用 Sonicom 人耳数据集作为神经网络输入，预测个性化HRTF。存储库中的代码仅包含神经网络部分，不包含数据文件。

日程更新

2025/4/24

目前结果（单位 dB）

学姐复现代码：5.7

Resnet（Hutubs）：4.9

Resnet（Sonicom）：5.2

Resnet（Hutubs）Single Frequency：4.2

Average：5.5

Vit（Sonicom）：5.2

现在的任务：奚顺加，欧阳洋

1. 修改模型为单个方向看看效果如何，来确定是否是方位角无法识别到导致的欠拟合 结果为5.24dB，证明不是方位角的问题，是神经网络本身无法提取特征。

2. 修改模型为单个频率点看看效果如何，看看能不能识别出来方位角

后续的任务：王润邦

1. 把pos_embedding放到transfromer较前面的层中，或者是参考多模态transformer（文本和图像）的输入来修改模型

2. 复现vae的论文代码

其他的数据集：

1. 数据集可以考虑widespread，1000个数据集，单纯耳朵的模型，没有人头模型

2. 体素化数据张量，比如说3维位置取128x128点，需要关注模型的尺度是否不变

更远的任务：

1. 基于transformer的neural processes

2025.4.25

在分支单位置网络中，更改了NewCode文件夹中之前的 ViT 网络的数据集定义，实现了单空间点的HRTF预测，并修改了对应的计算LSD的代码，在第一个空间点上，LSD结果为5.24dB，相比平均得到的HRTF（LSD为5.35dB）提升不大。并且修复了之前评估LSD的代码的一处错误。在主分支中应该进行相应的修改。

同时，新建了文件夹NewCNNCode，利用之前定义在Code文件夹中的CNN网络，使用单个空间点的HRTF进行训练，LSD结果为5.26dB，和ViT网络的结果相当。在训练过程中，发现原有的模型的batchnorm层的使用不当，导致模型在测试集上误差极大，去掉该层后模型训练表现回归正常。

2025.6.15

WiDESPREaD数据集的HRTF预测结果：

codebook size	VQ LSD(dB)	2D CNN+VQ LSD(dB)	3D CNN+VQ LSD(dB)
4	3.299	3.299	3.330
6	3.386	3.466	3.465
8	3.316	3.433	3.512
16	3.228	3.325	3.241

2025.6.29

Sonicom数据集的HRTF预测结果：

codebook size	VQ LSD(dB)	2D CNN+VQ LSD(dB)	3D CNN+VQ LSD(dB)
4	3.299	3.299	3.330
6	3.386	3.466	3.465
8	3.316	3.433	3.512
16	3.228	3.325	3.241