Question on the Reproduction of DIVA Results and Concerns about Its Effectiveness

[showstarpro]

We attempted to reproduce the results of DIVA using its official codebase on CC3M. Following the instructions in the README, we also tried different random seeds (66, 10, 1037, 42). However, in all cases, the results we obtained showed that models trained with DIVA performed worse than the original OpenAI-CLIP model. The prediction results for each seed are listed below.

I would like to know if I made some mistake that led to results contrary to those reported in the paper. Could there be additional tricks that were not disclosed? It would be extremely helpful if you could provide the original training log files.

seed 66:
{
"results_before": {
"openai-ViT-L-14": {
"Orientation and Direction": 13.333333333333334,
"Presence of Specific Features": 13.333333333333334,
"State and Condition": 26.666666666666668,
"Quantity and Count": 20.0,
"Positional and Relational Context": 13.333333333333334,
"Color and Appearance": 33.33333333333333,
"Structural Characteristics": 26.666666666666668,
"Texts": 13.333333333333334,
"Viewpoint and Perspective": 20.0,
"average_score": 20.0
}
},
"results_final_after": {
"openai-ViT-L-14": {
"Orientation and Direction": 0.0,
"Presence of Specific Features": 33.33333333333333,
"State and Condition": 20.0,
"Quantity and Count": 13.333333333333334,
"Positional and Relational Context": 0.0,
"Color and Appearance": 40.0,
"Structural Characteristics": 26.666666666666668,
"Texts": 13.333333333333334,
"Viewpoint and Perspective": 13.333333333333334,
"average_score": 17.77777777777778
}
}
}

seed 10:
{
"results_before": {
"openai-ViT-L-14": {
"Orientation and Direction": 6.666666666666667,
"Presence of Specific Features": 0.0,
"State and Condition": 20.0,
"Quantity and Count": 26.666666666666668,
"Positional and Relational Context": 6.666666666666667,
"Color and Appearance": 46.666666666666664,
"Structural Characteristics": 26.666666666666668,
"Texts": 6.666666666666667,
"Viewpoint and Perspective": 33.33333333333333,
"average_score": 19.259259259259256
}
},
"results_final_after": {
"openai-ViT-L-14": {
"Orientation and Direction": 0.0,
"Presence of Specific Features": 26.666666666666668,
"State and Condition": 13.333333333333334,
"Quantity and Count": 0.0,
"Positional and Relational Context": 0.0,
"Color and Appearance": 33.33333333333333,
"Structural Characteristics": 26.666666666666668,
"Texts": 6.666666666666667,
"Viewpoint and Perspective": 20.0,
"average_score": 14.074074074074074
}
}
}

seed 1037:
{
"results_before": {
"openai-ViT-L-14": {
"Orientation and Direction": 13.333333333333334,
"Presence of Specific Features": 6.666666666666667,
"State and Condition": 13.333333333333334,
"Quantity and Count": 13.333333333333334,
"Positional and Relational Context": 6.666666666666667,
"Color and Appearance": 33.33333333333333,
"Structural Characteristics": 20.0,
"Texts": 6.666666666666667,
"Viewpoint and Perspective": 26.666666666666668,
"average_score": 15.555555555555555
}
},
"results_final_after": {
"openai-ViT-L-14": {
"Orientation and Direction": 13.333333333333334,
"Presence of Specific Features": 20.0,
"State and Condition": 26.666666666666668,
"Quantity and Count": 13.333333333333334,
"Positional and Relational Context": 0.0,
"Color and Appearance": 33.33333333333333,
"Structural Characteristics": 13.333333333333334,
"Texts": 6.666666666666667,
"Viewpoint and Perspective": 6.666666666666667,
"average_score": 14.814814814814813
}
}
}

seed 42:
{
"results_before": {
"openai-ViT-L-14": {
"Orientation and Direction": 0.0,
"Presence of Specific Features": 6.666666666666667,
"State and Condition": 26.666666666666668,
"Quantity and Count": 13.333333333333334,
"Positional and Relational Context": 6.666666666666667,
"Color and Appearance": 40.0,
"Structural Characteristics": 33.33333333333333,
"Texts": 13.333333333333334,
"Viewpoint and Perspective": 20.0,
"average_score": 17.77777777777778
}
},
"results_final_after": {
"openai-ViT-L-14": {
"Orientation and Direction": 0.0,
"Presence of Specific Features": 20.0,
"State and Condition": 13.333333333333334,
"Quantity and Count": 6.666666666666667,
"Positional and Relational Context": 13.333333333333334,
"Color and Appearance": 40.0,
"Structural Characteristics": 20.0,
"Texts": 6.666666666666667,
"Viewpoint and Perspective": 13.333333333333334,
"average_score": 14.814814814814817
}
}
}