Skip to content

Releases: kutayeroglu/ijepa

Multinoise initial implementation

08 Mar 15:58

Choose a tag to compare

Pre-release

Contains working implementation of multinoise and MN5 batch scripts

Full Changelog: v0.1.0-alpha...v0.1.0-beta

Multigreen initial implementation

27 Feb 15:50

Choose a tag to compare

Pre-release

Bu implementasyon multinoise icermesine ragmen aslinda calistirilan scriptler sadece multigreen icindi.
Linear probe sonuclari cok kotu geldi; bir sonraki versiyonda multinoise implementasyonu olacak.
Arsiv amaciyla burada birakiyorum; faydali bir release degil.


Su an sadece bounhpc'de calisiyor. MN5 implementasyonu wip.

Sonuclar methodun iyi sonuc verebilecegine isaret ediyor.
Tek problem training suresinin neredeyse iki katina cikmasi.

Training'de %2 kullanmistim. Imagenet linear probing'i validation set'in %100'uyle yaptim.
Yaklasik 1 saat icinde bitecek gibi gozukuyor, su an %90'i bitti.
Ama, degerler arasi fark coktan gozle gorulur duzeyde.

Onerdigim metodun en iyi val accuracy'si %2.06; baseline (i-jepa)'nin ise %1.49

onerilen metot
Epoch 5/10 [Val]: 100%|██████████| 3125/3125 [18:49<00:00, 2.77it/s, acc=2.06%]
2026-02-23 20:12:52,378 [src.utils.linprobe_trainer:INFO] Epoch 5/10 | Train Acc: 1.74% | Val Acc: 2.06% | LR: 0.000049
2026-02-23 20:12:52,390 [src.utils.linprobe_trainer:INFO] New best model! (2.06% > 1.81%)

ijepa
Epoch 7/10 [Val]: 100%|██████████| 3125/3125 [18:43<00:00, 2.78it/s, acc=1.49%]
2026-02-23 21:41:42,370 [src.utils.linprobe_trainer:INFO] Epoch 7/10 | Train Acc: 1.31% | Val Acc: 1.49% | LR: 0.000049
2026-02-23 21:41:42,381 [src.utils.linprobe_trainer:INFO] New best model! (1.49% > 1.44%)