-
Notifications
You must be signed in to change notification settings - Fork 6
/
02_one_shot_training.sh
69 lines (67 loc) · 1.46 KB
/
02_one_shot_training.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
### train PreNAS_tiny
python -m torch.distributed.launch \
--nproc_per_node=8 \
--use_env \
supernet_train.py \
--gp \
--change_qk \
--relative_position \
--mode super \
--dist-eval \
--epochs 500 \
--warmup-epochs 20 \
--batch-size 128 \
--min-lr 1e-7 \
--group-by-dim \
--group-by-depth \
--mixup-mode elem \
--aa rand-n3-m10-mstd0.5-inc1 \
--recount 2 \
--data-path ../datas/imagenet \
--cfg ./experiments/supernet/base.yaml \
--candfile ./interval_cands/base.json \
--output_dir ./output/tiny
### train PreNAS_small
#python -m torch.distributed.launch \
#--nproc_per_node=8 \
#--use_env \
#supernet_train.py \
#--gp \
#--change_qk \
#--relative_position \
#--mode super \
#--dist-eval \
#--epochs 500 \
#--warmup-epochs 20 \
#--batch-size 128 \
#--group-by-dim \
#--group-by-depth \
#--mixup-mode elem \
#--aa v0r-mstd0.5 \
#--data-path ../datas/imagenet \
#--cfg ./experiments/supernet/small.yaml \
#--candfile ./interval_cands/small.json \
#--output_dir ./output/small
### train PreNAS_base
#python -m torch.distributed.launch \
#--nproc_per_node=8 \
#--use_env \
#supernet_train.py \
#--gp \
#--change_qk \
#--relative_position \
#--mode super \
#--dist-eval \
#--epochs 500 \
#--warmup-epochs 20 \
#--batch-size 128 \
#--min-lr 1e-7 \
#--group-by-dim \
#--group-by-depth \
#--mixup-mode elem \
#--aa rand-n3-m10-mstd0.5-inc1 \
#--recount 2 \
#--data-path ../datas/imagenet \
#--cfg ./experiments/supernet/base.yaml \
#--candfile ./interval_cands/base.json \
#--output_dir ./output/base