Kaggle -Youtube-8M Challenge- とりあえずサンプル学習(MoeModel)
kapiparaです。
前回に引き続きYoutube-8M Challengeです。
前回はlogistic_modelで限界までトレーニングしたので、今回はもう一つのサンプルモデルであるMoemodelで学習を行います。
コマンド↓
python train.py --train_data_pattern='./features/train*.tfrecord' --model=MoeModel --train_dir=$MODEL_DIR/video_level_logistic_model --base_learning_rate=0.03 --export_model_steps=500
・modelにMoeModelを指定
・学習率はある程度高くてよいことが前回わかったので0.03を指定
結果↓
INFO:tensorflow:training step 10 | Loss: 1553.99 Examples/sec: 238.09 | Hit@1: 0.60 PERR: 0.44 GAP: 0.39
INFO:tensorflow:training step 510 | Loss: 12.49 Examples/sec: 237.05 | Hit@1: 0.77 PERR: 0.60 GAP: 0.66
さらに学習率を下げて学習
python train.py --train_data_pattern='./features/train*.tfrecord' --model=MoeModel --train_dir=$MODEL_DIR/video_level_logistic_model --base_learning_rate=0.005 --export_model_steps=50
・学習率は0.005を指定
結果↓
INFO:tensorflow:training step 770 | Loss: 9.66 Examples/sec: 237.90 | Hit@1: 0.77 PERR: 0.61 GAP: 0.68
INFO:tensorflow:training step 980 | Loss: 8.69 Examples/sec: 237.67 | Hit@1: 0.77 PERR: 0.63 GAP: 0.69
252位!
以上。