Kaggle -Youtube-8M Challenge- とりあえずサンプル学習(MoeModel)

kapiparaです。

前回に引き続きYoutube-8M Challengeです。

前回はlogistic_modelで限界までトレーニングしたので、今回はもう一つのサンプルモデルであるMoemodelで学習を行います。

コマンド↓

python train.py --train_data_pattern='./features/train*.tfrecord' --model=MoeModel --train_dir=$MODEL_DIR/video_level_logistic_model --base_learning_rate=0.03 --export_model_steps=500

・modelにMoeModelを指定

・学習率はある程度高くてよいことが前回わかったので0.03を指定

結果↓

INFO:tensorflow:training step 10 | Loss: 1553.99 Examples/sec: 238.09 | Hit@1: 0.60 PERR: 0.44 GAP: 0.39
INFO:tensorflow:training step 510 | Loss: 12.49 Examples/sec: 237.05 | Hit@1: 0.77 PERR: 0.60 GAP: 0.66

さらに学習率を下げて学習

python train.py --train_data_pattern='./features/train*.tfrecord' --model=MoeModel --train_dir=$MODEL_DIR/video_level_logistic_model --base_learning_rate=0.005 --export_model_steps=50

・学習率は0.005を指定

結果↓

INFO:tensorflow:training step 770 | Loss: 9.66 Examples/sec: 237.90 | Hit@1: 0.77 PERR: 0.61 GAP: 0.68
INFO:tensorflow:training step 980 | Loss: 8.69 Examples/sec: 237.67 | Hit@1: 0.77 PERR: 0.63 GAP: 0.69

252位！

以上。