ADMIS_Walker の雑記帳: 6月 2017

2017年6月24日

機械学習 memo

複素数を使ったNNは注目を集めている．RNNの状態遷移をユニタリ行列にすることで勾配の爆発を避け，さらにGRUを噛ましたGated Orthogonal Recurrent Unit (GORU)がLSTM, GRUより精度が良い．https://t.co/LYmPQq4eTK
— Danushka Bollegala (@Bollegala) 2017年6月23日

すばらっ。Im2Col方式版も見たい〜 / 高速な Convolution 処理を目指してみた。 on @Qiita https://t.co/IOIrsPNkyW
— Yusuke Uchida (@yu4u) 2017年7月6日

C++用のニューラルネットワークのツールキットprimitiv(仮)を作りました。C++ネイティブでなるべく強い外部依存を排し、使いやすいインターフェイスを目指しました。CUDA使用時は結構速いです。https://t.co/gfQBw6HraY
— Yoda (@odashi_t) 2017年7月11日

最近の新手法よりも普通の LSTM のハイパパラメータ（学習率，埋め込み単語数，各層のドロップアウト率，重み減衰）を最適化した方が性能が良いらしい．モデル全体のパラメータ数を統一して比較してて信頼感ある．https://t.co/imXaDydfzP pic.twitter.com/WiPhJD8PBV
— Ryobot | りょぼっと (@_Ryobot) 2017年7月20日

・勾配ブースティング
データ構造
・BK-tree: スペルチェックに応用される．

2017年6月19日

助言

読書百遍義自ずから見る <どくしょひゃっぺんぎおのずからあらわる>
三国志 魏志 董遇・裴松之注

「読書百遍義自ずから見る」というように，難しい論文も，たくさん論文を読むうちに理解できるようになる．
I 研究員

時間が限られるので，論文はピラミッド型に読むとよい．できるだけ多くの論文を読み，(必要な情報を) ピックアップできるとよい．
I 研究員

(隅々まで読む論文を少しと，軽く内容に触れるだけの論文を多く，という意味．当然だが，ピラミッド全体に量が多いに越したことはない．)

公共の場所でしてはいけない話しというのがあって，政治・宗教・野球の話をしてはいけない．話しても喧嘩になるし，偉くなった
気がしても，結局なにも解決していない．むなしくなるだけだ．
S 助教授

2017年6月17日

めも

・研究職の何が難しそうかというと，常に新しいテーマを探し続ける必要がある点である．

目に留まったツイート（201706~）

CNNを高速化する手法として、Winogradやdepthwise separable conv、layer fusion、低ランク近似、辞書分解などを紹介するブログ記事を書きました → https://t.co/17QJfK6c1M
— TOKUNAGA Hiroyuki (@tkng) 2017年6月15日

2017年6月16日

名言集 (自分用)

研究者 (≒博士課程後期への進学) を志して良いのは，研究しないと死ぬ奴だけだ．死んでしまうなら，進学するのも仕方がない．
K 教授

(この道は至難の道であるから，) 普通の教員は止める．しかし，止めても進んでしまうのであれば，それは仕方がない．
K 教授

違う．前だけではない．(採用枠は) 前にも後ろにも詰まっている．
M 助教授

K 教授も同じことを話しただろう．進学するのであれば，よく考えて進学するように．
M 助教授

(研究職の採用枠は非常に限られるため)

2017年6月14日

Git command memo

Gitで fatal: remote origin already exists. というメッセージが出る場合
http://pyoonn.hatenablog.com/entry/2014/10/29/191744

https://www.softel.co.jp/blogs/tech/archives/3569
http://d.hatena.ne.jp/snaka72/20100602/1275496817

Give me job! (就職活動記録)

※この記録は，勤め先の倒産・リストラ・やむを得ない転職，が発生した場合に，就職活動時の経験を想起するために書かれました．下記は私が就職活動を通して感じた内容です．主観が多いことや，決して「(私の思う) 社会のあるべき姿」を反映したものではないと，断っておきます．(ありたいてい言えば，この記事は就活ポエムです．さらに事後なので好き放題書きます)