モデルが学習する時にいつ「記憶」が「汎化」に切り替わるかを分析してる話。
— goto@YouTuber/meta翻訳 (@goto_yuta_) August 12, 2023
分かりやすい話で言うと、weight decayが小さすぎると過学習に寄って行き、そこから大きくすると学習データとテストデータの損失が近づいて汎化、大きすぎると何も学習しなくなる、みたいな話をしてる↓ pic.twitter.com/trsfgQHXp0
— goto@YouTuber/meta翻訳 (@goto_yuta_) August 12, 2023
「機械学習モデルが記憶してるのか汎化してるのか？」について分析した記事。結局、汎化するかしないかはweight decayに強く依存している、という印象。
— 𝕊hinichi 𝕋akaŷanagi (@_stakaya) August 14, 2023
可視化がJS担っててグリグリ動かせるのが面白い。https://t.co/26bc9cSuRK
0 件のコメント:
コメントを投稿