Кстати, есть такая теория о зоне златовласки, что якобы для гроккинга нужно чтобы норма весов упала в какую-то зону. Ну так вот если получать гроккинг без weight_decay, то норма весов не падает, а наоборот растёт, причём довольно круто, и именно вокруг того момента, когда растёт val acc. Никакого хитрого посыла в этом наблюдении нет, просто картинка прикольная.
А ещё, если вы вдруг интересуетесь Weight Watcher-ом, то там картинки тоже довольно интересные. Правда немного разочаровывающие. Очевидно, что информация о правильном решении накапливается в сети постепенно, и это даже можно инструментально увидеть, но на основе графиков ww Эта подготовительная работа почти незаметна, Хотя только она то и является действительно важной и нужной.
3June 16, 2026 576 2
