Bases 5 · Ciência de Dados · Seção 5.6

Lote, minibatch, estocástico

0 chamadas a gradient_step

a perda

a reta ajustada

velocidade

Os três métodos

Tamanho do lote 20

Só o minibatch usa este valor. Nos extremos ele vira os outros dois: 100 é o lote inteiro, 1 é o estocástico — os três são o mesmo método com fatias de tamanhos diferentes.

Learning rate α

Um passo é estável enquanto α for menor que 2/curvatura. A curvatura média do conjunto é 2·833,5 = 1667, o que dá α < 0,0012; a de um único ponto em x = ±50 é 2·50² = 5000, o que dá α < 0,0004. É essa distância entre os dois limites que faz 0,001 ser seguro para a média e grande demais para um ponto só.

Onde olhar

O interruptor lá em cima troca o que está sendo igualado. Em chamadas, os três gastam o mesmo e os epochs saem diferentes; em epochs, os três dão o mesmo número de passadas pelos dados e o gasto sai diferente — o estocástico faz cem chamadas no tique em que o lote faz uma. Ele parece ganhar de longe num relógio e perder feio no outro, e a diferença é só qual coluna você decidiu manter fixa.

Fidelidade. O lote inteiro e o estocástico não embaralham nada, então reproduzem os laços do livro dígito a dígito, a partir do mesmo theta de random.seed(0) e random.seed(2). O minibatch embaralha, e o gerador do Python não existe aqui: a curva dele bate com a do livro em comportamento, não em número.