Cómo calcular Peso Decay en Redes Neuronales

Redes neuronales se forman por los circuitos de las células eléctricamente excitables. Estas redes están compuestas de un número variable de capas de entrada y de salida de neuronas . Las sinapsis almacenar parámetros llamados "pesos ", que se utilizan para manipular los datos en los cálculos. Por medio de "decaimiento peso", se puede calcular una salida generalizada de toda una red de neuronas . Este decaimiento peso proporciona una cierta penalización en los pesos más grandes para regularizar los datos de salida . Si no decayó , los grandes pesos pueden causar grandes variaciones en los datos de salida . Por lo tanto , es muy importante utilizar la eliminación de peso y reducir los pesos más grandes con el fin de alcanzar un output.Things suaves que necesitará
MATLAB /toolbox NetLab

Mostrar Más instrucciones
Cálculo
Matemáticas 1

Set-up insumos en MATLAB . Abra la caja de herramientas NetLab - " Mathworks " > " NetLab " - y asignar los parámetros de entrada de la siguiente manera : la matriz de vectores de entrada , la matriz de valores de destino , el número de unidades en la capa oculta , el número máximo de iteraciones para redes que no son convergentes y los parámetros para la descomposición de peso
. Página 2

utilizar las estadísticas de regularización gaussianas para cada capa de red. Establezca los parámetros de decaimiento peso a mlpprior , de modo que: antes = mlpprior ( nin, NHidden , nout , AW1 , ab1 , aw2 , ab2 ), donde " AW1 " es la decadencia peso de primeros pesos de capa; " ab1 " es el parámetro de decaimiento de peso durante los primeros sesgos de capa; " aw2 " es el parámetro de decaimiento de peso para la segunda capa de pesos; " ab2 " es el parámetro de decaimiento de peso para la segunda capa de prejuicios. Puesta en marcha de la red mediante la capacitación de los datos de entrada y de salida de modo que = red MLP ( nin, NHidden , nout , función, antes ) y [ red, opciones ] = netopt (neto, opciones, trainin , trainOut , método).

3

Emplear la estandarización de los insumos y las metas o ajustar el término de penalización para las desviaciones estándar para todas las entradas y las metas . Una buena generalización puede ser posible si , al menos, 3 constantes de desintegración diferentes están disponibles para los pesos de entrada , oculta ocultos oculto y escondido -producto en la red.