Draft:SeLU (Redes Neuronales)

Definición

Gráfica de la función de activación SeLU

La función de activación SELU (Scaled Exponential Linear Units) es una función diseñada para inducir la auto normalización en redes neuronales. Es decir, a medida que las activaciones de este tipo se propagan a través de las capas de la red, comienzan a converger a una media cero y varianza uno.

Fórmula

La función de activación SeLU se define como:

$SeLU(x)=\lambda {\begin{cases}\alpha e^{x}-\alpha ,&{\text{si }}x\leq 0\\x,&{\text{si }}x>0\ \end{cases}}$

donde los valores de α y λ se obtienen al resolver ecuaciones de punto fijo.

Condiciones para utilizar la función SeLU

La función de activación SeLU debe tener:

1. Valores negativos y positivos para controlar la media.
2. Derivadas cercanas a cero para reducir la varianza si es demasiado grande en las capas inferiores.
3. Una pendiente mayor que uno para aumentar la varianza si es demasiado pequeña en las capas inferiores.
4. Una curva continua.

Diferencias contra otras funciones de activación

ReLU

La función ReLU es una función de activación no linear fácil de implementar.

$ReLU(x)={\begin{cases}0,&{\text{si }}x\leq 0\\\ x,&{\text{si }}x>0\end{cases}}$

Por un lado, la función ReLU tiene un menor costo computacional y es más fácil de usar y entender. No obstante, la función SeLU no puede “morir” gracias a que el exponente añadido permite valores negativos.

ELU

La función ELU es una función de activación que tiene un comportamiento exponencial para entradas negativas.

$ELU(x)={\begin{cases}\alpha e^{x}-\alpha ,&{\text{si }}x\leq 0\\x,&{\text{si }}x>0\end{cases}}$

A diferencia de la SELU, la función de activación ELU es más simple y tiene un menor costo computacional. Sin embargo, la actualización constante de valores negativos hace que la función SeLU sea más precisa ya que la red aprende más rápido. De igual manera, la función ELU carece del factor de escala λ.

SeRLU

A diferencia de la SeLU, que crece de manera monótona, la SERLU tiene una función en forma de montículo formulada como $xe^{-x}$.  La función con forma de montículo asegura que SERLU tenga una respuesta insignificante para entradas negativas grandes, mientras que la SELU tiene respuestas negativas constantes para estas entradas.

Ventajas y Desventajas

Ventajas

• No es necesario utilizar la normalización de Batch, ni ningún otro tipo de normalización, ya que se asegura de que la varianza y la media se mantenga estable a lo largo de la red.
• Se puede utilizar en clasificación binaria y multiclase.
• Ayuda con problemas de gradientes.

Desventajas

• Funciona mejor con una combinación específica de inicialización de pesos, lograda mediante el método de inicialización normal de LeCun, por lo que otros métodos podrían no producir los resultados esperados.
• Al ser una función relativamente reciente y menos común que otras funciones de activación, su investigación resulta más compleja.