Presentamos los fundamentos de Google BERT PNL, así como una pequeña guía para su entendimiento y comprensión.

En el mercado hay diversas aplicaciones para el aprendizaje automático, y una de éstas es el procesamiento del lenguaje natural o PNL.

PNL funciona a manera de respuestas de texto, descifrando el significado de las palabras dentro del contexto y manteniendo conversaciones con usuarios. Además ayuda a las máquinas a comprender el lenguaje humano y fomenta la interacción bajo ciertos parámetros de comprensión.

Desde chatbots hasta aplicaciones de trabajo como la clasificación del correo electrónico en carpetas, NLP se está utilizando en todas las áreas.

En esencia, el procesamiento del lenguaje natural es una combinación de informática y lingüística. La lingüística determina reglas que debemos usar para adoptar nuestros modelos de aprendizaje automático y obtener resultados.

A últimas fechas, el procesamiento del lenguaje natural se ha convertido en una gran parte del aprendizaje automático, ya que ayuda a las máquinas a detectar el sentimiento en los comentarios de un cliente o puede ordenar los tickets de soporte en cualquier proyecto o hasta comprender un texto.

Y dado que se basa en un conjunto de reglas lingüísticas, no tiene los mismos prejuicios que un humano.

PNL es un área de estudio tan grande, existen varias herramientas que puede usar para analizar datos para sus propósitos específicos.

Existe el enfoque basado en reglas en el que configura muchas declaraciones si-luego para manejar las formas de interpretar un texto. Por lo general, un lingüista será responsable de esta tarea y será muy fácil de entender.

Esto se puede volver complejo a medida que comienza a trabajar con grandes conjuntos de datos.

Otro enfoque es utilizar el aprendizaje automático en el que no se necesitan reglas, lo cual facilita cuando se intenta analizar grandes cantidades de datos de forma rápida y precisa.

Elegir el algoritmo correcto para que funcione desde el enfoque de aprendizaje automático es importante en términos de eficiencia y precisión. Hay algoritmos comunes como Naïve Bayes y Support Vector Machines. Luego están los algoritmos más específicos como Google BERT.

¿Qué es BERT?

BERT es una biblioteca de código abierto creada por Google en 2018, se traduce en una nueva técnica para PNL y adopta un enfoque diferente a los modelos de otra técnica.

BERT es un acrónimo de representaciones de codificador bidireccional. Eso significa que, a diferencia de otras técnicas que analizan oraciones de izquierda a derecha o de derecha a izquierda, BERT va en ambas direcciones usando el codificador transformador. Su objetivo es crear un modelo de lenguaje.

Esto le da mayor precisión y un rendimiento en conjuntos de datos más pequeños, lo que resuelve un gran problema en el procesamiento del lenguaje natural.

Si bien hay una gran cantidad de datos basados ​​en texto disponibles, se han etiquetado muy poco para usar un modelo de aprendizaje automático.  

Para ayudar a solucionar este problema de no tener suficientes datos etiquetados, los investigadores buscaron formas de entrenar modelos de representación de lenguaje de propósito a través de la capacitación previa utilizando texto de Internet.

Estos modelos de representación previamente entrenados se pueden ajustar para trabajar en conjuntos de datos específicos que son más pequeños en comparación con los comunes en el aprendizaje profundo. Los conjuntos de datos más pequeños pueden ser un problema como el análisis de sentimientos o la detección de spam. De esta manera se abordan la mayoría de los problemas de PNL con lo que se proporciona resultados más precisos que comenzar con el conjunto de datos más pequeños.

Es por ello que BERT es un gran descubrimiento. Proporciona una manera de prepararse con mayor precisión sus modelos con menos datos. Su enfoque bidireccional ayuda a obtener más contexto para una palabra que si solo se estuviera analizando en una dirección. Con este contexto adicional, se puede aprovechar otra técnica llamada LM enmascarada.

Otros algoritmos de aprendizaje automático

La máscara LM oculta al azar el 15% de las palabras en una oración con un token [MASK] y luego intenta predecirlas en función de las palabras contextuales. Así es como BERT puede ver las palabras de izquierda a derecha y de derecha a izquierda.

Esto es diferente de cualquier otro modelo de lenguaje existente porque examina las palabras antes y después de una palabra oculta al mismo tiempo. Gran parte de la precisión que tiene BERT se puede atribuir a esto.

Para que BERT funcione con su conjunto de datos, debes agregar algunos metadatos. Deberás contar con incrustaciones simbólicas para marcar el comienzo y el final de las oraciones, así como incrustaciones de segmento para distinguir las oraciones. Por último, necesitarás incrustaciones posicionales para indicar la posición de las palabras en una oración.

Se podrá visualizar de la siguiente manera:

[CLS] the [MASK] has blue spots [SEP] it rolls [MASK] the parking lot [SEP]

Con los metadatos agregados a los puntos de datos, LM enmascarado estará listo para trabajar.

Una vez que ha terminado de predecir palabras, BERT aprovecha la predicción de la siguiente oración. Esto analiza la relación entre dos oraciones, lo que hace fácil comprender mejor el contexto de todo el conjunto de datos al tomar un par de oraciones y predecir si la segunda oración es la consecutiva a la oración basada en el texto original.

Para que la predicción de la siguiente oración funcione en la técnica BERT, la segunda oración se envía a través del modelo basado en Transformer

Existen cuatro versiones diferentes de BERT previamente adaptadas que se enfocan acorde a la escala de datos con la que esté trabajando que se pueden visualizar aquí

El inconveniente de este enfoque es que la función de pérdida solo considera las predicciones de palabras ocultas y no las predicciones de otros textos, lo que significa que la técnica BERT funciona más lento que las otras técnicas de derecha a izquierda o de izquierda a derecha.

BERT se puede aplicar a cualquier problema de PNL, incluida la predicción de intenciones, las aplicaciones de respuesta a preguntas y la clasificación de los textos.

Leíste: Fundamentos de Google BERT PNL, te recomendamos: SDK de Android, concepto y aplicación

Te invitamos a que nos sigas en nuestras redes sociales: Facebook, Twitter, Instagram y Youtube con el perfil: @tortugacode