Soy un firme creyente de que se aprende mucho sobre un país y su gente aprendiendo su lenguaje .
Aprende un idioma, y evitarás una guerra - Proverbio árabe
Cuando comencé a aprender holandés, me sorprendió cómo el lenguaje refleja cómo las personas holandesas son en su mayoría directas y objetivo.
Rara vez verá a una persona holandesa creando excusas o adornos con el objetivo de encubrir o fingir que le gusta algo o alguien.
Además, como alguien que tomó la decisión de vivir en este país, el lo menos que podía hacer era comenzar a aprender a hablar su idioma.
Después de “ Going Dutch ” para encontrar un apartamento, era hora de aprender a aprender el idioma del país. [19659008] Desbloqueo de Data Science (y Art)
“It is the langua ge de la Naturaleza uno tiene que escuchar “. Vincent Van Gogh.
Me apasiona cómo Data Science le permite abordar problemas de la vida real y aprender mucho en el proceso.
Mi hipótesis inicial fue que aprendía las palabras más usadas en el idioma holandés. me ayudaría a ponerme al día con el lenguaje.
Pero, ¿dónde debería empezar?
Dame algunos datos
Antes de comenzar a responder a esta pregunta, necesitaba encontrar los datos.
Podrían publicarse periódicos y libros. una opción fácil, al principio. Podría raspar fácilmente los titulares de los periódicos holandeses y tratar de realizar un procesamiento del lenguaje natural para encontrar las palabras más frecuentes.
Pero no creo que eso refleje las palabras que los holandeses usan en un día a día, informal configuración.
Entonces, ¿por qué no usar arte para esta tarea?
Más específicamente, el séptimo arte ?
Chasing Stars
Comencemos por estructurar nuestra tubería. Como científicos de datos, cada vez que tenemos una tarea que involucra lenguaje natural, la tratamos como un problema de Procesamiento del Lenguaje Natural (NLP).
Para este escenario, decidí trabajar con Python, Pandas y Natural Language Processing Toolkit (NLTK).
De nltk.org :
NLTK es una plataforma líder para construir programas de Python para trabajar con datos de lenguaje humano. Proporciona interfaces fáciles de usar para más de 50 recursos corporales y léxicos como WordNet, junto con un conjunto de bibliotecas de procesamiento de textos para clasificación, tokenización, derivación, etiquetado, análisis sintáctico y razonamiento semántico, envoltorios para bibliotecas de PNL de fuerza industrial, y un foro de discusión activo .
Realizaremos las siguientes tareas:
- Obtención de datos : crearemos un conjunto de datos compuesto por subtítulos de película en Holandés.
- Limpieza de datos: usando NLTK, realizaremos tokenización de palabra y eliminaremos palabras de parada de nuestros datos.
- EDA: generaremos a Distribución de frecuencia (utilizando [FrecDist] de NLTK ) y genera algunos histogramas para visualizar las palabras holandesas más frecuentes.
Si no está familiarizado con ninguno de esos términos como tokenización de palabras lematización y palabras de suspensión no se preocupe, también lo cubriremos en los siguientes pasos.
Obtención de nuestros datos
OpenSubtitles es la fuente más grande del mundo para subtítulos de películas. Usando su sitio web fue posible descargar un conjunto de subtítulos en holandés, separados por género.
Esto es increíble en sí mismo, según nuestra hipótesis, queremos ver el lenguaje cotidiano. La ciencia ficción no sería parte de nuestro análisis, por ejemplo. Al menos, no por ahora.
Comenzaremos por mirar los subtítulos de Comedia Drama y Romance películas.
También veremos películas más recientes en un intento de trabajar con vocabulario más reciente, aunque sé que muchas películas muestran en el pasado, tengo la sensación de que la mayoría de ellos están establecidos en este momento.
Queremos aprender holandés - Antiguo holandés podría abordarse en otra ocasión.
Eliminación de los bloqueos
] Detener palabras son palabras que tienen simplemente la función de conectar diferentes términos en una oración y por lo tanto no indican ningún contexto o significado. Las palabras de parada típicas en inglés son “ el “, “ en “, “ fuera “, “ en ” y así sucesivamente. [19659005] Hans Peter Luhn uno de los pioneros en recuperación de información se le atribuye acuñar el término “ detener la palabra ” y usar el concepto.
Ley de Zipf
Contemporáneo para Luhn, el lingüista George Kinglsey Zipf formuló la Ley de Zipf que establece que para cualquier corpus de lenguaje, la frecuencia de cualquier palabra es inversamente proporcional a su rango en el tabla de frecuencias . La tabla de frecuencias es un rango donde la palabra más frecuente se clasifica en primer lugar, la segunda palabra más frecuente se clasifica en el segundo lugar, y así sucesivamente. Zipf estudió idiomas durante mucho tiempo y descubrió que para la mayoría de corpi en muchos idiomas las palabras de finalización suelen ser las más frecuentes.
Esto hace que sea importante eliminar las palabras de suspensión de nuestro análisis, ya que además de ser las palabras más frecuentes, no agregan ningún contexto.
Es importante conocer su significado y uso, pero esa no sería una tarea difícil, ya que la cantidad (no frecuencia) de palabras finales para la mayoría de los lenguajes es insignificante considerando todo el corpus del lenguaje.
Al mismo tiempo, también podemos suponer que al aprender las palabras más comunes, estaríamos aprendiendo la mayor parte del idioma.
Acerca de la limpieza de algunos datos
Comenzamos por tokenización de palabras . En nuestro conjunto de datos de subtítulos inicialmente tenemos una lista de oraciones de diálogos de películas, que debemos segregar en palabras, eliminando la puntuación y otros caracteres especiales como guiones y espacios.
NLTK word_tokenize tiene este propósito: rompe una lista de cadenas en palabras separadas. Para esto, cuenta con un diccionario de palabras para algunos idiomas, entre ellos el holandés.
En segundo lugar, debemos eliminar las palabras de detención de nuestra lista de tokens. De nuevo, NLTK proporciona una funcionalidad útil para esto: enumera palabras de finalización comunes para muchos idiomas. Nuestro trabajo aquí es eliminar todas las palabras de nuestra lista que también forman parte de las palabras de finalización en holandés.
Después de eliminar palabras de finalización, quisiéramos lematizar nuestro conjunto de datos de palabras. Para lemmatize es el proceso de agrupar formas de palabras flexionadas.
Por ejemplo, queremos diferentes formas de la palabra “ autor “como” autor “y” autores “se tratarán como iguales. Desafortunadamente, NLTK actualmente no proporciona bibliotecas de lematización para el idioma holandés. Saltearemos este paso por el momento, pero en caso de que esté interesado, aquí hay una lista de algunos proyectos para realizar la lematización y otras tareas de PNL para el idioma holandés:
- PythonFrog - https: // github.com/proycon/python-frog
- spaCy - https://spacy.io/
- CST Lemmatiser - https: // dighumlab.org/cst-lemmatiser/
Comedia - Top 10 palabras en holandés
Después de haber tokenizado nuestros subtítulos para Comedia y eliminar las palabras de finalización, pudimos ver cuáles son los 10 primeros más palabras holandesas comunes en inglés Comedia películas.
- Bent
- Goed
- Gaan
- Hebt
- Gaat
- Waar
- Echt
- Denk
- Waarom
Romance - Las 10 mejores palabras
Hicimos el mismo proceso para las películas románticas. Sorprendentemente, las cinco palabras principales para este género son las mismas que para Comedy.
- Weet
- Bent
- Goed
- Gaan
- Hebt
- Nooit
- Waat
- Kate [19659065] Gaat
- Zien
Drama - Las 10 mejores palabras
Como parte de nuestro último paso, analizamos los subtítulos holandeses para las películas dramáticas. Mirando nuestro ranking, las cinco palabras principales permanecen casi iguales en comparación con Comedia y Romance, con algunas palabras diferentes en la parte inferior.
- Weet
- Goed
- Bent
- Gaan
- Gaat [19659065] Hebt
- Waarom
- Zien
- Waar
- Moeten
Conclusión
Este fue un proceso muy empírico y divertido para analizar un poco de la lengua holandesa usando Data Science.
Obtuvimos para conocer algunas de las palabras holandesas más comunes que son potencialmente parte de la mayoría de las conversaciones cotidianas. Huelga decir que no hay una intención científica con esto y nuestra “ hipótesis ” aún no se ha probado.
Un hallazgo interesante es que para los tres géneros diferentes - Comedia, Romance y Drama - los cinco más comunes las palabras son las mismas: weet goed doblado y gaan .
Traduciendo estas palabras al inglés, estamos hablando de formas inflexibles de términos como para saber, bueno, para ser y para ir .
¿Tal vez deberíamos invertir en aprender la pequeña charla holandesa y chit-chat?
Otro El hecho curioso es que “Kate” es una de las principales palabras para las películas romances. Tal vez los directores necesitan ser un poco más creativos con los nombres de los personajes.
Próximos pasos
Algunos posibles próximos pasos:
- Practicar estas palabras creando oraciones con ellas e intentando usarlas en conversaciones
- Dentro de nuestro subtítulo conjunto de datos, analizar las oraciones que contienen estas palabras
- Ampliar los pasos anteriores mediante el análisis de las 100 mejores, 1000, 10000 palabras
- Ver algunas de estas películas con subtítulos en holandés
- Analizar subtítulos de películas holandesas reales
Aprender un nuevo idioma puede ser una tarea desalentadora. Creo firmemente que cada esfuerzo en esta dirección cuenta.
Espero sinceramente que esta publicación haya traído inspiración para cualquiera que desee aprender holandés u otros idiomas extranjeros.
¿Te gustó esta publicación? ¡Genial!
- Muéstrame un poco de amor dándome aplausos, y asegúrate de seguirme
- Comprueba mis otras publicaciones:
- Una introducción suave al modelado del riesgo de crédito con ciencia de datos - Parte 2
- Going Dutch: Cómo utilicé Data Science y Machine Learning para encontrar un apartamento en Amsterdam - Parte …
- Going Dutch, Part 2: Mejorando un modelo de aprendizaje automático usando datos geográficos
- el código del cuaderno para este proyecto en Github
Rafael V. Pierre es un Científico de Datos con sede en Amsterdam, NL. Dirige Weet Analytics, una empresa de Data Science, Machine Learning & Analytics Consultancy que ayuda a las empresas a desbloquear oportunidades comerciales únicas a partir de datos.
Leuk Taal: Aprendiendo un nuevo idioma a través de Data Science (y Art) fue publicado originalmente en Towards Data Science en Medium, donde las personas continúan la conversación resaltando y respondiendo a esta historia.
