En el vídeo de hoy hemos visto como creamos un proceso ETL(Extración, tranformado y cargado) de datos en ElasticSearch usando LogStash:
Básicamente, el único código que hay que tener en cuenta es el del fichero de configuración del proceso que os lo dejo aquí:
input { file { path => "/path a mi fichero/worldcitiespop.csv" start_position => beginning } } filter { csv { columns => ["country","city","accentCity","region","population"] } mutate { add_field => { "location" => "%{column6},%{column7}" } remove_field => [ "message", "@version","@timestamp","host","path","column6","column7" ] } } output { stdout { } elasticsearch { index => "cities" } }
El fichero de ciudades, como es habitual, os lo podéis descargar de Kaggle: https://www.kaggle.com/max-mind/world-cities-database.
Finalmente para arrancar el proceso:
logstash -f worldcitiespop.csv
Si os ha gustado ya sabéis: comentar, compartir y plantéate ayudar a este blog mediante Patreon o dile a tu jefe que se anuncie en el…
Hola Alberto!
Lo primero gracias, por el artículo y el video.
Al seguir los pasos descritos en el video, (estoy trabajando en un mac) cuando trato de acceder a la url en la que se levanta tanto el nodo máster como el resto, no logro acceder a elastic… Puede ser que sea necesario configurar algún setting the red al crear la imagen de docker?
Saludos,