Carga masiva de datos CSV en ElasticSearch

En el vídeo de hoy hemos visto como creamos un proceso ETL(Extración, tranformado y cargado) de datos en ElasticSearch usando LogStash:

Básicamente, el único código que hay que tener en cuenta es el del fichero de configuración del proceso que os lo dejo aquí:

input {
	file {
		path => "/path a mi fichero/worldcitiespop.csv"
		start_position => beginning
		}
	}

filter {

	csv {
        	columns => ["country","city","accentCity","region","population"]
   		}		

	mutate {
		add_field => {
	    		"location" => "%{column6},%{column7}"
  			} 

		remove_field => [ "message", "@version","@timestamp","host","path","column6","column7" ]	
		}

	}

output {
	stdout { }

	elasticsearch {
		index => "cities"
		}
	}

El fichero de ciudades, como es habitual, os lo podéis descargar de Kaggle: https://www.kaggle.com/max-mind/world-cities-database.

Finalmente para arrancar el proceso:

logstash -f  worldcitiespop.csv

Si os ha gustado ya sabéis: comentar, compartir y plantéate ayudar a este blog mediante Patreon o dile a tu jefe que se anuncie en el…