Hitachi Vantara Pentaho Community Forums
Results 1 to 3 of 3

Thread: Lentitud en step actualizar en una base de datos Postgresql

  1. #1
    Join Date
    Feb 2014
    Posts
    2

    Default Lentitud en step actualizar en una base de datos Postgresql

    Buenas tardes a todos,

    Un saludo. Vengo usando Pentaho Kettle-Spoon 4.4.0 desde hace dos meses para integrar un DW, en estos momentos estoy integrando desde un archivo de texto (csv) un millón de registros aproximadamente, para actualizar un campo de una tabla en postgresql. He ejecutado otros ETL integrando por ejemplo a archivos CSV o Excel y no es tan lento. En estos momentos lleva 2 horas y no va ni en el 1% la velocidad es de 1 reg/seg

    Agradezco que me indicaran que paso a seguir porque debo estar trabajando seguido con volúmenes de datos similares.

    Saludos

  2. #2
    Join Date
    Jun 2014
    Posts
    1

    Default

    Estimado.-
    Espero que pudiera solucionar su problema, para los que les pase algo parecido, la mejor opción es utilizar los bulk loader ya que hacen inserciones masivas en lugar de unitarias, ya que es preferible hacer 800 insert de 100.000 registros en lugar de 800.000 de 1.
    Otro factor importante es la velocidad de conexión, lo ideal sería subir el archivo al servidor y de ahi realizar el bulk

    Eso...

    saludos

  3. #3
    Join Date
    Sep 2014
    Posts
    3

    Default Como configurar un Bulk

    Hola estoy trabajando en un proyecto el cual tengo la necesidad de optimizar por los grandes volumenes de datos que se manejan y uno de los step que me gustaria utilizar es un bulk para mejorar la velocidad de inserción, pero tengo problemas en su configuración porque no tengo muy claro como es que se realiza correctamente. Agredeceria cualquier tipo de ayuda u orientación. Muchas gracias...

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •  
Privacy Policy | Legal Notices | Safe Harbor Privacy Policy

Copyright © 2005 - 2017 Pentaho Corporation. All Rights Reserved.