Hitachi Vantara Pentaho Community Forums
Results 1 to 4 of 4

Thread: Bulk Loader

  1. #1
    Join Date
    Jun 2009
    Posts
    2

    Default Bulk Loader

    Estoy arrancando con Kettle y necesito conectarme con mi base db2.
    - que conexion debo usar para mejor performance ? ODBC ? JNDI ?
    - Necesito volcar un archivo de unos cuantos millones de registros sobre una tabla db2 y generalmente utilizo el db2 load pero no encuentro aca como hacerlo. He visto bulk load de SQL y Oracle. Existe uno para db2 ? Cual es el mejor metodo ?
    seguramente me surgan mas dudas porque realmente soy nuevo y quiero hacer cargas y tranformaciones.

  2. #2
    Join Date
    Jul 2007
    Posts
    1,013

    Default

    A priori te sugeriría usar las conexiones JDBC, pero no es nada complicado hacer una prueba de rendimiento comparando a las tres opciones.

    Carga Bulk para DB2 no hay, deberías usar la opción de salida a tabla común, y jugar un poco con la opción del tamaño de los lotes, etc., y fijarte qué tan bueno es el rendimiento que lográs. Dependiendo del tipo de información podrías ejecutar más de una instancia del paso de salida, etc.

    ¡Saludos!

  3. #3
    Join Date
    Jun 2009
    Posts
    2

    Default

    Muchas gracias por tu respuesta y ya me pongo manos a la obra para probar todo lo que me sugeris...
    Ahhh, otra cosa, como es eso de abrir mas de una intancia para la salida....?

  4. #4
    Join Date
    Jul 2007
    Posts
    1,013

    Default

    Algunos pasos tiene la opción de iniciar más de una copia (click derecho > "Change number of copies to start..."), que a veces ayuda para mejorar el rendimiento.

    También podrías directamente crear más de una entrada, con instrucciones "SELECT" que lean distintas partes de los datos, ó diferentes salidas... Las combinaciones son muchas, dependen de cómo sean tus datos y la estructura de tu transformación. Es cuestión de experimentar.

    ¡Salute!

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •  
Privacy Policy | Legal Notices | Safe Harbor Privacy Policy

Copyright © 2005 - 2019 Hitachi Vantara Corporation. All Rights Reserved.