Hitachi Vantara Pentaho Community Forums
Results 1 to 8 of 8

Thread: all looks right ......

  1. #1
    Join Date
    Mar 2009
    Posts
    26

    Default all looks right ......

    hi :-)


    all looks right, but it works from times to times ... :-(
    and the numbers at the bottom are changing nearly each time i click play

    does sb see sth wrong in my ktr ?
    Attached Images Attached Images  
    Attached Files Attached Files

  2. #2
    Join Date
    May 2006
    Posts
    4,882

    Default

    And now for the error you get in your log file.

    Regards,
    Sven

  3. #3
    Join Date
    Mar 2009
    Posts
    26

    Default

    Quote Originally Posted by sboden View Post
    And now for the error you get in your log file.

    Regards,
    Sven
    i don't know where is the log file
    do you speak about that (trace tab) ?

    [...]
    2009/03/31 10:04:33 - test - La transformation est sur le point d'allouer à l'étape [Alimentation fichier Excel] type [ExcelOutput]
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - distribution activée
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - Démarrage allocation buffers & nouveaux threads...
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - Step info: nrentrée=1 nrsortie=0
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - Étape précédente récupérée depuis [Alimentation fichier Excel] #0 --> Extraction depuis fichier CSV
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - La relation en entrée est 1:1
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - Jeux d'enregistrement en entrée trouvé [Extraction depuis fichier CSV.0 - Alimentation fichier Excel.0]
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - Fin distribution
    2009/03/31 10:04:33 - test - La transformation a alloué une nouvelle étape: [Alimentation fichier Excel].0
    2009/03/31 10:04:33 - test - La transformation est sur le point d'allouer à l'étape [Extraction de données depuis XML] type [getXMLData]
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Démarrage allocation buffers & nouveaux threads...
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Step info: nrentrée=0 nrsortie=3
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - La relation en sortie est 1:1
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Lignes en sortie trouvées [Extraction de données depuis XML.0 - Alimentation fichier Excel 2.0]
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - La relation en sortie est 1:1
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Lignes en sortie trouvées [Extraction de données depuis XML.0 - Alimentation base Access.0]
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - La relation en sortie est 1:1
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Lignes en sortie trouvées [Extraction de données depuis XML.0 - Tri lignes.0]
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Fin distribution
    2009/03/31 10:04:33 - test - La transformation a alloué une nouvelle étape: [Extraction de données depuis XML].0
    2009/03/31 10:04:33 - test - La transformation est sur le point d'allouer à l'étape [Alimentation fichier Excel 2] type [ExcelOutput]
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - distribution activée
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - Démarrage allocation buffers & nouveaux threads...
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - Step info: nrentrée=1 nrsortie=0
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - Étape précédente récupérée depuis [Alimentation fichier Excel 2] #0 --> Extraction de données depuis XML
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - La relation en entrée est 1:1
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - Jeux d'enregistrement en entrée trouvé [Extraction de données depuis XML.0 - Alimentation fichier Excel 2.0]
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - Fin distribution
    2009/03/31 10:04:33 - test - La transformation a alloué une nouvelle étape: [Alimentation fichier Excel 2].0
    2009/03/31 10:04:33 - test - La transformation est sur le point d'allouer à l'étape [Alimentation base Access] type [AccessOutput]
    2009/03/31 10:04:33 - Alimentation base Access.0 - distribution activée
    2009/03/31 10:04:33 - Alimentation base Access.0 - Démarrage allocation buffers & nouveaux threads...
    2009/03/31 10:04:33 - Alimentation base Access.0 - Step info: nrentrée=1 nrsortie=0
    2009/03/31 10:04:33 - Alimentation base Access.0 - Étape précédente récupérée depuis [Alimentation base Access] #0 --> Extraction de données depuis XML
    2009/03/31 10:04:33 - Alimentation base Access.0 - La relation en entrée est 1:1
    2009/03/31 10:04:33 - Alimentation base Access.0 - Jeux d'enregistrement en entrée trouvé [Extraction de données depuis XML.0 - Alimentation base Access.0]
    2009/03/31 10:04:33 - Alimentation base Access.0 - Fin distribution
    2009/03/31 10:04:33 - test - La transformation a alloué une nouvelle étape: [Alimentation base Access].0
    2009/03/31 10:04:33 - test - La transformation est sur le point d'allouer à l'étape [Tri lignes] type [SortRows]
    2009/03/31 10:04:33 - Tri lignes.0 - distribution activée
    2009/03/31 10:04:33 - Tri lignes.0 - Démarrage allocation buffers & nouveaux threads...
    2009/03/31 10:04:33 - Tri lignes.0 - Step info: nrentrée=1 nrsortie=1
    2009/03/31 10:04:33 - Tri lignes.0 - Étape précédente récupérée depuis [Tri lignes] #0 --> Extraction de données depuis XML
    2009/03/31 10:04:33 - Tri lignes.0 - La relation en entrée est 1:1
    2009/03/31 10:04:33 - Tri lignes.0 - Jeux d'enregistrement en entrée trouvé [Extraction de données depuis XML.0 - Tri lignes.0]
    2009/03/31 10:04:33 - Tri lignes.0 - La relation en sortie est 1:1
    2009/03/31 10:04:33 - Tri lignes.0 - Lignes en sortie trouvées [Tri lignes.0 - Jointure comparaison lignes.0]
    2009/03/31 10:04:33 - Tri lignes.0 - Fin distribution
    2009/03/31 10:04:33 - test - La transformation a alloué une nouvelle étape: [Tri lignes].0
    2009/03/31 10:04:33 - test - La transformation est sur le point d'allouer à l'étape [Jointure comparaison lignes] type [MergeJoin]
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - distribution activée
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Démarrage allocation buffers & nouveaux threads...
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Step info: nrentrée=2 nrsortie=1
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Étape précédente récupérée depuis [Jointure comparaison lignes] #0 --> Tri lignes
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - La relation en entrée est 1:1
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Jeux d'enregistrement en entrée trouvé [Tri lignes.0 - Jointure comparaison lignes.0]
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Étape précédente récupérée depuis [Jointure comparaison lignes] #1 --> Tri lignes 2
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - La relation en entrée est 1:1
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Jeux d'enregistrement en entrée trouvé [Tri lignes 2.0 - Jointure comparaison lignes.0]
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - La relation en sortie est 1:1
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Lignes en sortie trouvées [Jointure comparaison lignes.0 - Alimentation fichier Excel 3.0]
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Fin distribution
    2009/03/31 10:04:33 - test - La transformation a alloué une nouvelle étape: [Jointure comparaison lignes].0
    2009/03/31 10:04:33 - test - La transformation est sur le point d'allouer à l'étape [Tri lignes 2] type [SortRows]
    2009/03/31 10:04:33 - Tri lignes 2.0 - distribution activée
    2009/03/31 10:04:33 - Tri lignes 2.0 - Démarrage allocation buffers & nouveaux threads...
    2009/03/31 10:04:33 - Tri lignes 2.0 - Step info: nrentrée=1 nrsortie=1
    2009/03/31 10:04:33 - Tri lignes 2.0 - Étape précédente récupérée depuis [Tri lignes 2] #0 --> Extraction depuis fichier CSV
    2009/03/31 10:04:33 - Tri lignes 2.0 - La relation en entrée est 1:1
    2009/03/31 10:04:33 - Tri lignes 2.0 - Jeux d'enregistrement en entrée trouvé [Extraction depuis fichier CSV.0 - Tri lignes 2.0]
    2009/03/31 10:04:33 - Tri lignes 2.0 - La relation en sortie est 1:1
    2009/03/31 10:04:33 - Tri lignes 2.0 - Lignes en sortie trouvées [Tri lignes 2.0 - Jointure comparaison lignes.0]
    2009/03/31 10:04:33 - Tri lignes 2.0 - Fin distribution
    2009/03/31 10:04:33 - test - La transformation a alloué une nouvelle étape: [Tri lignes 2].0
    2009/03/31 10:04:33 - test - La transformation est sur le point d'allouer à l'étape [Alimentation fichier Excel 3] type [ExcelOutput]
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - distribution activée
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - Démarrage allocation buffers & nouveaux threads...
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - Step info: nrentrée=1 nrsortie=0
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - Étape précédente récupérée depuis [Alimentation fichier Excel 3] #0 --> Jointure comparaison lignes
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - La relation en entrée est 1:1
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - Jeux d'enregistrement en entrée trouvé [Jointure comparaison lignes.0 - Alimentation fichier Excel 3.0]
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - Fin distribution
    2009/03/31 10:04:33 - test - La transformation a alloué une nouvelle étape: [Alimentation fichier Excel 3].0
    2009/03/31 10:04:33 - test - Cette transformation ne peut être ré-éxécutée avec la date de ré-exécution: 2009/03/31 10:04:33
    2009/03/31 10:04:33 - test - Initialisation de 9 étape(s)...
    2009/03/31 10:04:33 - Extraction depuis fichier CSV.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Alimentation base Access.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Tri lignes.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Tri lignes 2.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Alimentation base Access.0 - Ecriture vers la bse de données Access 'C:\Documents and Settings\tdecontes\Bureau\données exemple\pentaho\bd1.mdb'.
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - Running on slave server #0/1.
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - La chaîne xPath à parcourir est : /NewDataSet/PAC
    2009/03/31 10:04:33 - test - L'étape [Extraction depuis fichier CSV.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - test - L'étape [Alimentation fichier Excel.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - test - L'étape [Extraction de données depuis XML.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - test - L'étape [Alimentation fichier Excel 2.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - test - L'étape [Alimentation base Access.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - test - L'étape [Tri lignes.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - test - L'étape [Jointure comparaison lignes.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - test - L'étape [Tri lignes 2.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - test - L'étape [Alimentation fichier Excel 3.0] a été initialisée sans erreur.
    2009/03/31 10:04:33 - Alimentation fichier Excel.0 - Démarrage...
    2009/03/31 10:04:33 - Alimentation base Access.0 - Démarrage...
    2009/03/31 10:04:33 - Extraction depuis fichier CSV.0 - Démarrage...
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Démarrage...
    2009/03/31 10:04:33 - test - La transformation a alloué 9 threads et 8 plages de lignes.
    2009/03/31 10:04:33 - Alimentation fichier Excel 2.0 - Démarrage...
    2009/03/31 10:04:33 - Alimentation fichier Excel 3.0 - Démarrage...
    2009/03/31 10:04:33 - Tri lignes 2.0 - Démarrage...
    2009/03/31 10:04:33 - Tri lignes.0 - Démarrage...
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Démarrage...
    2009/03/31 10:04:33 - Extraction de données depuis XML.0 - Ouverture fichier: file:///C:/Documents and Settings/tdecontes/Bureau/données exemple/PAC.xml
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - ERROR (version 3.2.0-M1, build 10101 from 2009-01-29 11.22.08 by buildguy) : Erreur inattendue :
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - ERROR (version 3.2.0-M1, build 10101 from 2009-01-29 11.22.08 by buildguy) : org.pentaho.di.core.exception.KettleException:
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - ERROR (version 3.2.0-M1, build 10101 from 2009-01-29 11.22.08 by buildguy) : Impossible de trouver l'étape source identifié par le nom 'Extraction depuis fichier CSV'.
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - ERROR (version 3.2.0-M1, build 10101 from 2009-01-29 11.22.08 by buildguy) :
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - ERROR (version 3.2.0-M1, build 10101 from 2009-01-29 11.22.08 by buildguy) : at org.pentaho.di.trans.steps.mergejoin.MergeJoin.processRow(MergeJoin.java:74)
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - ERROR (version 3.2.0-M1, build 10101 from 2009-01-29 11.22.08 by buildguy) : at org.pentaho.di.trans.step.BaseStep.runStepThread(BaseStep.java:2678)
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - ERROR (version 3.2.0-M1, build 10101 from 2009-01-29 11.22.08 by buildguy) : at org.pentaho.di.trans.steps.mergejoin.MergeJoin.run(MergeJoin.java:495)
    2009/03/31 10:04:33 - Jointure comparaison lignes.0 - Fin exécution étape (Entrées=0, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=1)
    2009/03/31 10:04:33 - test - Transformation détectée
    2009/03/31 10:04:33 - test - La transformation est en train d'arrêter l'exécution des autres étapes!
    2009/03/31 10:04:33 - Tri lignes.0 - Starting quickSort algorithm...
    2009/03/31 10:04:33 - Tri lignes.0 - QuickSort algorithm has finished.
    2009/03/31 10:04:33 - Tri lignes.0 - Fin exécution étape (Entrées=0, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=0)
    2009/03/31 10:04:33 - Tri lignes 2.0 - Starting quickSort algorithm...
    2009/03/31 10:04:33 - Tri lignes 2.0 - QuickSort algorithm has finished.
    2009/03/31 10:04:33 - Tri lignes 2.0 - Fin exécution étape (Entrées=0, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=0)
    2009/03/31 10:04:33 - Alimentation base Access.0 - Fin exécution étape (Entrées=0, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=0)
    2009/03/31 10:04:33 - Extraction depuis fichier CSV.0 - Ligne en-tête ignorée dans le fichier 'C:\Documents and Settings\tdecontes\Bureau\données exemple\Social.csv'
    2009/03/31 10:04:33 - Extraction depuis fichier CSV.0 - Fin exécution étape (Entrées=2, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=0)
    2009/03/31 10:04:34 - Alimentation fichier Excel 2.0 - Fin exécution étape (Entrées=0, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=0)
    2009/03/31 10:04:34 - Alimentation fichier Excel.0 - Fin exécution étape (Entrées=0, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=0)
    2009/03/31 10:04:34 - Alimentation fichier Excel 3.0 - Fin exécution étape (Entrées=0, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=0)
    2009/03/31 10:04:35 - Extraction de données depuis XML.0 - Ouverture fichier file:///C:/Documents and Settings/tdecontes/Bureau/données exemple/PAC.xml terminé
    2009/03/31 10:04:35 - Extraction de données depuis XML.0 - [17] occurrance(s) on été trouvé pour le fichier [PAC.xml]
    2009/03/31 10:04:35 - Extraction de données depuis XML.0 - Fin exécution étape (Entrées=1, Sorties=0, Lues=0, Ecrites=0, Maj=0, Erreurs=0)
    2009/03/31 10:04:35 - Pentaho Data Integration - L'exécution de la transformation a été achevée!
    2009/03/31 10:04:35 - test - ERROR (version 3.2.0-M1, build 10101 from 2009-01-29 11.22.08 by buildguy) : Erreurs détectées!

  4. #4
    Join Date
    May 2006
    Posts
    4,882

    Default

    Doesn't this "Impossible de trouver l'étape source identifié par le nom 'Extraction depuis fichier CSV'." in merge join give you a hint of what is wrong?

    Regards,
    Sven

  5. #5
    Join Date
    Mar 2009
    Posts
    26

    Default

    Quote Originally Posted by sboden View Post
    Doesn't this "Impossible de trouver l'étape source identifié par le nom 'Extraction depuis fichier CSV'." in merge join give you a hint of what is wrong?

    Regards,
    Sven
    it says "Impossible to find the step named 'Extraction from CSV file'"

    but when i double-click on 'Extraction depuis fichier CSV' then "preview", all looks right ...
    Attached Images Attached Images  

  6. #6
    Join Date
    Mar 2009
    Posts
    26

    Default

    OK,
    if i delete 'Jointure comparaison lignes' ('join and compare raws'), there is not any problem on the outputs which don't depend on it
    so I'm sure that the problem is localized in that component :-)

    can you help me to configure it please ? :-)


    BTW,
    why isn't pentaho able to make a part of a schema like this working as expected, even if some components elsewhere in the same schema are having problems ?

  7. #7
    Join Date
    May 2006
    Posts
    4,882

    Default

    In the original transformation you first had the xml input linked to the join... if you open the join you will still see their names... afterwards you added select values in between the steps but forgot to update the join step.

    So the join step is trying to read from hops it does not have access to.

    Regards,
    Sven

    btw... PDI first initializes all steps, and if one of them fails it aborts... it doesn't make sense to try to run "corrupt" transformations.

  8. #8
    Join Date
    Mar 2009
    Posts
    26

    Default

    Quote Originally Posted by sboden View Post
    In the original transformation you first had the xml input linked to the join... if you open the join you will still see their names... afterwards you added select values in between the steps but forgot to update the join step.

    So the join step is trying to read from hops it does not have access to.

    Regards,
    Sven
    thank you very much, all works fine :-))

    btw... PDI first initializes all steps, and if one of them fails it aborts... it doesn't make sense to try to run "corrupt" transformations.
    OK
    it could try to identify different groups of steps which have not any link between (groups), and then run those which don't contain any corrupted steps,
    but i understand that it is not trivial ;-)

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •  
Privacy Policy | Legal Notices | Safe Harbor Privacy Policy

Copyright © 2005 - 2019 Hitachi Vantara Corporation. All Rights Reserved.