PDA

View Full Version : exécuter séquentiellement les étapes,kettle,spoon



clement
06-20-2007, 06:51 AM
Bonjour,

J'ai une transformation de 24 étapes qui utilise 4 fois une sous transformation de 20 étapes.
Lorsque je l'exécute celle-ci démarre normalement puis n'effectue qu'une des 4 sous transformations puis ne fait plus rien (aucun activité processeur), sans terminer, sans afficher de message d'erreur.

Pour savoir sur quelle étape je plante, y-a-t-il moyen de faire en sorte que les étapes s'exécutent séquentiellement ? (car pour l'instant certaines étapes se terminent en parallèle, ce qui me gêne)

a+, =)
-=Clément=-

edit : J'ai l'impression que le plantage vient lorsque j'extrait 2 feuilles différentes d'un fichier Excel par 2 étapes "extraction de fichier" parallèles. Je change ça en n'en mettant qu'une dans laquelle je donne un nom au champ "nom de la feuille" puis je modifie mes étapes suivantes.

shassan2
06-20-2007, 01:11 PM
Salut clément,

Peux-tu attacher un sample ou à la limite une image ?

Merci

Samatar

clement
06-21-2007, 08:23 AM
Salut j'ai pu mieux cibler le problème,

La transformation :
http://www.imagup.info/images/03/1182430589_%5B2007%5D%5Bfactice%5D%5Bkettle%5D%5Bspoon%5D%5Btransformation%5D.png
http://www.imagup.info/images/03/1182428905_%5B2007%5D%5Bfeuille%5D%5Bkettle%5D%5Bspoon%5D%5Btransformation%5D.png



http://www.imagup.info/images/03/1182429058_%5B2000%5D%5B2007%5D%5Bkettle%5D%5Bspoon%5D%5Btransformation%5D.png

Après de nombreux tests, voici mes hypothese
-dès que la taille du fichier Excel passe sous la barre des 59 Mo, la transformation ne plante plus et termine, quelquesoit le nombre et le type de champs que je rapatrie.
-dès que la taille du fichier Excel passe au dessus de la barre des 59 Mo, la transformation plante dès que je rapatrie un champ Number
J'ai du mal à comprendre et je regrette de ne pouvoir joindre mon fichier source et mon fichier transformation ( ce sont des données pro )...

a+,=)
-=Clément=-

clement
06-26-2007, 08:21 AM
Bonjour,

La raison du bug sus-cité n'est pas encore connue mais j'ai une réponse concernant la question "Est-ce qu'on peut exécuter les transformations séquentiellement ?"
Je cite la F.A.Q. (http://forums.pentaho.org/attachment.php?attachmentid=570&d=1178228973) :

"2.8. How to sequentialize transformations?
Q: By default all steps in a transformation run in parallel, how can I make it so that 1 row gets processed completely until the end before the next row is processed?
A: This is not possible, one of the basic things in PDI transformations is that all of the steps run in parallel. So you can't sequentialize them. This would require architectural changes to PDI and sequential processing would also result in very slow processing."

En clair "Non on ne peut pas"

a+, =)
-=Clément=-

BPM_PBE
06-26-2007, 11:17 AM
Bonjour,
Comme indiqué dans la FAQ, tous les traitements présents dans une transformation démarrent en même temps.
C'est une des raisons des bonnes performances du produit, car l'on peut alors attribuer certains traitements sur des clusters PDI.
Si vous souhaitez sérialiser des load de fichiers Excel, rien de plus simple, mais il faut procéder autrement : créer une transformation par load Excel,
et utiliser un job pour sérialiser vos transformations !
... donc : si "on peut",
Cordialement,
Patrick

clement
06-27-2007, 05:00 AM
Bonjour,

Bien vu ;). Je débute et je n'ai pas encore utilisé les jobs, c'est pourquoi je n'y ai pas pensé.
Il reste mon problème du fichier Excel de 60 Mo qui "passe" sous certaines conditions mais j'ouvrirai un autre poste si ce problème est important pour moi.
Je met le sujet en [resolu] (même si apparement ça ne met pas à jour le titre dans l'arborescence du forum).

a+, =)
-=Finiderire=-