Lancer un .batch en parallèle d'ALTERYX

[psyrio]

Bonjour,

Je lance aujourd'hui un script batch file créé dans ALTERYX pour déplacer et chiffrer des fichiers après traitement dans ALTERYX. Le problème est que j'ai le cas de plus de 22000 fichiers et le .batch est lancé depuis 12h et n'a pas terminé 😞

Je lance aujourd'hui le .batch en utilisant le Event de mon workflow afin que cela ne se lance qu'après la fin du workflow.

Auriez vous une astuce pour lancer le batch en parallèle d'ALTERYX car j'ai d'autres workflow derrière mais qui sont bloqués du fait que le batch n'a pas terminé (mais il faut par contre attendre la fin du batch pour reprendre l'intégralité de mes workflow qui tournent tous les soirs normalement).

Merci d'avance pour votre aide.

Cordialement,

Bruno

[mathieuf]

Bonjour @psyrio,

Pourriez-vous utiliser l'outil Run Command disponible dans la palette Developer ?

Cordialement,

Mathieu

[psyrio]

Bonjour @mathieuf ,

Merci pour ce retour mais cela ne suffit pas malheureusement car ce batch créé vient déplacer les fichiers traités hors quand il se lance sur plusieurs centaines de fichiers il peut durer longtemps ce qui prolonge d'autant plus les traitements alteryx suivant.

J'ai réussi à optimiser un maximum mon script mais malheureusement tant que je n'arrive pas à trouver un moyen de le lancer en parallèle d'ALTERYX ou au moins de paralléliser les tâches de déplacement de ce script pour chaque fichier c'est la seule chose à faire. 

Merci pour votre retour.

Cordialement,

Bruno

[carlosteixeira · Accepted solution]

Bonjour, mon ami @psyrio. Bonjour
Avez-vous déjà pensé ou utilisez-vous un MACRO BATCH?
Avec la macro Batch, vous pouvez répertorier tous les processus et déplacer automatiquement les fichiers de leur emplacement dès qu'ils ont fini de s'exécuter.
Une autre façon serait de créer un deuxième flux dans alteryx qui ne ferait ce mouvement que lorsque le traitement des fichiers serait terminé.
Je vais laisser ci-joint un WORKFLOW que j'ai créé qui déplace les fichiers entre les répertoires qui peuvent peut-être vous aider à réfléchir à votre stratégie.
Je ne sais pas si c'est exactement votre problème, mais si vous ne nous le faites pas savoir, nous vous aiderons.
salutations

[StephV]

Bonjour @psyrio, merci pour ta question !

Si la réponse de @mathieuf ou de @carlosteixeira  t'a aidé, n'hésite pas à "l'Accepter comme solution", elle aidera d'autres utilisateurs. 

Merci beaucoup et très belle journée.

[psyrio · Accepted solution]

Bonjour @carlosteixeira ,

Je vous remercie. C'est en effet ce que j'ai actuellement mis en place la problématique vient du fait de paralléliser les tâches lancées mais je pense que nous aurons du mal sur cette partie.

Voici un exemple de mon workflow actuel, il propose :

• la lecture dans un répertoire des fichiers
• la réplication de l’arborescence du répertoire source dans le répertoire cible.
• Le cryptage des fichiers avec une AES 256.
• Déplacement des fichiers cryptés dans les répertoires d'archives.

Le seul problème restera donc lors d'un traitement de milliers de fichiers, ce traitement ralentira l'ensemble des traitements alteryx le temps que le batch n'aura pas fini de s’exécuter.

Bonne journée.

Cordialement,

Bruno

[StephV]

Merci @psyrio ! 

[carlosteixeira]

Bonjour, mon ami @psyrio .
Comprendre.
Peut-être qu'une macro interactive au milieu de votre processus résoudra votre problème.
Pour que, lors du traitement de votre flux de travail, la macro interactive puisse lire le fichier, le crypter puis le déplacer vers l'emplacement correct.
Avec la macro interactive, je pense que vous n'aurez aucun problème de traitement car vous y trouverez toujours le mouvement fichier par fichier après son cryptage.
Que penses tu de cette idée?

[psyrio]

Bonjour Carlos,

C'est une idée en effet mais si la macro tourne pour 2000 fichiers, le workflow ne se terminera que après l’exécution de la macro pour tous les fichiers donc le temps d'attente sera le même non ?

Cordialement,
Bruno

[carlosteixeira · Accepted solution]

Bonjour Bruno

Vous pouvez définir la quantité d'interactions que la macro effectue, par exemple, si vous avez 2000 fichiers dans le répertoire et la configurer pour créer les 2000 fichiers, oui, elle ne fermera la macro qu'après 2000 interactions.
Mais vous pouvez le configurer pour qu'il s'exécute tous les 500 fichiers, par exemple. De cette façon, vous auriez 4 cycles du processus.
D'après ce que je comprends de votre processus, ce serait la meilleure façon d'optimiser le travail.
Le grand avantage de la macro interactive est que vos fichiers cryptés seront disponibles pour une utilisation immédiatement après avoir été cryptés et pas seulement lorsque le flux de travail est terminé.
Si vous avez besoin d'aide pour créer la macro interactive, faites-moi savoir que j'essaierai de créer un exemple que vous pourrez utiliser dans votre processus.
Salutations

Carlos Teixeira