écritures de fichiers volumineux plus lent sur le serveur qu'en local

[Rémy]

Bonjour 

J'ai un traitement qui tourne en local en 7 minutes.

Une fois publié sur le serveur et lancer manuellement, il tourne en 18 minutes.

Ce traitement écrit plusieurs gros fichiers à la suite (2 *400 mo + 2* 700 mo). 

J'ai l'impression qu'Alteryx en local parallélise mieux les traitements (ou garde mieux en cache) que le serveur.

En local, il va mettre environ 5 minutes à traiter le premier fichier de 400 mo puis il va aller très vite pour les autres (écriture par paquet de 30 mo) soit quelques secondes par fichiers.

Sur le serveur, il ne va pas bénéficier de cet effet et il va mettre autant de temps à écrire chaque fichier.

Il semblerait que le local soit plus rapide dans le cas d'une sortie vers plusieurs fichiers que le serveur.

Est-ce un problème que vous avez déjà constaté ?

merci pour votre retour

[Ladarthure · Accepted solution]

Hello @Rémy,

il peut y avoir plusieurs éléments qui expliquent ce genre de comportement :

• Côté serveur:
  • licence et puissance
    • la license alteryx serveur utilise une puissance au coeur et autorise l'exécution de n workflows à la fois. D'un point de vue général, on parle de 8 coeurs et 2 workflows simultanés.
  • Ouverture des flux du serveur
    • dans certains cas, on peut chercher à sécuriser et avoir que certains flux ouverts sur les serveurs ou ralentirs certains flux
• Côté Local
  • ton ordi peut être beaucoup plus puissant que ça et donc autoriser plus de coeurs sur le traitement.

Par ailleurs, il y a les impacts réseaux qui peuvent jouer aussi en fonction de où est situé ton serveur par rapport aux fichiers sur lesquels tu travaille.

Donc oui, c'est un problème qui peut arriver, mais qui dépend de beaucoup de paramètres

[Rémy]

Merci Arthur ! je vais voir en interne si nous avons des limitations sur le serveur (outre la limite de deux workflows)

[StephaneP]

Hello @Rémy ,

Autre piste... valider si le mode AMP est bien activé sur ton server. L'AMP passe le moteur en mode mutlti processeur. C'est à dire que le traitement est réparti sur plusieurs processeur. Sur ton poste tu as la main workflow par workflow. Sur le serveur tu peux aussi forcer à le déconnecter. Si tu n'est pas en AMP, le workflow ne s'executera que sur 1 processeur. Cela peut expliquer qu'il soit 4 fois plus lent que sur ton poste.

A valider donc.