optimiser les jointures

Question

Bonjour,

j'ai une dizaine de bases contenant des informations pour 10 millions d'individus.

j'ai besoin de faire une base globale à l’individu avec tous les indicateurs des différentes bases

mais je rencontre des gros problèmes de performances.

en terme d'outils, vaut-il mieux

1°/ utiliser la jointure en intégrant les bases une par une  :

2°/ utiliser l'outil plusieurs jointures directement puis filtrer sur les individus qui m’intéressent ?

y'a t-il des pistes d’optimisation (tri  des données, tables intermédiaires...) pour accélérer le traitement ?

merci de votre aide,

Laurence

StephV · Answer

Salut @ls_ITM Merci pour ta question ! Si ces réponses t'ont aidé, n'hésite pas à "l'Accepter comme solution", elle aidera d'autres utilisateurs 😉

Merci !

simonaubert_bd · Answer

Bonjour,

Quelques pistes :

-effectuer des jointures sur des entiers

-dans vos paramètres utilisateurs, bien régler la quantité de RAM, cela évitera avec un peu de chance une écriture sur le disque.

-ne garder en amont que les lignes et les colonnes qui vous intéressent

Cordialement,

Simon

WilliamR · Answer

Bonjour @ls_ITM ,

avez-vous réussi à résoudre votre problème ?

En terme de performance tout dépend de plusieurs facteurs, notamment la taille en mémoire que vont prendre vos données.

Il est préférable de filtrer en amont avant de faire les jointures sachant que même l'organisation des filtres si vous avez plusieurs conditions a son importance.

Quelques pistes pour vous aider:

https://community.alteryx.com/t5/Forum-Francais/Tips-de-la-semaine-9-Des-jointures-plus-performantes/m-p/300769#M30

https://community.alteryx.com/t5/Base-de-Connaissance-Francais/Filtre-complexe-Vs-Filtres-simples-en-cascade/ta-p/472016

Si vous souhaitez plus d'information, il faudrait nous faire parvenir un workflow d'exemple.

Cordialement.

Si ce post vous aide, merci de le considérer comme solution acceptée afin que d'autres utilisateurs puissent le retrouver plus facilement.