Base de Connaissance

Après plusieurs questions posées autour de ce sujet, voici un rapide tutorial pour extraire les couleurs de fonds des cellules d'un classeur Excel.   Cette fonctionnalité n'étant pas disponible nativement dans Designer, nous utiliserons un peu de code Python pour cette opération.   Pourquoi vouloir extraire la couleur de fond des cellules d'une feuille Excel ?   Tout simplement car il s'agit bien souvent d'une information importante, au même titre que la valeur contenue dans la cellule.   Nous utilisons ici la librairie openpyxl de Python. Pour installer cette librairie (non contenue par défaut), il faut suivre la procédure écrite disponible ici.   Visuel du fichier Excel d'exemple et du workflow :   Voici le code: from ayx import Alteryx import pandas as pd import numpy as np from openpyxl import Workbook from openpyxl import load_workbook from openpyxl import styles #Load the data from Alteryx WF (Excel Path) df=Alteryx.read("#1") # Load the Excel sheet excelfile = df.get_value(0,"ExcelFile") wb = load_workbook(filename=excelfile) #Load the active sheet, if needed load another sheet based on the name #(https://openpyxl.readthedocs.io/en/stable/tutorial.html) ws = wb.active #Get row and column count row_count = ws.max_row col_count = ws.max_column #Create the array to store the cell color result_array = np.full((row_count,col_count),'', dtype=object) #Initialize some variables i=0 j=0 #Iterate through worksheet and print cell contents in hex #If needed convert it to RGB inside python or into Alteryx with a formula for row in ws.iter_rows(): for cell in row: result_array[i,j]=cell.fill.start_color.index j+=1 if(j==10):j=0 i+=1 #Create the result dataframe to pass to Alteryx df = pd.DataFrame(result_array) #Send the dataframe Alteryx.write(df,1)   Ne pas oublier de positionner le fichier d'exemple "Test.xlsx" dans un réperoire et de modifier le chemin dans l'outil input data.   Ce code peut ensuite être personalisé pour extraire la fonte, les valeurs des cellules,...  

      Saviez vous que les visualisations sont perçues 60,000 X plus vite par le cerveau que par le texte ?   C’est une information que j’ai appris très tôt dans ma carrière dans le monde de la donnée.   Printemps 2015, j’étais assistant chef de projet dans la DSI d’un grand acteur du luxe à Paris.     Mon manager m’avait donné comme objectif de l’assister à optimiser le pilotage des différentes équipes de prestation informatique en ayant une vue consolidée sur le nombre de jours passés par projet, temps de résolution de problèmes critiques, etc.   J’étais stagiaire et j’étais impressionné par la quantité d’information que je recevais chaque jour et les processus complexes par lesquels l’entreprise passait pour extraire les demandes d’évolution et de maintenance, les formatter, les saisir sur Excel, puis les enrichir, puis produire des analyses, ensuite les mettre sur un PowerPointune fois par semaine pour les réunions de pilotage.   C'est là où je découvre le pouvoir de la visualisation de données avec Power BI.   Nous avons pu récupérer des données de plusieurs sources, en faire des calculs intelligents et produire un Dashboard qui permet d’avoir une vue à 360° sur une activité pour en faire un pilotage efficace.   Ce premier use case m’a fait comprendre qu’avant de vouloir visualiser la donnée, il faut la préparer, s’assurer qu’elle est valide, de manière qu’elle soit exploitable dans le format souhaité par « Power BI ». Un exemple simple est de faire par exemple du Pivot Table. « D’une donnée illisible, chronophage et non mise à jour à un Dashboard en temps réel qui aide à la décision, en 5 minutes. Là est la puissance de Power BI. ».     Puis, Power BI permet de faire un enchainement d’opérations sur les données, chaque étape à droite de l’écran permet de voir quelle opération a été faite. La capacité de Data préparation est présente mais néanmoins limitée pour trois raisons : L’interface ne permet pas d’identifier de manière visuel (pictogramme, couleur…) les types d’étapes qui ont été ajoutés (Suppression de champs, Ajouts de colonnes, séparation de colonnes, chercher et remplacer des caractères, formatage des données). C’est simplement une information textuelle. Il n’est pas possible de produire un diagramme reprenant l’ensemble de ces données et de générer une documentation spécifique à cet enchainement d’étapes. Revenir quelques étapes avant ou avancer quelques étapes après peut produire des erreurs en fonction des manipulations faite sur les données. Plus tard, en tant que Consultant Data Analytics, j’ai travaillé avec  plusieurs entreprises pour les aider à valoriser leur donnée au travers de la visualisation de données.   Quand les traitements devenaient volumineux, je conseillais d’implémenter une couche intermédiaire type cube ou module tabulaire pour centraliser les traitements.     Fort d’une expérience de 3 ans, et après avoir vu l’implémentation de Power BI chez + 20 clients tout secteur confondu, je le dis avec confiance : La promesse de Power BI qui est celle de permettre aux utilisateurs d’importer, transformer, de calculer (avec DAX ou M) et de visualiser leurs données en quelques clics est tenue...pour des utilisateurs qui ont de la technicité. En effet, utiliser DAX ou M n'est pas tout à fait destiné à des utilisateurs métiers. En tant que consultant technique, il était aisé pour moi d'utiliser du DAX ou du M, mais ce n'est pas le cas des métiers (Contrôle de gestion, Finance, RH) qui utilisent Power BI. A partir du moment où il y a besoin de faire de l’historisation, du monitoring/versioning de flux de données, du calcul complexe sur plusieurs dimensions et mesures, le modèle de préparation de données à ce niveau-là n’est plus suffisant. L’une des forces de Microsoft est de pouvoir mettre à disposition des informaticiens des outils comme SSIS & SSAS pour assurer la partie ETL et l’intelligence de calcul. Ces deux outils peuvent également bénéficier de la puissance du cloud Azure pour être déployé rapidement.   Toutefois, il n’est pas aisé pour un utilisateur métier de faire bon usage de SSIS ou de SSAS. Ce ne sont pas des outils qui sont destinés à des utilisateurs métiers, qui fonctionnent au travers de code SQL et de packages à « déployer », souvent avec un outil de gestion de version type SVN pour industrialiser les déploiements. Les développements doivent faire donc l’objet de spécifications fonctionnelles et techniques, validés par les métiers, puis les développeurs qui doivent régulièrement vérifier avec les métiers si leurs développements répondent bien à leurs besoins. Ceci peut être chronophage, particulièrement quand le besoin d’analyse est urgent.   C’est là où la plateforme Alteryx prend tout son sens dans une architecture Alteryx + Power BI   C’est une plateforme d'analyse de données en libre-service avec une plateforme capable de vous aider à découvrir, préparer et analyser toutes vos données, puis de déployer et partager des analyses à grande échelle pour en faire des visualisations pertinentes sur Power BI Alteryx a 4 pilliers, et chacun répond à une spécificité de la journée analytique, c’est-à-dire de la découverte de la donnée, son usage et analyse, son partage, et sa mise à l’échelle en production.  Quand on pense préparation de données, la logique Alteryx veut que chaque étape soit « visible » et « documentée ». L’utilisateur visualise les étapes par lesquelles passent ses données et ce, de manière aisée, flexible et sans code.     Ceci permet de : Développer un workflow. Chaque icone représente une opération faite sur les données. Un ensemble d’icone constitue un workflow par lequel les données transitent. Chaque groupement d’icone ayant des fonctionnalités similaires ont un code couleur différents. Sur l’exemplee : On voit 4 couleurs : Verts : Entrée et visualiser les données Bleu : Préparation et transformation des données Violet : Jointure de données Marron : Outils prédictifs. En un coup d’œil, il est possible de voir les principales opérations d’un workflow.   En combinant Alteryx et Microsoft Power BI, les organisations peuvent rationaliser et accélérer le processus de préparation et d'analyse des données. Ceci fournit une manière plus rapide de fournir une expérience de bout en bout pour l'accès aux données, la préparation, l'analyse, la visualisation et la consommation, fournissant plus des analyses plus rapidement avec un ensemble plus complet de données.  « Alteryx donne du pouvoir au rôle disruptif de « Citizen Data Scientist », c’est-à-dire offrir la capacité à un analyste d’appliquer des modèles prédictifs, et ce, sans coder. C’est une révolution. »   The Beauty & The Brain : Comment rendre vos découvertes data science visuellement parlante pour les analystes ?   Power BI intègre du code R, et des visuels Python…Et pourquoi pas faire du Code R, Python, et bénéficier de + 15 modèle prédictifs sur Alteryx pour déployer les résultats sur Power BI et les visualiser ?   Visualiser ses données dans des Dashboard parlants a une importance capitale pour comprendre son activité, et donc de mieux la piloter, et prendre les décisions nécessaires. Jusque-là, la capacité de pouvoir appliquer des modèles prédictifs était un terrain réservé à des Data Scientists qui avaient la connaissance informatique et statistique nécessaire pour entrainer des modèles sur les données. Etant  intéressé par les infinies possibilités de la data science, le fait d’avoir un outil qui me permette à la fois de préparer mes données, de les analyser, et d’appliquer des modèles prédictifs en quelques clics est une opportunité en or pour pousser mes analyses plus loin. Ci-dessous, vous voyez les différents modèles disponibles : Réseau de neurones, régression linéaire, arbre de décision, etc.     « Code free oui. Code friendly aussi » Avec Alteryx, vous pouvez faire usage de ces outils prédictifs sans code, mais également entrer dans le code avec lequel l’outil est développé. Ceci donne donc de la flexibilité aux data scientists de modifier le code en fonction de leurs besoins et de leurs connaissances.   En résumé, étant un utilisateur de Power BI depuis 4 ans, retrouver la simplicité d’usage de la visualisation dans la manière de préparer les données avec Alteryx offre une vraie valeur ajoutée au processus analytique. Il est aujourd’hui aussi simple de faire de la visualisation que de faire de la préparation de données ou d’appliquer des modèles prédictifs et ce, sans connaissances techniques poussées.   Je vous laisse avec quelques liens utiles :  Webinar | Comment devenir Citizen Data Scientist ? Comment connecter Power BI à Alteryx Academy Alteryx | Formation gratuite sur Alteryx A bientôt pour un nouveau post sur la communauté,   Zakaria  

Savez-vous qu'avec Alteryx il est possible de créer automqtiquement une documentation de son workflow ? Fini les corvées à rédiger vos documentations, utilisez Alteryx pour documenter vos flx Alteryx.

Produire un document réglementaire à partir d'Alteryx, Python et d'un template

Récemment, j’ai cherché à optimiser un workflow qui traite 55 millions d’enregistrements en 1heure.   En utilisant l’outil de profiling (voir le tip de @WilliamR: Tips de la semaine (3.1):Améliorer la performance de son workflow), j’ai découvert qu’une des fonctions les plus gourmandes était une « batch macro » qui itérait 150 fois.   Cette « batch macro » qui s’exécute en approximativement 17 secondes contient un filtre « complexe » (c.à.d. avec 2 conditions liées par un « AND ») qui représente la majorité du temps de traitement.   Sur les conseils de @WilliamR, j’ai converti ce filtre « complexe » en une suite de 2 filtres simples et voici les résultats en terme de performance :   Sur 55 millions d’enregistrements, 1 itération de la batch macro :   Filtre 1 Filtre 2 Temps d’exécution (secondes) Variable texte = condition AND Variable numérique != 0             Non 17,1 Variable texte = condition Variable numérique != 0             16,1 Variable numérique != 0 Variable texte = condition 13,1   Soit un gain de 30% en mettant 2 filtres simples en cascades… et en prenant soin de mettre le type de donnée le plus simple (numérique) avant le filtre sur la variable « chaine » qui est, de façon logique, plus lent en exécution.   Comme souvent, les solutions « élégantes » (ici filtre complexe) ne sont pas toujours les plus performantes !

Vous souhaitez utiliser toute la puissance de Salesforce avec Alteryx pour mieux cibler vos clients ou effectuer des analyses commerciales plus fines ? Lisez cet article "How to".

Les possibilités d'Alteryx Designer en matière d'analyse de données sont quasi infinies. Il m'a paru intéressant de les utiliser pour créer une application de simulation de couverture réseau à partir de données publiquements disponibles sur le site de l'ANFR (disponibles au format .csv) en les couplant aux données de délimitation des communes de France disponibles sur le site Open Data data.gouv.fr (disponibles au format shapefile .shp). L'application produite est un démonstrateur qu'il conviendra par la suite de faire évoluer, notamment avec la mise à jour des informations relatives à l'orientation des antennes et leur portée.

Voici un guide pratique qui vous propose trois options pour vous aider à intégrer de nombreux fichiers facilement dans un workflow !  

Un aspect important des processus d'analyse de données souvent demandé, lorsque l'on travaille dans un cadre réglementé, est de conserver la traçabilité des changements. Ceci est souvent très difficile à réaliser mais avec Alteryx, tout devient possible !!!   1) La première chose à faire est de générer une documentation du Workflow. Pour rappel l'article suivant décrit comment générer une documentation .pdf à partir d'un fichier workflow: https://community.alteryx.com/t5/Base-de-Connaissance-Francais/Generer-automatiquement-une-documentation-de-son-workflow/ta-p/420880   2) La seconde chose à faire est de planifier l'application de génération de rapport sur Alteryx Server afin de générer automatiquement une documentation pour tous les Workflows de l'entreprise. Cette opération peut être effectuée en modifiant légèrement l'application de documentation pour prendre un ensemble de fichier de Workflow en entrée et produire ainsi de manière automatique les documentations (en planifiant la nuit par exemple).   3) Enfin, un simple outil de comparaison de fichier .pdf permettra d'identifier les changements entre deux versions de workflow (ie deux versions de documentation). Par exemple le logiciel Acrobat possède cette fonction, il en existe aussi d'autres en ligne et gratuits.     Les modifications apportées apparaissent par la suite et sont très facilement identifiables comme le montre la capture ci-dessous.   Un exemple complet se trouve à cette adresse.   Pour plus d'information sur une mise en œuvre éventuelle, n'hésitez pas à nous contacter.

Si on vous dit Calendrier Grégorien, jours fériés, ça vous parle ? Et si on regardait comment les calculer pour la France en utilisant seulement l'année ! 

Envie de sortir de vos routines analytiques dans lesquelles les problématiques se ressemblent ? De sortir de votre zone de confort ?   Je partage avec vous chaque semaine la manière dont j'ai relevé le défi de la semaine 💪🏼  

Retrouvez ici l'index complet de la base de connaissance. 

How To: Utiliser WinSCP avec Alteryx Designer pour faire du téléchargement en mode avancé   Après avoir rencontré pas mal de cas nécessitant l'utilisation de WinSCP, voici un rapide tutorial pour pouvoir utiliser toute la puissance de ce logiciel pour gérer vos transferts de fichiers. Tout d’abord, qu’est-ce que WinSCP et à quoi cela sert ? Un rapide tour sur le site et vous trouvez pourquoi ce logiciel est aussi populaire :   « WinSCP est un client SFTP et un client FTP populaire pour Microsoft Windows ! Copiez des fichiers entre un ordinateur local et des serveurs distants en utilisant les protocoles de transfert de fichiers FTP, FTPS, SCP, SFTP, WebDAV ou S3. »   Prerequisites   Product - Alteryx Designer, Product - WinSCP, Créer ler répertoire c:\Temp\   Procedure   Télécharger WINSCP depuis le site officiel : https://winscp.net/eng/download.php Utiliser le workflow joint en modifiant les éventuelles commandes en fonction de vos paramètres Chemin vers l'exécutable WinSCP Paramètres de votre serveur (serveur, port) Nom de votre fichier à télécharger Nom de votre répertoire local qui recevra le fichier téléchargé Chemin pour le fichier de log   Les paramètres de connexion ont été structurés dans un outil TextInput:      Puis chaque commande à envoyer au logiciel WinSCP par l'intermédiaire de l'outil RunCommand est générée par une formule.   Voici un exemple de commande :  /command "open sftp://demo-user:demo-user@demo.wftpserver.com:2222" " GET ""/download/manual_en.pdf"" c:\temp\" "/log=c:\temp\winscp.log"   Cette ligne de commande effectue une connexion (le serveur est opérationnel) puis récupère le fichier "manuel_en.pdf" situé dans le répertoire "download" puis créé un log d'exécution dans "c:\temp". Dans le cas où il est nécessaire d'utiliser une clé, voici la page contenant la documentation. Afin de gérer dynamiquement les lignes de commandes l'outil RunCommand recevra les lignes de command à travers un Macro ce qui permettra de "batcher" les commandes.   Remarque : l'outil RunCommand utilisé dans la macro requiert un fichier dont le chemin est défini dans les propriétés de l'outil (dans la macro).   Afin de faire fonctionner l'exemple, il faut créer le répertoire c:\temp\ puis positionner dedans le fichier dummy.csv. A la fin de l'exécution, le répertoire c:\Temp\ devrait contenir les fichiers suivants :     Workflow   Macro     Common Issues   Winscp n'est pas installé sur le poste Se référer au début de l'article Erreur: Error: Winscp (20): The output connection "Output15" was not valid Le fichier "dummy.csv" n'est pas présent dans c:\Temp\    Additional Resources   Liste des commandes WinSCP https://winscp.net/eng/docs/commandline

Cet article fait partie de la série Maîtrise des outils, une compilation de contributions à la Base de connaissances visant à présenter divers exemples d'utilisation des outils Designer. Ici, nous allons nous pencher sur les utilisations de l'outil Entrée de données dans le cadre de notre apprentissage de la maîtrise d'Alteryx Designer  :    L'outil Entrée de données est le point de départ dans Designer. Il vous est bien entendu possible d'apporter des données ratissées sur le Web ou provenant d'API à l'aide de l'outil Télécharger (apprenez à le maîtriser ici) et de nos outils Connecteur préconçus, mais l'outil le plus simple pour extraire les données de vos formats de fichiers et bases de données les plus utilisés est l'outil Entrée de données. À noter :   Vous pouvez entrer n'importe quel format de fichier pris en charge avec un simple explorateur de fichiers :                 Définitivement terminé. Une fois aue le fichier d'entrée est sélectionné, vous pouvez afficher un aperçu du jeu de données entrant dans le menu de configuration de l'outil.   Connectez-vous à des sources de données ODBC ou OleDB  Assurez-vous d'enregistrer vos connexions de base de données sous forme d'alias pour pouvoir les saisir plus rapidement ultérieurement !   Décompressez et entrez les fichiers .zip   Vous pouvez également utiliser l'outil Entrée de données avec un caractère générique (*) pour entrer plusieurs fichiers du même schéma depuis un seul répertoire. Découvrez comment utiliser le caractère générique et entrer des tables de différents schémas ici.   À la recherche d'entrées plus dynamiques  ? Vous pouvez compter sur l'aide de l' outil Entrée dynamique  ! Apprenez à le maîtriser ici.   Remarque  : Si vous partagez des workflows avec des entrées, n'oubliez pas de les exporter si le ou la destinataire ne dispose pas déjà du même fichier d'entrée sur son ordinateur.   Maintenant, vous devriez avoir une compétence de niveau expert avec l'outil Entrée de données ! Si vous pensez à un cas d'utilisation que nous avons oublié, n'hésitez pas à utiliser la section commentaires ci-dessous !    Vous souhaitez maintenant contribuer au blog de la communauté en partageant vos expériences et en apprenant à utiliser nos nouveaux outils dans votre vie quotidienne, envoyez moi un e-mail à Stephanie.jansen@alteryx.com.   Si vous avez des questions, la communauté est là pour y répondre sur le Forum.    Restez à l'écoute de nos dernières publications en vous abonnant aux notifications par email sur la Base de Connaissance.    *Cet article a été écrit par @MattD sur la Communauté anglaise.   

Une boîte à outil de fonctions utiles avec leur fonctionnement.

Des astuces pour les fonctions de dates dans Alteryx et leur utilisation !

Lire dans plusieurs fichiers Excel, avec plusieurs onglets qui ont des schémas différents Une des meilleures choses au sujet de Alteryx est la capacité de lire dans plusieurs dossiers très facilement et de les combiner automatiquement en un seul DataSet. Cela devient un peu plus délicat lorsque vous traitez avec des fichiers qui ont des schémas différents ou des fichiers Excel avec plusieurs onglets. L'ajout de plusieurs fichiers Excel avec plusieurs onglets et la modification du schéma dans chaque onglet le prend à un autre niveau. Si vos onglets ont le même schéma, l'article que vous voulez lire est ici. La façon d'accomplir la tâche si les onglets ont (ou peuvent avoir) des schémas différents (changement de noms de champs en fonction de la feuille) est d'utiliser des macros de lot imbriquées. J'ai joint un exemple de workflow construit dans 11,0 qui démontre le processus. Dans le workflow principal illustré ci-dessus, l'entrée de l'outil de répertoire tire dans les chemins de fichiers de tous les fichiers .xlsx dans le répertoire que vous pointez vers (Notez que vous devrez peut-être rediriger cet outil dans l'exemple vers un répertoire de votre ordinateur). La plupart de la magie se produit dans la macro photo ci-dessus. Cette macro prend le champ, et met à jour l'outil de données d'entrée principal pour lire le premier fichier dans la liste à partir de l'entrée d'annuaire. Il est configuré pour lire la liste des noms de feuilles dans ce premier fichier, mais également pour afficher le chemin d'accès complet à partir de l'outil de données d'entrée. Un nouveau champ est formaté dans la formule pour un chemin d'accès complet acceptable pour un fichier Excel, y compris le nom de la feuille souhaitée. Ce chemin de fichier final est passé dans la 2ème macro comme paramètre de contrôle. La deuxième macro est très simple. Il prend le chemin de fichier reçu à partir de la première macro, met à jour l'outil de données d'entrée, lit dans ce fichier et le transmet ensuite à la première macro. Il répète ce processus une fois pour chaque feuille dans chacun des fichiers en cours de passage à partir de l'outil d'entrée de répertoire. Chaque macro batch contient les données jusqu'à ce que chaque lot soit terminé et le combine en un ensemble de données volumineux. Note: l'échantillon a été créé en 11,0-il ne sera pas ouvert dans les versions antérieures. Une des meilleures choses au sujet de Alteryx est la capacité de lire dans plusieurs dossiers très facilement et de les combiner automatiquement en un seul DataSet. Cela devient un peu plus délicat lorsque vous traitez avec des fichiers qui ont des schémas différents ou des fichiers Excel avec plusieurs onglets. L'ajout de plusieurs fichiers Excel avec plusieurs onglets et la modification du schéma dans chaque onglet le prend à un autre niveau. 11,0

L'outil Regex est un peu comme le couteau suisse de l'armée d'analyse dans Alteryx ; il y a beaucoup de façons dont vous pouvez l’utiliser pour faire les choses plus rapidement ou plus efficacement, mais même si vous utilisez simplement la lame, il est encore immensément utile. 

L'outil Bloquer jusqu'à la fin est l'un des outils qui peut ne pas être couramment utilisé quand vous débutez avec Alteryx. Mais au fur et à mesure que les utilisateurs commencent à créer des workflows plus complexes, si des erreurs commencent à apparaître, cet outil peut s'avérer très utile. La meilleure façon de décrire cet outil est qu'il est comme un contrôleur de trafic pour votre workflow.

Dans tout cycle de vie de produits des changements structurant apparaissent et nécéssitent de s'assurer qu'il n'y ait pas de régressions. Comment réaliser ses tests de manière exhaustive sans à priori sur les données ?   C'est à cette question que nous allons répondre.

  Les outils en base de donnée sont souvent méconnus et ceci à tort, voici un premier aperçu de ce que l'on peut en faire !