Union, tiempo excesivo?

[encelle]

Buenas, quería saber si es normal que un union de 15gb de información y 10M de registros, dure una hora con una VM que tiene 64gb de ram...

Los registros vienen de varios lotes de TXT, donde limpio los comentarios de cada fichero, convierto a columna y edito las cabeceras de las columnas con la primera línea, después de esto hago un UNION de todos los ficheros para tener un tablón en base de datos con la info de los ficheros.

Me tarda 1h15' aprox. Es normal?

Ya modifiqué el insert por el Bulk Insert y dediqué 32gb de ram al proceso en workflow settings así como en el RuntimeSettings.xml

Gracias de antemano

[carlosteixeira · Accepted solution]

¿Hola buenos dias @encelle como estas?
El volumen es considerable, por lo que diría que llevará un tiempo.
Lo que estoy seguro que puede mejorar tu rendimiento, sería aplicar los siguientes pasos:
1 - Antes que nada, convierte tu TXT´S al formato estándar de ALTERYX, YXDB. Simplemente conversión, lee el TXT y ya escríbelo directamente en YXDB, pasarás un poco de tiempo convirtiéndolos pero ganarás mucho tiempo de lectura.

2 - En algunos casos es interesante apoyar el JOIN mediante FIND REPLACE. Especialmente si va a unir una mesa grande con una pequeña, así que Find Replace funciona mucho mejor. En este enlace demuestro como sucede, echa un vistazo.
https://www.youtube.com/watch?v=2Cpjx-neMMs&list=PL_E-25knLlwHIJa1ZrbklSHbUNyNBHxsQ&index=7&t=46s

3 - si ya estás trabajando con la versión 2020 de alteryx puedes habilitar AMP Engine, que seguro ganará mucha velocidad en el procesamiento de tu flujo de trabajo. Pero esta funcionalidad solo está disponible en la versión 2020, ¿vale?

Espero que estos consejos te ayuden

Carlos Teixeira