Eliminar datos duplicados

[FernandoR]

Hola comunidad buenas tardes.

Alguien podría ayudarme, llevo tiempo intentando finalizar un flujo de trabajo, estoy atorado en la última parte, ya que al momento de hacer un cruze entre datos, tengo 2 filas con los datos que requiero, pero cuando pasa por el Join la información, en lugar de seguir siendo 2 y solamente me traiga los campos de la otra base que necesito, los duplica haciendo de los 2 datos que existian en 4, por lo tanto esto me duplica el saldo, y eso me esta ocasionando problema al estar sumando saldos duplicados.

Ya intente con la herramienta Unico y en algunos casos si me esta ayudando, pero identifique que cuando viene una empresa con casi los mismos datos y con 2 movimientos de pagos, esto me lo convierte en 1, lo cual tambien es incorrecto, ya que necesito que la información pase completamente, y no me duplique datos, pero tampoco los agrupe de modo que se pudiera perder algun movimiento, alguien sabra de alguna otra forma de hacer eso? Muchas gracias

[binuacs]

@FernandoR 

Creo que tienes claves duplicadas en ambos conjuntos de datos, por eso estás obteniendo registros duplicados en el resultado del join. ¿Podrías proporcionar datos de ejemplo y el resultado esperado?

[FernandoR]

Hola @binuacs la computadora no me deja adjuntar flujos de trabajo, si no te lo compartiria para que me entendieras un poco mejor, imagino son candados de la empresa ya que estoy desde la computadora del trabajo, pero te explico a ver si puedo ayudar un poco mas por que si no he encontrado la forma , antes de pasar por el join hay un numero de registro que esta 2 veces, despues de pasar por el join por alguna razon la cual no logro entender, en lugar de 2 ya son 4 exactamente iguales, cheque tanto la entrada del right como el de left, y solamente traigo ese registro en el right, pero en la otra base no viene ese registro, pero por medio de una llave que en este caso es la referencia hago el cruce de información para poder traer el campo que necesito, pero no debería duplicarse, yo esperaría que solamente al cruzar la información me trajera el campo que necesito sin duplicar el registro

No se si me entendiste un poco mejor, se que es dificil sin ejemplos pero no me da la opcion la computadora, te agradezco.

 

 

[binuacs · Accepted solution]

@FernandoR 

Revisa si los campos de clave de unión se están duplicando en ambos archivos de entrada. Por ejemplo, si emp_id es tu clave de unión, verifica que el emp_id en ambos archivos sea único.

Para comprobar esto, agrega la herramienta Unique después del primer archivo de entrada y selecciona únicamente el campo que estás utilizando como clave de unión en la herramienta Join. Repite el mismo proceso en el segundo archivo de entrada y verifica si hay duplicados.

[FernandoR]

es que poniendolo asi digamos que el emp_id viene siendo mi campo que se llama (referencia), que es con lo que estoy haciendo el join,ya que viene en ambos archivos de entrada,y es la forma de traer el campo que necesito del archivo de entrada que esta en el right que se llama Registro ID, el tema es que el campo referencia si puede repetirse, pero lo que los distingue digamos sería el Registro ID, por lo tanto si yo pongo como unico la referencia me haría como una agrupación de las referencias y se perderían bastante datos, por que como te comento, la referencia si puede repetirse , lo que cambia es el Registro ID, tendras algun modo de mostrarme como lo harías tu con un flujo pequeño un unico pero que no se dupliquen datos, pero que tampoco se agrupen y se llegara a perder alguno? Si es posible , muchas gracias,

[binuacs]

Déjame entender la situación aquí. Tienes el campo referencia en ambos archivos y estás usando este campo para unir los archivos. Debido a que el campo referencia tiene valores duplicados, se están creando más registros duplicados en el resultado del join. Mi pregunta aquí es, ¿por qué no usas también el campo Registro ID como clave en la herramienta de join? Si el campo Registro ID existe en ambas tablas, entonces puedes usar los campos referencia y Registro ID para hacer el join en la herramienta de join, o me estoy perdiendo de algo

[ladazhome]

mira aqui hay un ejemplo que pudiera ayudarte: Solved: See All records that are duplicates, including the... - Alteryx Community

suerte!

[FernandoR]

Hola @binuacs de hecho si fue esa la solución, estaba usando el Unique despues del Join, quitandolo de ahí y poniendolo en el archivo de entrada izquierdo que es donde se me estaban duplicando pero antes del Join y usando unicamente los campos que estoy utilizando para la union. Asi empate bien con lo que necesito hacer, solo faltaría revisar que asi se mantenga, ya que como te dije solo lo hice del lado izquierdo del Join, en el derecho no puse ningun Unique, por que de ahi si quiero toda la información, aunque analizando creo solo era necesario del lado donde me estaba duplicando información que era el left, bueno, por ahorita me funciono muy bien hacerlo de esta manera.

Te agradezco mucho !! :D

[FernandoR]

Muchas gracias, vere el ejemplo :D