Junção na DB entre Redshift e Oracle

[celycalatayud]

Preciso fazer um join entre duas tabelas que estão em 2 conexões diferentes : Uma tabela está no Oracle e a outra tabela no Redshift. Se eu utilizar a ferramenta JUNÇÃO NA DB , irá aparecer o erro de 'os lados direito e esquerdo devem ter a mesma conexão". Alguma sugestão ? Obrigada.

[Thableaus]

Olá @celycalatayud 

Nesse caso você terá que fazer um Data Stream Out em uma delas, ou até nas duas.

Depende muito da quantidade de dados que vem de cada uma.

Qual é a maior tabela, nesse caso?

Você tem permissão de escrita nos dois bancos?

[celycalatayud]

Infelizmente só tenho permissão de leitura nas duas tabelas das duas
conexões .
As tabelas são muito grandes , com por volta de 40 milhões de registros
cada uma.

Obrigada pela ajuda !!

Cely

[carlosteixeira · Accepted solution]

Oi @celycalatayud tudo bem?

Com o @Thableaus disse você precisará trazer os dados de um dos lados para o data STREAM OUT e depois fazer um DATA STREAM IN entrando no mesmo banco que a primeira conexão, mas para usar isso você precisaria ter permissão de escrita no banco, pelo menos nas tabelas temporárias. Seu workflow ficaria mais ou menos igual da imagem abaixo:

Como você não tem essa permissão, existe a saída de você fazer usar o DATA STREAM OUT dos dois lados e aí sim, usando as ferramentas do IN/OUT, conseguir juntar seus dados.

Acredito que pelo volume (40 milhões) fica meio inviável fazer isso.

Mas ainda acho que valeria a pena testar, eu faria da seguinte maneira:

Usaria as ferramentas normais de input Data, usando as conexões OCI, que são mais rápidas e dão melhor performance nas leituras das tabelas e tentaria fazer o JOIN normal.

Começe com uma pequena amostra de dados e depois vá aumentando o volume e veja como se comporta.

Espero que ajude

Abraços

Carlos Teixeira

[celycalatayud]

Obrigada pela ajuda !

[FláviaB]

Conseguiu resolver, @celycalatayud? Nos avise se ainda continuar com alguma dúvida. 😉 

[Thableaus]

@celycalatayud 

Pode tirar um print do seu fluxo também, se possível?

[celycalatayud]

Obrigada pela ajuda!