Tips de la semaine (6) - Ecrire plus rapidement des données avec Hive

[WilliamR]

Optimiser les écritures à travers Hive/ODBC

Hive ODBC peut être lent lorsque l’on écrit une table entière. Si vous souhaitez créer une nouvelle table ou écraser une table existante, la méthode la plus efficace est d’utiliser les outils In-Database avec l’option d’écriture paramétrée sur HDFS(Avro) pour augmenter la rapidité d’écriture (Remarque : les outils In-Database ne permettent pas de faire des Updates).

Vous pouvez utilser l’outil Data Stream In tool pour effectuer cette écriture à la place de l’outil standard Output-Sortie de données :