Connecteur BigQuery

Modifié par jhurst le 2022/11/14 09:18


Prérequis

  • Un compte Google BigQuery
  • DigDash 2021R2 ou au dessus

Installation du driver JDBC

Pour installer le driver JDBC BigQuery il faut remplacer les fichiers suivants dans ddenterpriseapi/WEB-INF/lib et studio/WEB-INF/lib par les fichiers équivalents livrés dans le zip du driver BigQuery (ça se peut que les versions soient différentes) :

  • google-api-client-1.23.0.jar
  • google-http-client-1.20.0.jar
  • google-http-client-gson-1.20.0.jar
  • google-api-services-bigquery-v2-rev355-1.22.0.jar
  • gson-2.1.jar
  • google-oauth-client-1.23.0.jar
  • GoogleBigQueryJDBC42.jar

Puis ajouter les fichiers suivants du zip :

  • animal-sniffer-annotations-1.20.jar
  • annotations-4.1.1.4.jar
  • api-common-2.1.3.jar
  • auto-value-annotations-1.9.jar
  • avro-1.11.0.jar
  • conscrypt-openjdk-uber-2.5.1.jar
  • error_prone_annotations-2.11.0.jar
  • failureaccess-1.0.1.jar
  • gax-2.11.0.jar
  • gax-grpc-2.11.0.jar
  • google-auth-library-credentials-1.4.0.jar
  • google-auth-library-oauth2-http-1.4.0.jar
  • google-cloud-bigquerystorage-2.8.3.jar
  • google-cloud-core-2.4.0.jar
  • google-http-client-apache-v2-1.40.1.jar
  • grpc-alts-1.44.0.jar
  • grpc-api-1.44.0.jar
  • grpc-auth-1.44.0.jar
  • grpc-context-1.44.0.jar
  • grpc-core-1.44.0.jar
  • grpc-google-cloud-bigquerystorage-v1-2.8.3.jar
  • grpc-google-cloud-bigquerystorage-v1beta1-0.132.3.jar
  • grpc-google-cloud-bigquerystorage-v1beta2-0.132.3.jar
  • grpc-grpclb-1.44.0.jar
  • grpc-netty-shaded-1.44.0.jar
  • grpc-protobuf-1.44.0.jar
  • grpc-protobuf-lite-1.44.0.jar
  • grpc-stub-1.44.0.jar
  • guava-31.0.1-jre.jar
  • j2objc-annotations-1.3.jar
  • javax.annotation-api-1.3.2.jar
  • jsr305-3.0.2.jar
  • listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar
  • opencensus-api-0.31.0.jar
  • opencensus-contrib-http-util-0.31.0.jar
  • perfmark-api-0.23.0.jar
  • proto-google-cloud-bigquerystorage-v1-2.8.3.jar
  • proto-google-cloud-bigquerystorage-v1beta1-0.132.3.jar
  • proto-google-cloud-bigquerystorage-v1beta2-0.132.3.jar
  • proto-google-common-protos-2.7.2.jar
  • proto-google-iam-v1-1.2.1.jar
  • protobuf-java-3.19.3.jar
  • protobuf-java-util-3.19.3.jar
  • threetenbp-1.5.2.jar

Création d'une source de données BigQuery

Création d'une connection nommée (optionnel)

Vous pouvez créer une connexion nommée afin de pouvoir réutiliser cette connexion dans plusieurs sources de données différentes. En centralisant la configuration de votre connexion, vous pourrez plus facilement reconfigurer la connexion sans devoir modifier les sources de données dans l'avenir si besoin.

Pour créer cette connexion nommée :

  1. Ouvrez l'interface de gestion des connexions aux bases de données.
  2. Cliquez sur le bouton ajouter.
  3. Choisissez BigQuery dans la liste déroulante.
  4. Remplissez les informations de la connexion :

    • Hôte : L'adresse de l'hôte BigQuery.
    • Port : Le port de la base de données.
    • Projet : Le nom de votre projet BigQuery.
    • Authentification : La méthode d'authentification à utiliser (voir Authentification).
    • Options : Des options supplémentaires de connexion afin de configurer l'authentification et/ou les paramètres de la connexion.

Authentification

Il y a plusieurs méthodes d'authentification pour se connecter à BigQuery :

Compte de service Google

Pour cette méthode d'authentification, il vous faudra copier le fichier .p12 ou .json sur le serveur DigDash et spécifier deux options de connexion via le bouton d'options lors de la configuration de la connexion :

  • OAuthServiceAcctEmail : L'adresse email de votre compte de service Google
  • OAuthPvtKeyPath : Le chemin du fichier .p12 ou .json sur le serveur DigDash

Compte de d'utilisateur Google

Cette méthode n'est pas supportée.

Tokens prégénérés

Pour cette méthode d'authentification, il vous faudra spécifier plusieurs options de connexion via le bouton d'options lors de la configuration de la connexion, la première option dénote si vous allez utiliser un token d'accès ou de rafraîchissement :

  • OAuthAccessToken ou OAuthRefreshToken : Le token d'accès ou le token de rafraîchissement respectivement.

Si vous utilisez le token de rafraîchissement il vous faudra aussi :

  • OAuthClientId : L'identifiant client.
  • OAuthClientSecret : Le secret client.

Identifiants par défaut d'application

Pour cette méthode d'authentification, il faut s'assurer d'avoir bien configuré les "Application Default Credentials" sur le "Google Identity Platform". Aucune option de connexion n'est nécéssaire.

Configuration de la source de données

  1. Cliquez sur Sources dans le Studio.
  2. Cliquez sur BigQuery dans la catégorie Bases de données.
  3. Choisissez une connexion nommée ou configurez une connexion manuelle.
  4. Configurez votre requête en utilisant l'assistant de création de requêtes :
    1. Sélectionnez une vue ou une table dans l'arbre à gauche.
    2. Sélectionnez les colonnes que vous souhaitez récupérer dans le tableau en haut à droite.
    3. Ajoutez si besoin des filtres en glissant et déposant des colonnes du tableau en haut à droite vers le tableau en bas à droite.
  5. Une fois la requête configurée, vous pouvez prévisualiser les données dans l'onglet Columns.
  6. Cliquez sur Suivant.