Wiki source code of Connecteur BigQuery

Last modified by jhurst on 2022/11/14 09:18
Show last authors
1 {{ddtoc/}}
2
3 ----
4
5 = Prérequis =
6
7 * Un compte Google BigQuery
8 * DigDash 2021R2 ou au dessus
9
10 = Installation du driver JDBC =
11
12 Pour installer le driver JDBC BigQuery il faut remplacer les fichiers suivants dans **ddenterpriseapi/WEB-INF/lib** et **studio/WEB-INF/lib** par les fichiers équivalents livrés dans le zip du driver BigQuery (ça se peut que les versions soient différentes) :
13 * google-api-client-1.23.0.jar
14 * google-http-client-1.20.0.jar
15 * google-http-client-gson-1.20.0.jar
16 * google-api-services-bigquery-v2-rev355-1.22.0.jar
17 * gson-2.1.jar
18 * google-oauth-client-1.23.0.jar
19 * GoogleBigQueryJDBC42.jar
20
21 Puis ajouter les fichiers suivants du zip :
22 * animal-sniffer-annotations-1.20.jar
23 * annotations-4.1.1.4.jar
24 * api-common-2.1.3.jar
25 * auto-value-annotations-1.9.jar
26 * avro-1.11.0.jar
27 * conscrypt-openjdk-uber-2.5.1.jar
28 * error_prone_annotations-2.11.0.jar
29 * failureaccess-1.0.1.jar
30 * gax-2.11.0.jar
31 * gax-grpc-2.11.0.jar
32 * google-auth-library-credentials-1.4.0.jar
33 * google-auth-library-oauth2-http-1.4.0.jar
34 * google-cloud-bigquerystorage-2.8.3.jar
35 * google-cloud-core-2.4.0.jar
36 * google-http-client-apache-v2-1.40.1.jar
37 * grpc-alts-1.44.0.jar
38 * grpc-api-1.44.0.jar
39 * grpc-auth-1.44.0.jar
40 * grpc-context-1.44.0.jar
41 * grpc-core-1.44.0.jar
42 * grpc-google-cloud-bigquerystorage-v1-2.8.3.jar
43 * grpc-google-cloud-bigquerystorage-v1beta1-0.132.3.jar
44 * grpc-google-cloud-bigquerystorage-v1beta2-0.132.3.jar
45 * grpc-grpclb-1.44.0.jar
46 * grpc-netty-shaded-1.44.0.jar
47 * grpc-protobuf-1.44.0.jar
48 * grpc-protobuf-lite-1.44.0.jar
49 * grpc-stub-1.44.0.jar
50 * guava-31.0.1-jre.jar
51 * j2objc-annotations-1.3.jar
52 * javax.annotation-api-1.3.2.jar
53 * jsr305-3.0.2.jar
54 * listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar
55 * opencensus-api-0.31.0.jar
56 * opencensus-contrib-http-util-0.31.0.jar
57 * perfmark-api-0.23.0.jar
58 * proto-google-cloud-bigquerystorage-v1-2.8.3.jar
59 * proto-google-cloud-bigquerystorage-v1beta1-0.132.3.jar
60 * proto-google-cloud-bigquerystorage-v1beta2-0.132.3.jar
61 * proto-google-common-protos-2.7.2.jar
62 * proto-google-iam-v1-1.2.1.jar
63 * protobuf-java-3.19.3.jar
64 * protobuf-java-util-3.19.3.jar
65 * threetenbp-1.5.2.jar
66
67 = Création d'une source de données BigQuery =
68
69 == Création d'une connection nommée (optionnel) ==
70
71 Vous pouvez créer une connexion nommée afin de pouvoir réutiliser cette connexion dans plusieurs sources de données différentes. En centralisant la configuration de votre connexion, vous pourrez plus facilement reconfigurer la connexion sans devoir modifier les sources de données dans l'avenir si besoin.
72
73 Pour créer cette connexion nommée :
74
75 1. Ouvrez l'interface de gestion des connexions aux bases de données.
76 1. Cliquez sur le bouton ajouter.
77 1. Choisissez BigQuery dans la liste déroulante.
78 1. (((
79 Remplissez les informations de la connexion :
80
81 * **Hôte** : L'adresse de l'hôte BigQuery.
82 * **Port** : Le port de la base de données.
83 * **Projet** : Le nom de votre projet BigQuery.
84 * **Authentification** : La méthode d'authentification à utiliser (voir [[Authentification>>doc:||anchor="HAuthentification"]]).
85 * **Options** : Des options supplémentaires de connexion afin de configurer l'authentification et/ou les paramètres de la connexion.
86 )))
87
88 === Authentification ===
89
90 Il y a plusieurs méthodes d'authentification pour se connecter à BigQuery :
91
92 ==== Compte de service Google ====
93
94 Pour cette méthode d'authentification, il vous faudra copier le fichier .p12 ou .json sur le serveur DigDash et spécifier deux options de connexion via le bouton d'options lors de la configuration de la connexion :
95
96 * **OAuthServiceAcctEmail** : L'adresse email de votre compte de service Google
97 * **OAuthPvtKeyPath** : Le chemin du fichier .p12 ou .json sur le serveur DigDash
98
99 ==== Compte de d'utilisateur Google ====
100
101 Cette méthode n'est pas supportée.
102
103 ==== Tokens prégénérés ====
104
105 Pour cette méthode d'authentification, il vous faudra spécifier plusieurs options de connexion via le bouton d'options lors de la configuration de la connexion, la première option dénote si vous allez utiliser un token d'accès ou de rafraîchissement :
106
107 * **OAuthAccessToken** ou **OAuthRefreshToken** : Le token d'accès ou le token de rafraîchissement respectivement.
108
109 Si vous utilisez le token de rafraîchissement il vous faudra aussi :
110 * **OAuthClientId** : L'identifiant client.
111 * **OAuthClientSecret** : Le secret client.
112
113 ==== Identifiants par défaut d'application ====
114
115 Pour cette méthode d'authentification, il faut s'assurer d'avoir bien configuré les "Application Default Credentials" sur le "Google Identity Platform". Aucune option de connexion n'est nécéssaire.
116
117 == Configuration de la source de données ==
118
119 1. Cliquez sur **Sources** dans le Studio.
120 1. Cliquez sur BigQuery dans la catégorie **Bases de données**.
121 1. Choisissez une connexion nommée ou configurez une connexion manuelle.
122 1. Configurez votre requête en utilisant l'assistant de création de requêtes :
123 11. Sélectionnez une vue ou une table dans l'arbre à gauche.
124 11. Sélectionnez les colonnes que vous souhaitez récupérer dans le tableau en haut à droite.
125 11. Ajoutez si besoin des filtres en glissant et déposant des colonnes du tableau en haut à droite vers le tableau en bas à droite.
126 1. Une fois la requête configurée, vous pouvez prévisualiser les données dans l'onglet **Columns**.
127 1. Cliquez sur **Suivant**.