Maj tracés réseaux

docs/génération_tuiles_réseaux_de_chaleur.md

@@ -5,15 +5,15 @@ Processus légèrement différent du fill-tiles classique étant donné qu'on a
 ```sh
 # générer un fichier geojson depuis la table reseaux_de_chaleur
 psql postgres://postgres:postgres_fcu@localhost:5432/postgres -c "COPY (
-    SELECT jsonb_build_object(
+    SELECT json_build_object(
         'type',     'FeatureCollection',
-        'features', jsonb_agg(feature)
+        'features', json_agg(feature)
     )
     FROM (
-        SELECT jsonb_build_object(
+        SELECT json_build_object(
             'id',         id_fcu,
             'type',       'Feature',
-            'geometry',   ST_AsGeoJSON(ST_ForcePolygonCCW(ST_Transform(geom,4326)))::jsonb,
+            'geometry',   ST_AsGeoJSON(ST_ForcePolygonCCW(ST_Transform(geom,4326)))::json,
             'properties', json_build_object(
               'id_fcu', \"id_fcu\",
               'Taux EnR&R', \"Taux EnR&R\",
@@ -35,45 +35,12 @@ psql postgres://postgres:postgres_fcu@localhost:5432/postgres -c "COPY (
               'energie_ratio_solaireThermique', \"energie_ratio_solaireThermique\",
               'energie_ratio_pompeAChaleur', \"energie_ratio_pompeAChaleur\",
               'energie_ratio_gaz', \"energie_ratio_gaz\",
-              'energie_ratio_fioul', \"energie_ratio_fioul\",
-              'energie_majoritaire', CASE
-                  WHEN energie_max_ratio = \"energie_ratio_biomasse\" THEN 'biomasse'
-                  WHEN energie_max_ratio = \"energie_ratio_geothermie\" THEN 'geothermie'
-                  WHEN energie_max_ratio = \"energie_ratio_uve\" THEN 'uve'
-                  WHEN energie_max_ratio = \"energie_ratio_chaleurIndustrielle\" THEN 'chaleurIndustrielle'
-                  WHEN energie_max_ratio = \"energie_ratio_solaireThermique\" THEN 'solaireThermique'
-                  WHEN energie_max_ratio = \"energie_ratio_pompeAChaleur\" THEN 'pompeAChaleur'
-                  WHEN energie_max_ratio = \"energie_ratio_gaz\" THEN 'gaz'
-                  WHEN energie_max_ratio = \"energie_ratio_fioul\" THEN 'fioul'
-                  WHEN energie_max_ratio = \"energie_ratio_autresEnr\" THEN 'autresEnr'
-                  WHEN energie_max_ratio = \"energie_ratio_chaufferiesElectriques\" THEN 'chaufferiesElectriques'
-                  WHEN energie_max_ratio = \"energie_ratio_charbon\" THEN 'charbon'
-                  WHEN energie_max_ratio = \"energie_ratio_gpl\" THEN 'gpl'
-                  WHEN energie_max_ratio = \"energie_ratio_autreChaleurRecuperee\" THEN 'autreChaleurRecuperee'
-                  WHEN energie_max_ratio = \"energie_ratio_biogaz\" THEN 'biogaz'
-                  ELSE NULL
-                END
+              'energie_ratio_fioul', \"energie_ratio_fioul\"
             )
         ) AS feature
         FROM (
           SELECT
-            *,
-            greatest(
-              \"energie_ratio_biomasse\",
-              \"energie_ratio_geothermie\",
-              \"energie_ratio_uve\",
-              \"energie_ratio_chaleurIndustrielle\",
-              \"energie_ratio_solaireThermique\",
-              \"energie_ratio_pompeAChaleur\",
-              \"energie_ratio_gaz\",
-              \"energie_ratio_fioul\",
-              \"energie_ratio_autresEnr\",
-              \"energie_ratio_chaufferiesElectriques\",
-              \"energie_ratio_charbon\",
-              \"energie_ratio_gpl\",
-              \"energie_ratio_autreChaleurRecuperee\",
-              \"energie_ratio_biogaz\"
-            ) as \"energie_max_ratio\"
+            *
           FROM (
             SELECT
               *,
@@ -98,7 +65,7 @@ psql postgres://postgres:postgres_fcu@localhost:5432/postgres -c "COPY (
 ) TO STDOUT" | sed -e 's/\\\\"/\\"/g' > reseaux_de_chaleur.geojson
 
 # générer les tuiles à partir du fichier geojson
-yarn cli generate-tiles-from-file reseaux_de_chaleur.geojson reseaux_de_chaleur_tiles
+yarn cli generate-tiles-from-file reseaux_de_chaleur.geojson reseaux_de_chaleur_tiles 0 14
 
 # synchronisation avec la BDD de dev ou prod
 ./scripts/copyLocalTableToRemote.sh dev reseaux_de_chaleur_tiles --data-only

docs/import_reseau_chaleur.md

@@ -15,7 +15,7 @@
 3. Mise à jour des données sur les réseaux depuis Airtable
     - Si la table des réseaux a été mise à jour lors de l'étape précédente : `yarn cli update-networks network`
     - Sinon
-        - `yarn cli download-network network`
+        - `yarn cli download-update-network network`
     - Normalement ce script complète la table *zones_et_reseaux_en_construction* et regénère la table *zones_et_reseaux_en_construction_tiles*
     - /!\\ Note : pour les **réseaux de chaleur**, il faut [générer les tuiles différemment](./génération_tuiles_réseaux_de_chaleur.md).
 

scripts/cli.ts

@@ -9,9 +9,11 @@ import { DatabaseTileInfo, DatabaseSourceId, tilesInfo, zDatabaseSourceId } from
 import { KnownAirtableBase, knownAirtableBases } from './airtable/bases';
 import { createModificationsReseau } from './airtable/create-modifications-reseau';
 import { fetchBaseSchema } from './airtable/dump-schema';
-import { downloadNetwork } from './networks/download-network';
+import { downloadNetwork, downloadUpdateNetwork } from './networks/download-network';
 import { generateTilesFromGeoJSON } from './networks/generate-tiles';
+import { applyGeometryUpdates } from './networks/geometry-updates';
 import { importMvtDirectory } from './networks/import-mvt-directory';
+import { syncPostgresToAirtable } from './networks/sync-pg-to-airtable';
 import { upsertFixedSimulateurData } from './simulateur/import';
 import { fillTiles } from './utils/tiles';
 
@@ -45,11 +47,18 @@ program
     await downloadNetwork(table);
   });
 
+program
+  .command('download-update-network')
+  .argument('<network-id>', 'Network id', validateNetworkId)
+  .action(async (table) => {
+    await downloadUpdateNetwork(table);
+  });
+
 program
   .command('fill-tiles')
   .argument('<network-id>', 'Network id', (v) => zDatabaseSourceId.parse(v))
-  .argument('[zoomMin]', 'Minimum zoom', parseInt, 0)
-  .argument('[zoomMax]', 'Maximum zoom', parseInt, 17)
+  .argument('[zoomMin]', 'Minimum zoom', (v) => parseInt(v), 0)
+  .argument('[zoomMax]', 'Maximum zoom', (v) => parseInt(v), 17)
   .argument('[withIndex]', 'With index', (v) => !!v, false)
   .action(async (table, zoomMin, zoomMax, withIndex) => {
     await db((tilesInfo[table] as DatabaseTileInfo).tiles).delete();
@@ -86,8 +95,8 @@ program
   .command('generate-tiles-from-file')
   .argument('<fileName>', 'input file (format GeoJSON)')
   .argument('<destinationTable>', 'Destination table')
-  .argument('[zoomMin]', 'Minimum zoom', parseInt, 0)
-  .argument('[zoomMax]', 'Maximum zoom', parseInt, 17)
+  .argument('[zoomMin]', 'Minimum zoom', (v) => parseInt(v), 0)
+  .argument('[zoomMax]', 'Maximum zoom', (v) => parseInt(v), 17)
   .action(async (fileName, destinationTable, zoomMin, zoomMax) => {
     const geojson = JSON.parse(await readFile(fileName, 'utf8'));
 
@@ -117,15 +126,39 @@ program
 program
   .command('update-networks')
   .argument('<network-id>', 'Network id', (v) => zDatabaseSourceId.parse(v))
-  .argument('[zoomMin]', 'Minimum zoom', parseInt, 0)
-  .argument('[zoomMax]', 'Maximum zoom', parseInt, 17)
+  .argument('[zoomMin]', 'Minimum zoom', (v) => parseInt(v), 0)
+  .argument('[zoomMax]', 'Maximum zoom', (v) => parseInt(v), 17)
   .argument('[withIndex]', 'With index', (v) => !!v, false)
   .action(async (table, zoomMin, zoomMax, withIndex) => {
-    await downloadNetwork(table);
+    await downloadUpdateNetwork(table);
     await db((tilesInfo[table] as DatabaseTileInfo).tiles).delete();
     await fillTiles(table, zoomMin, zoomMax, withIndex);
   });
 
+program
+  .command('apply-geometry-updates')
+  .option('--dry-run', 'Run the command in dry-run mode', false)
+  .action(async ({ dryRun }) => {
+    try {
+      await applyGeometryUpdates(dryRun);
+    } catch (err) {
+      console.error('err', err);
+      process.exit(2);
+    }
+  });
+
+program
+  .command('sync-postgres-to-airtable')
+  .option('--dry-run', 'Run the command in dry-run mode', false)
+  .action(async ({ dryRun }) => {
+    try {
+      await syncPostgresToAirtable(dryRun);
+    } catch (err) {
+      console.error('err', err);
+      process.exit(2);
+    }
+  });
+
 program
   .command('update-simulateur')
   .description('Take AMORCE file and either create records in database or update them.')

scripts/copyRemoteTableToLocal.sh

@@ -11,7 +11,7 @@ table=$2
 options=$3
 if [[ $env != "dev" && $env != "prod" ]]; then
   usage
-  exit 1+
+  exit 1
 fi
 
 if [[ "$table" = "" ]]; then

scripts/networks/download-network.ts

@@ -6,15 +6,15 @@ import db from 'src/db';
 import base from 'src/db/airtable';
 import { DatabaseTileInfo, tilesInfo, DatabaseSourceId } from 'src/services/tiles.config';
 
-const TypeArray: unique symbol = Symbol('array');
-const TypeBool: unique symbol = Symbol('bool');
-const TypeJSONArray: unique symbol = Symbol('json');
-const TypeNumber: unique symbol = Symbol('number');
-const TypePercentage: unique symbol = Symbol('percentage');
-const TypeString: unique symbol = Symbol('string');
-const TypeStringToArray: unique symbol = Symbol('array');
+export const TypeArray: unique symbol = Symbol('array');
+export const TypeBool: unique symbol = Symbol('bool');
+export const TypeJSONArray: unique symbol = Symbol('json');
+export const TypeNumber: unique symbol = Symbol('number');
+export const TypePercentage: unique symbol = Symbol('percentage');
+export const TypeString: unique symbol = Symbol('string');
+export const TypeStringToArray: unique symbol = Symbol('array');
 
-type Type =
+export type Type =
   | typeof TypeArray
   | typeof TypeBool
   | typeof TypeJSONArray
@@ -32,7 +32,7 @@ const conversionConfigReseauxDeChaleur = {
   'reseaux classes': TypeBool,
   has_PDP: TypeBool,
   nom_reseau: TypeString,
-  communes: TypeStringToArray,
+  // communes: TypeStringToArray,
   MO: TypeString,
   Gestionnaire: TypeString,
   'Taux EnR&R': TypeNumber,
@@ -48,7 +48,7 @@ const conversionConfigReseauxDeChaleur = {
   'Dev_reseau%': TypeNumber,
   'Rend%': TypeNumber,
   reseaux_techniques: TypeBool,
-  departement: TypeNumber,
+  departement: TypeString,
   region: TypeString,
   adresse_mo: TypeString,
   CP_MO: TypeString,
@@ -114,12 +114,12 @@ const conversionConfigReseauxDeFroid = {
   //has_trace: TypeBool,
   'Taux EnR&R': TypeNumber,
   Gestionnaire: TypeString,
-  communes: TypeStringToArray,
+  // communes: TypeStringToArray,
   contenu_CO2_2023_tmp: TypeNumber,
   contenu_CO2_ACV_2023_tmp: TypeNumber,
   'contenu CO2': TypeNumber,
   'contenu CO2 ACV': TypeNumber,
-  departement: TypeNumber,
+  departement: TypeString,
   region: TypeString,
   MO: TypeString,
   adresse_mo: TypeString,
@@ -146,7 +146,7 @@ const conversionConfigReseauxDeFroid = {
 const conversionConfigAutres = {
   mise_en_service: TypeString,
   gestionnaire: TypeString,
-  communes: TypeStringToArray,
+  // communes: TypeStringToArray,
   is_zone: TypeBool,
 } as const;
 
@@ -160,6 +160,35 @@ export const downloadNetwork = async (table: DatabaseSourceId) => {
   }
   const networksAirtable = await base(tileInfo.airtable).select().all();
 
+  const logger = parentLogger.child({
+    table: table,
+    count: networksAirtable.length,
+  });
+  const startTime = Date.now();
+  logger.info('start network update');
+  await Promise.all(
+    networksAirtable.map(async (network) => {
+      if (network.get('id_fcu')) {
+        await db(tileInfo.table).update(convertEntityFromAirtableToPostgres(table, network)).where('id_fcu', network.get('id_fcu'));
+      }
+    })
+  );
+  logger.info('end network update', {
+    duration: Date.now() - startTime,
+  });
+};
+
+/**
+ * Synchronise les données d'une table réseau dans Airtable vers la table correspondante dans Postgres (identique downloadNetwork)
+ * Met également à jour certains champs côté airtable (spécifiques à chaque table).
+ */
+export const downloadUpdateNetwork = async (table: DatabaseSourceId) => {
+  const tileInfo = tilesInfo[table] as DatabaseTileInfo;
+  if (!tileInfo || !tileInfo.airtable) {
+    throw new Error(`${table} not managed`);
+  }
+  const networksAirtable = await base(tileInfo.airtable).select().all();
+
   const logger = parentLogger.child({
     table: table,
     count: networksAirtable.length,
@@ -270,7 +299,7 @@ function convertEntityFromAirtableToPostgres(type: DatabaseSourceId, airtableNet
 /**
  * Convertit et corrige le potentiel mauvais typage côté Airtable.
  */
-function convertAirtableValue(value: any, type: Type) {
+export function convertAirtableValue(value: any, type: Type) {
   switch (type) {
     case TypeArray:
       return value instanceof Array ? value : [];
@@ -288,5 +317,7 @@ function convertAirtableValue(value: any, type: Type) {
       return value !== undefined && value !== null && value !== 'NULL' ? value : null;
     case TypeStringToArray:
       return value !== undefined && value !== null && value !== 'NULL' ? value.split(',') : [];
+    default:
+      throw new Error(`invalid type ${type}`);
   }
 }

scripts/networks/generate-tiles.ts

@@ -1,7 +1,9 @@
-import { logger } from '@helpers/logger';
 import geojsonvt from 'geojson-vt';
-import { processInParallel } from 'src/types/async';
 import vtpbf from 'vt-pbf';
+
+import { logger } from '@helpers/logger';
+import { processInParallel } from 'src/types/async';
+
 import db from '../../src/db';
 
 const QUERY_PARALLELISM = 50; // max queries in //
@@ -15,12 +17,7 @@ const globalY13Max = 3100;
 /**
  * Generate tiles from GeoJSON data and store them in a postgres table
  */
-export const generateTilesFromGeoJSON = async (
-  geojson: GeoJSON.GeoJSON,
-  destinationTable: string,
-  zoomMin: number,
-  zoomMax: number
-) => {
+export const generateTilesFromGeoJSON = async (geojson: GeoJSON.GeoJSON, destinationTable: string, zoomMin: number, zoomMax: number) => {
   const startTime = Date.now();
   logger.info('start generating vector tiles');
   const tiles = geojsonvt(geojson, {
@@ -34,26 +31,20 @@ export const generateTilesFromGeoJSON = async (
     const startTime = Date.now();
     logger.info('start level', { zLevel: z });
 
-    await processInParallel(
-      getCoordinatesGenerator(z),
-      QUERY_PARALLELISM,
-      async ({ x, y, z }) => {
-        const tile = tiles.getTile(z, x, y);
-        if (tile) {
-          await db(destinationTable)
-            .insert({
-              x,
-              y,
-              z,
-              tile: Buffer.from(
-                vtpbf.fromGeojsonVt({ layer: tile }, { version: 2 })
-              ),
-            })
-            .onConflict(['x', 'y', 'z'])
-            .ignore();
-        }
+    await processInParallel(getCoordinatesGenerator(z), QUERY_PARALLELISM, async ({ x, y, z }) => {
+      const tile = tiles.getTile(z, x, y);
+      if (tile) {
+        await db(destinationTable)
+          .insert({
+            x,
+            y,
+            z,
+            tile: Buffer.from(vtpbf.fromGeojsonVt({ layer: tile }, { version: 2 })),
+          })
+          .onConflict(['x', 'y', 'z'])
+          .ignore();
       }
-    );
+    });
 
     logger.info('finished level', {
       zLevel: z,