Détection d'objets en enrichissement de modèles 3D du bâti

31 mars 2022

La transformation numérique de nombreux territoires passe par l’adoption de modèles 3D sémantiques du bâti et l’élaboration de jumeaux numériques. Ces derniers deviennent, dans une mesure croissante, support de gestion actuelle de la collectivité mais aussi reflet de ses actions, offrant une grande variété de possibles.

 

 

L'importance des modélisations 3D sémantiques

 

Dans le contexte des "villes intelligentes" (ou « Smart City »), nous constatons actuellement que les modèles 3D et les jumeaux numériques à l’échelle de la ville ou de la métropole sont utilisés dans divers domaines, tels que la sécurité, la mobilité et le tourisme. Parmi les exemples concrets, citons la modélisation du bruit, l'analyse des ombres, la visualisation du développement urbain et la gestion des risques par le calcul et la simulation de scénarios d'urgence (inondations, pannes de courant, etc.).
 
Pour permettre ces types de calculs et de visualisations avancés, il est nécessaire que les bâtiments individuels dans le modèle 3D sémantique du bâti aient un niveau de détail suffisamment élevé, y compris, par exemple, les caractéristiques des toits – cinquième façade du bâtiment. En enrichissant votre modèle 3D du bâti existant à l’aide d’algorithmes de détection d'objets, nous pouvons maintenant ajouter des détails supplémentaires sur les caractéristiques énergétiques, comme les fenêtres de toit (type Velux), les cheminées ou les installations de panneaux solaires existantes.


En combinant ce contenu enrichi avec des caractéristiques telles que le volume, la surface, l'orientation et/ou la pente du toit à l’échelle du bâti individuel, il est possible de calculer l'efficacité énergétique et le potentiel d'économie d'énergie.

 

Vous êtes curieux de savoir comment ? Alors lisez la suite!

 

 

Données sources

 

Avineon a récemment mené un projet pilote dans le domaine de la détection d'objets. Notre principal objectif était de générer des estimations de l'emplacement, de la taille et des lignes de contour d'objets sur les surfaces de toit, tels que des fenêtres, cheminées et panneaux solaires, grâce à l'intelligence artificielle (IA), avec une interaction homme-machine minimale.
 
La zone pilote était située à Roeselare, une ville de Belgique comptant 60 000 habitants et 45 000 bâtiments, et se composait de deux zones de test de cinq kilomètres carrés, chacune comptant environ 500 bâtiments (Image 1).

Picture1"Image 1: Carte du bâti de la commune de Roeselare : les deux zones pilotes y sont présentées en fond bleu."

 

Pour réaliser ce projet pilote, nous disposions à la fois d'images aériennes et d’un modèle 3D très précis du bâti. Nous sommes partis d'ortho-images à haute résolution (3 cm) et, dans le cadre du projet, nous avons créé une représentation 3D texturée des bâtiments, en utilisant des images stéréo et obliques (Images 2 et 3).

Picture2"Image 2: Vue détaillée de la zone de test 2 ("OpenSchoolwijk"). Les contours des toits sont représentés en rouge, bleu ou écru, en fonction du type de toit (plat, pentus en tuile rouge, ou autres toits en pente)."

Picture3"Image 3: Capture d'écran de la visionneuse web "OpenSchool District".

 

Grâce à la géométrie détaillée des toits du modèle 3D, nous avons pu créer des algorithmes à la fois efficaces et descriptifs. Dans les deux paragraphes suivants, nous nous attacherons à expliquer la fonctionnalité de nos algorithmes et à montrer les résultats obtenus. Pour limiter la longueur de cet article, nous ne couvrirons que la détection des fenêtres, mais la même méthodologie peut être étendue à la détection des cheminées et panneaux solaires.

 

 

Contrastes de valeur et de couleur

 

Un bref coup d'œil sur les toits de la zone de test 1 montre que nous devrions être en mesure de détecter la plupart des fenêtres en raison d'une nette différence de "valeur" avec la texture du toit autour, une terminologie que nous empruntons à la photographie pour indiquer la gamme des tons clairs et foncés sur une image.
 
Le parc immobilier de cette zone de test est assez uniforme et se compose principalement de bâtiments avec des toits bleu foncé ou gris, tandis que les fenêtres ont souvent des valeurs de tonalité beaucoup plus claires (bleu) (Images 4 et 5).

Picture4"Image 4: Vue en plongée sur la zone 1, montrant un parc immobilier avec des textures de toit aux valeurs de tons foncés."

Picture5

"Image 5: Vue rapprochée sur un bâtiment de la zone 1 : contraste entre les couleurs RVB et les valeurs en niveaux de gris."

 

Les lignes de contour orange sur "l'Image 5" ont été générées par notre algorithme. Dans ce cas, le contraste de valeur seul était suffisant pour prédire des géométries de fenêtre précises. Ce n'est toutefois plus le cas pour la deuxième zone de test de la zone pilote. La zone de test 2 est, statistiquement, assez différente de la zone de test 1, car il y a beaucoup plus de toits pentus en tuile rouge dans la zone de test 2 (Tableau 1).

Roof Type Test Area 1 Test Area 2
Total Area (ha.) Percentage Total Area (ha.) Percentage
Sloped, red 0,90 31,0% 3,87 63,8%
Sloped, other 1,71 59,1% 0,93 15,3%
Flat 0,29 9,9% 1,26 20,9%
Total 2,90 100% 6,06 100%

"Tableau 1 : Types de toits dans la zone de test 1 par rapport à la zone de test 2".

 

Bien que les fenêtres sur les toits rouges soient faciles à repérer à l'œil humain, ce n'est pas le cas lorsque les fenêtres sont détectées par la logique de contraste de valeur expliquée ci-dessus. Sur "l'image 6" (ci-dessous), nous remarquons par exemple deux fenêtres qui partagent une nuance de gris similaire avec le toit environnant, et qui sont donc très difficiles à détecter sur l'image en niveaux de gris.

Picture6"Image 6: Image couleur RVB vs. contrastes de valeurs de la même scène."

 

De tels cas étaient assez fréquents dans la zone de test 2 et nécessitent donc une approche différente. Ici, nous devrons clairement nous appuyer sur le contraste des couleurs dans l'image RVB pour générer des lignes de contour pour les fenêtres de toit.

 

 

Une implémentation de la détection d'objets dans FME

 

Reproduire ces observations apparemment triviales du paragraphe précédent en logique algorithmique n'est pas si simple. Cependant, grâce à la capture précise de la géométrie du toit, cohérente avec les contours du toit sur l’image ortho rectifiée, nous sommes en mesure de générer des estimations sans avoir recours à des calculs trop complexes.
 
Dans un premier temps, pour quantifier les observations du paragraphe précédent, nous sélectionnons une surface de toit (Images 7 et 8), puis nous créons un histogramme des valeurs d'intensité pour tous ses pixels.

Picture7"Image 7: Emplacement du toit sélectionné, capturé en 3D."

Picture8"Image 8: Vue rapprochée sur l'ortho image de la surface du toit en surbrillance".

 

Nous extrayons les pixels du fond du toit sur un histogramme en bleu foncé, et ajoutons les pixels des fenêtres en bleu clair. Bien qu'il y ait un certain chevauchement, nous pouvons voir qu'en général, les pixels des fenêtres ont des valeurs beaucoup plus élevées que ceux du toit (Image 9). Ce contraste de valeurs peut être utilisé pour séparer les fenêtres du toit et, ce faisant, extraire le contour (géométrie) des fenêtres du reste de la surface du toit.

Picture9"Image 9: Histogramme des valeurs d'intensité de la surface du toit sélectionnée."

 

Comme chaque toit a sa propre valeur de couleur et de tonalité, il est impossible de définir une plage de valeurs unique valable pour tous les toits. Nous avons toutefois constaté que la valeur d'intensité moyenne sert souvent de bonne estimation de la valeur de texture du toit. Sur cette base, nous avons créé une norme pour mesurer le contraste de valeur de toutes les surfaces de toit.
 
L'étape suivante a consisté à mettre en œuvre cette méthodologie dans un workflow FME, en ajoutant des conditions supplémentaires sur la géométrie de nos prédictions afin de filtrer les géométries erronées causées par des valeurs d'intensité parfois extrêmes des pixels sur le toit lui-même. En procédant ainsi, nous avons pu détecter près de 93% des fenêtres de la zone de test 1, tout en maintenant les "faux positifs" à un taux minimum (Image 10).

Picture10"Image 10: Taux élevé de détection des fenêtres dans la zone de test 1, en utilisant les contrastes de valeur entre les toits et les fenêtres."

 

Dans la zone de test 2, notre algorithme a bien fonctionné sur les toits plats, détectant 86 % des fenêtres de toit. Le taux de détection global a cependant chuté à près de 60 %, ce qui indique que nous devions séparer les toits rouges de l'analyse et adapter notre algorithme pour extraire les géométries des fenêtres en utilisant le contraste de couleur entre les toits et les fenêtres (rouge), au lieu d'utiliser le contraste de valeur (bleu/gris) (Image 11).

Picture13"Image 11: En utilisant le contraste de valeur, les taux de détection chutent pour les toits pentus en tuile rouge dans la zone de test 2, mais la plupart des fenêtres sur les toits plats sont toujours détectées."

 

Bien qu'il existe de multiples façons de mesurer le contraste des couleurs dans une image, nous choisissons de générer une image en niveaux de gris à partir de l'image RVB originale, dans laquelle les pixels rouges sont représentés par des valeurs claires et les autres couleurs par des valeurs plus sombres (Image 12).
 
Sur cette image en niveaux de gris, nous appliquons ensuite les mêmes techniques de contraste de valeur que celles décrites précédemment, ce qui permet d'augmenter le taux de détection des toits pentus en tuile rouge à 90% (Image 13).

Picture12"Image 12: Les couleurs rouges ont des tons plus clairs sur l'image en niveaux de gris à droite."

Picture13"Image 13: Augmentation des taux de détection sur les toits pentus en tuile rouge, en utilisant le contraste des couleurs."

 

 

Conclusions et travaux futurs

 

Nous pouvons détecter fenêtres de toit, mais aussi panneaux solaires ou cheminée automatiquement, via l'IA, puis créer les géométries 3D correspondantes et les adapter parfaitement à la surface des toits (emplacement, orientation, pente).

 

L’enrichissement du modèle 3D sémantique avec le détail de ces objets ouvre de grandes perspectives en termes d'analyse et de visualisation des scenarii politiques actuels et futurs en matière d'efficacité énergétique , d’adaptation au changement climatique (rénovation, isolation, potential solaire précis), mais aussi de sobriété foncière dans le plan d’action face à l’urgence climatique.
 
Maintenant que nous avons établi un moyen d'extraire des géométries précises pour ces objets sur les toitures, nous cherchons actuellement à généraliser des techniques similaires pour la détection des fenêtres et des portes sur les murs.