Ítem


Complemento de QGIS para el proceso de datos ráster en remoto = Complement de QGIS pel procés de dades ràster en remot

Comunicación a cargo de Daniel Ponsa Mussarra, Felipe Lumbreras Ruiz, y Robert Benavente Vidal (Centre de Visió per Computador) sobre el complemento de QGIS para el proceso de datos ráster en remoto. Los avances conseguidos en los últimos años en los campos de la visión por computador y el análisis de imágenes se sustentan principalmente en las técnicas de aprendizaje profundo desarrolladas en el área de la inteligencia artificial. La posibilidad de disponer de datos masivos y de hardware de proceso paralelo capaz de procesarlos en un tiempo razonable ha posibilitado la generación de nuevos modelos o sistemas que ofrecen grandes prestaciones en el análisis automático de imágenes. Las técnicas de aprendizaje profundo han sido rápidamente adoptadas para desarrollar sistemas de teledetección. En su paradigma basado en el aprendizaje supervisado, se parte de un conjunto de imágenes emparejado con la salida del sistema deseada y de un diseño prefijado de red neuronal profunda. En un proceso de entrenamiento, un optimizador ajusta los numerosos parámetros de la red neuronal para que, dada una imagen, se obtenga como resultado la salida deseada. Si el conjunto de entrenamiento es amplio, estos sistemas generalizan bien y son de gran aplicabilidad práctica. Su principal inconveniente es que se requiere de hardware de proceso en paralelo (unidades de procesamiento gráfico (GPUs) o de tensores (TPUs)) para obtener resultados en corto tiempo. En este trabajo proponemos una vía para aplicar sistemas basados en aprendizaje profundo desde QGIS. QGIS ofrece un mecanismo de complementos (plugins) que posibilita integrar estos sistemas, desarrollados habitualmente en Python, dentro de sus opciones de proceso de datos. Lamentablemente esta aproximación requiere disponer de capacidad de proceso paralelo en el ordenador que ejecuta QGIS, lo cual puede ser limitante si los sistemas desarrollados se quieren usar desde múltiples estaciones de trabajo. Para atender a esta situación, hemos desarrollado un complemento de QGIS que permite conectar este sistema de información geográfica con un servidor de cómputo remoto, el cual procesa los datos usando hardware paralelo y retorna su resultado de vuelta. Nuestra aproximación implementa una arquitectura de servicios web basada en la aproximación de transferencia de estado representacional (REST). Al iniciar el complemento QGIS este se conecta con una REST API para obtener un catálogo de servicios de proceso en remoto, junto con su descripción. A continuación, el usuario puede seleccionar un servicio de proceso y la capa de QGIS que quiere procesar, y solicitar su proceso. Esta información es recibida por la REST API, la cual registra los datos a procesar por un servidor de cálculo y retorna el resultado al plugin QGIS, que lo presenta al usuario como una nueva capa. El sistema se ha desarrollado en Python usando el framework Flask. Los servicios de proceso se mantienen en contenedores Docker, que son ejecutados bajo demanda. La encapsulación de cada servicio en un contenedor es muy ventajosa, dado que permite evitar las incompatibilidades que pudieran existir entre las librerías usadas por los distintos servicios. Además, la centralización de los servicios permite ofrecer nuevos tipos de proceso o actualizar los existentes, sin necesidad de actualizar el complemento de QGIS en las estaciones de trabajo

Comunicació a càrrec de Daniel Ponsa Mussarra, Felipe Lumbreras Ruiz, Robert Benavente Vidal (Centre de Visió per Computador) sobre el complement de QGIS pel procés de dades ràster en remot. Els avenços aconseguits en els darrers anys en els camps de la visió per computador i l’anàlisi d’imatges se sustenten principalment en les tècniques d’aprenentatge profund desenvolupades en l’àrea de la intel·ligència artificial. La possibilitat de disposar de dades massives i de maquinari de processament paral·lel capaç de processar-les en un temps raonable ha possibilitat la generació de nous models o sistemes que ofereixen grans prestacions en l’anàlisi automàtica d’imatges. Les tècniques d’aprenentatge profund han estat adoptades ràpidament per desenvolupar sistemes de teledetecció. En el paradigma basat en l’aprenentatge supervisat, es parteix d’un conjunt d’imatges aparellat amb la sortida del sistema desitjada i d’un disseny prefixat de xarxa neuronal profunda. En un procés d’entrenament, un optimitzador ajusta els nombrosos paràmetres de la xarxa neuronal perquè, donada una imatge, s’obtingui com a resultat la sortida desitjada. Si el conjunt d’entrenament és ampli, aquests sistemes generalitzen bé i són de gran aplicabilitat pràctica. El seu principal inconvenient és que es requereix maquinari de processament en paral·lel (unitats de processament gràfic (GPU) o de tensors (TPU)) per obtenir resultats en un temps curt. En aquest treball proposem una via per aplicar sistemes basats en aprenentatge profund des de QGIS. QGIS ofereix un mecanisme de complements (plugins) que possibilita integrar aquests sistemes, desenvolupats habitualment en Python, dins de les opcions de processament de dades. Lamentablement, aquesta aproximació requereix disposar de capacitat de processament en paral·lel a l’ordinador que executa QGIS, cosa que pot ser limitant si els sistemes desenvolupats es volen fer servir des de múltiples estacions de treball. Per atendre aquesta situació, hem desenvolupat un complement de QGIS que permet connectar aquest sistema d’informació geogràfica amb un servidor de còmput remot, que processa les dades usant maquinari paral·lel i envia el resultat de tornada. La nostra aproximació implementa una arquitectura de serveis web basada en l’aproximació de transferència d’estat representacional (REST). En iniciar el complement QGIS, aquest es connecta amb una REST API per obtenir un catàleg de serveis de processament en remot juntament amb la seva descripció. A continuació, l’usuari pot seleccionar un servei de processament i la capa de QGIS que vol processar, i sol·licitar-ne el processament. Aquesta informació és rebuda per la REST API, la qual registra les dades a processar per un servidor de càlcul, i retorna el resultat al complement QGIS, que el presenta a l’usuari com una nova capa. El sistema s’ha desenvolupat en Python utilitzant l’entorn Flask. Els serveis de processament es mantenen en contenidors Docker, que s’executen sota demanda. L’encapsulació de cada servei en un contenidor és molt avantatjosa, ja que permet evitar les incompatibilitats que poguessin existir entre les biblioteques utilitzades pels diferents serveis. A més, la centralització dels serveis permet oferir nous tipus de processament o actualitzar els existents, sense necessitat d’actualitzar el complement de QGIS a les estacions de treball

6781.mp4 6781.mp3

http://hdl.handle.net/10256/21415

Universitat de Girona. Servei de Sistemes d’Informació Geogràfica i Teledetecció

Autor: Ponsa Mussarra, Daniel
Lumbreras Ruiz, Felipe
Benavente Vidal, Robert
Data: 8 juny 2022
Resum: Comunicación a cargo de Daniel Ponsa Mussarra, Felipe Lumbreras Ruiz, y Robert Benavente Vidal (Centre de Visió per Computador) sobre el complemento de QGIS para el proceso de datos ráster en remoto. Los avances conseguidos en los últimos años en los campos de la visión por computador y el análisis de imágenes se sustentan principalmente en las técnicas de aprendizaje profundo desarrolladas en el área de la inteligencia artificial. La posibilidad de disponer de datos masivos y de hardware de proceso paralelo capaz de procesarlos en un tiempo razonable ha posibilitado la generación de nuevos modelos o sistemas que ofrecen grandes prestaciones en el análisis automático de imágenes. Las técnicas de aprendizaje profundo han sido rápidamente adoptadas para desarrollar sistemas de teledetección. En su paradigma basado en el aprendizaje supervisado, se parte de un conjunto de imágenes emparejado con la salida del sistema deseada y de un diseño prefijado de red neuronal profunda. En un proceso de entrenamiento, un optimizador ajusta los numerosos parámetros de la red neuronal para que, dada una imagen, se obtenga como resultado la salida deseada. Si el conjunto de entrenamiento es amplio, estos sistemas generalizan bien y son de gran aplicabilidad práctica. Su principal inconveniente es que se requiere de hardware de proceso en paralelo (unidades de procesamiento gráfico (GPUs) o de tensores (TPUs)) para obtener resultados en corto tiempo. En este trabajo proponemos una vía para aplicar sistemas basados en aprendizaje profundo desde QGIS. QGIS ofrece un mecanismo de complementos (plugins) que posibilita integrar estos sistemas, desarrollados habitualmente en Python, dentro de sus opciones de proceso de datos. Lamentablemente esta aproximación requiere disponer de capacidad de proceso paralelo en el ordenador que ejecuta QGIS, lo cual puede ser limitante si los sistemas desarrollados se quieren usar desde múltiples estaciones de trabajo. Para atender a esta situación, hemos desarrollado un complemento de QGIS que permite conectar este sistema de información geográfica con un servidor de cómputo remoto, el cual procesa los datos usando hardware paralelo y retorna su resultado de vuelta. Nuestra aproximación implementa una arquitectura de servicios web basada en la aproximación de transferencia de estado representacional (REST). Al iniciar el complemento QGIS este se conecta con una REST API para obtener un catálogo de servicios de proceso en remoto, junto con su descripción. A continuación, el usuario puede seleccionar un servicio de proceso y la capa de QGIS que quiere procesar, y solicitar su proceso. Esta información es recibida por la REST API, la cual registra los datos a procesar por un servidor de cálculo y retorna el resultado al plugin QGIS, que lo presenta al usuario como una nueva capa. El sistema se ha desarrollado en Python usando el framework Flask. Los servicios de proceso se mantienen en contenedores Docker, que son ejecutados bajo demanda. La encapsulación de cada servicio en un contenedor es muy ventajosa, dado que permite evitar las incompatibilidades que pudieran existir entre las librerías usadas por los distintos servicios. Además, la centralización de los servicios permite ofrecer nuevos tipos de proceso o actualizar los existentes, sin necesidad de actualizar el complemento de QGIS en las estaciones de trabajo
Comunicació a càrrec de Daniel Ponsa Mussarra, Felipe Lumbreras Ruiz, Robert Benavente Vidal (Centre de Visió per Computador) sobre el complement de QGIS pel procés de dades ràster en remot. Els avenços aconseguits en els darrers anys en els camps de la visió per computador i l’anàlisi d’imatges se sustenten principalment en les tècniques d’aprenentatge profund desenvolupades en l’àrea de la intel·ligència artificial. La possibilitat de disposar de dades massives i de maquinari de processament paral·lel capaç de processar-les en un temps raonable ha possibilitat la generació de nous models o sistemes que ofereixen grans prestacions en l’anàlisi automàtica d’imatges. Les tècniques d’aprenentatge profund han estat adoptades ràpidament per desenvolupar sistemes de teledetecció. En el paradigma basat en l’aprenentatge supervisat, es parteix d’un conjunt d’imatges aparellat amb la sortida del sistema desitjada i d’un disseny prefixat de xarxa neuronal profunda. En un procés d’entrenament, un optimitzador ajusta els nombrosos paràmetres de la xarxa neuronal perquè, donada una imatge, s’obtingui com a resultat la sortida desitjada. Si el conjunt d’entrenament és ampli, aquests sistemes generalitzen bé i són de gran aplicabilitat pràctica. El seu principal inconvenient és que es requereix maquinari de processament en paral·lel (unitats de processament gràfic (GPU) o de tensors (TPU)) per obtenir resultats en un temps curt. En aquest treball proposem una via per aplicar sistemes basats en aprenentatge profund des de QGIS. QGIS ofereix un mecanisme de complements (plugins) que possibilita integrar aquests sistemes, desenvolupats habitualment en Python, dins de les opcions de processament de dades. Lamentablement, aquesta aproximació requereix disposar de capacitat de processament en paral·lel a l’ordinador que executa QGIS, cosa que pot ser limitant si els sistemes desenvolupats es volen fer servir des de múltiples estacions de treball. Per atendre aquesta situació, hem desenvolupat un complement de QGIS que permet connectar aquest sistema d’informació geogràfica amb un servidor de còmput remot, que processa les dades usant maquinari paral·lel i envia el resultat de tornada. La nostra aproximació implementa una arquitectura de serveis web basada en l’aproximació de transferència d’estat representacional (REST). En iniciar el complement QGIS, aquest es connecta amb una REST API per obtenir un catàleg de serveis de processament en remot juntament amb la seva descripció. A continuació, l’usuari pot seleccionar un servei de processament i la capa de QGIS que vol processar, i sol·licitar-ne el processament. Aquesta informació és rebuda per la REST API, la qual registra les dades a processar per un servidor de càlcul, i retorna el resultat al complement QGIS, que el presenta a l’usuari com una nova capa. El sistema s’ha desenvolupat en Python utilitzant l’entorn Flask. Els serveis de processament es mantenen en contenidors Docker, que s’executen sota demanda. L’encapsulació de cada servei en un contenidor és molt avantatjosa, ja que permet evitar les incompatibilitats que poguessin existir entre les biblioteques utilitzades pels diferents serveis. A més, la centralització dels serveis permet oferir nous tipus de processament o actualitzar els existents, sense necessitat d’actualitzar el complement de QGIS a les estacions de treball
6781.mp4 6781.mp3
Format: audio/mpeg
video/mp4
Accés al document: http://hdl.handle.net/10256.1/6781
Llenguatge: spa
Editor: Universitat de Girona. Servei de Sistemes d’Informació Geogràfica i Teledetecció
Col·lecció: XV Jornadas SIG Libre (2022);
Vegeu també: http://hdl.handle.net/10256/21415
Drets: Attribution-NonCommercial-ShareAlike 4.0 International
URI Drets: http://creativecommons.org/licenses/by-nc-sa/4.0/
Matèria: Sistemes d’informació geogràfica -- Congressos
Geographic information systems -- Congresses
Informació -- Sistemes d’emmagatzematge i recuperació -- Geografia -- Congressos
Information storage and retrieval systems -- Geography -- Congresses
Programari lliure -- Congressos
Open source software -- Congresses
Teledetecció -- Congressos
Remote sensing -- Congresses
Títol: Complemento de QGIS para el proceso de datos ráster en remoto = Complement de QGIS pel procés de dades ràster en remot
Tipus: info:eu-repo/semantics/lecture
Repositori: DUGiMedia

Matèries

Autors