Journée thématique « Near Image Sensor Computing » – Conjointe GDR ISIS et GDR SOC²
Cité internationale – Collège d’Espagne
09/11/2018

!!! Attention page en doublon !!!

Se référer à cette page-ci : http://www.gdr-soc.cnrs.fr/2018/09/17/journee-thematique-near-image-sensor-computing/

Cette journée thématique organisée conjointement par le GDR ISIS pour les aspects « architecture pour l’image » et le GDR SOC² dont le thème de l’année est le « Near Sensor Computing », a pour but de réunir des acteurs travaillant sur les systèmes de vision embarqués au sens large. L’objectif est d’échanger à propos des dernières recherches sur les systèmes (smart camera) et capteurs d’images intelligents (rétine) ainsi que de réfléchir aux futurs axes de recherches.
Dans le domaine des capteurs d’image CMOS, de nouveaux dispositifs ont vu le jour qui intègrent directement dans le plan focal (ou près du plan focal) des algorithmes complexes de traitement et d’analyse de l’image, comme par exemple l’extraction de caractéristiques pour la reconnaissance de formes. De plus, des technologies émergentes, telles que l’intégration 3D, les memristors etc., permettent d’envisager de nouveaux opérateurs ou de nouvelles architectures.

Depuis quelques années, on assiste en effet à une coopération de plus en plus étroite entre le capteur d’images et les unités de traitement embarquées au plus proche du capteur. De tels systèmes de vision, sont aujourd’hui capables d’acquérir et d’analyser le flot d’images en temps réel afin de produire du contenu sémantique de la scène observée. De plus, en considérant les possibilités d’interconnexion de tels systèmes au sein de réseaux d’objets communicants, on note l’émergence de nouvelles activités de recherche (coopération de capteurs, traitements distribués, communication intelligente, cloud-computing, …).

De nombreuses équipes de nos communautés ont obtenus des résultats remarquables ces deux dernières années. Aussi, nous sollicitons des contributeurs, à la fois sur les aspects matériels (circuits, architectures, systèmes…), les aspects algorithmiques ou méthodologiques (AAA, simulation, modélisation…) pour présenter travaux et perspectives.

Les propositions de présentation sont à envoyer avant le 5 octobre à francois.berry@uca.fr, kevin.martin@univ-ubs.fr, daniel.chillet@irisa.fr, dominique.dallet@ims-bordeaux.fr, Gilles.SICARD@cea.fr sous la forme:

1 – Titre

2- Résumé en qq lignes

En souhaitant vous voir le 09/11/2018 à Paris pour un échange fructueux.

Programme

Orateurs prévus:

Dominique GINHAC – LE2I (Dijon) – Architectures embarquées pour l’imagerie HDR en temps réel

Wissam Benjilali – CEA LETIOn compressive sampling strategies for near image sensor decision making

Jonathan Bonnard (DREAM, Université Clermont Auvergne) A novel multi view smart camera framework based on FPGA for deep learning

Jean Philippe DIGUET – UBS Lorient – Systèmes embarqués autonomes pour véhicules autonomes

Yang NI – New Imaging Technologies

Satyajit Das – Labstic – Lorient – A 142MOPS/mW integrated programmable array accelerator for smart visual processing

Juliette LEHIR – GeePs – Laboratoire de Génie électrique et électronique de Paris

Résumés des contributions

Dominique GINHAC – LE2I (Dijon)

Architectures embarquées pour l’imagerie HDR en temps réel

Les caméras standard sont incapables de capturer la dynamique d’une scène naturelle. Malgré des performances sans cesse croissantes, les caméras standards ont des difficultés à capturer la dynamique d’une scène naturelle, entrainant inévitablement des zones saturées. L’imagerie à grande dynamique propose donc différentes techniques permettant de capturer une plus grande dynamique et ainsi obtenir de l?information pertinente dans les zones très sombres ou fortement éclairées de la scène. Pour obtenir la plus grande gamme dynamique de la scène, la technique classiquement utilisé est l’acquisition successive de plusieurs images de la scène en faisant varier l’exposition. Cet ensemble d’images est ensuite combiné afin de produire l’image finale à grande dynamique. Si de nombreuses solutions algorithmiques ont été développées en particulier dans le cadre d’applications grand public de photo numérique, il existe peu de travaux à l’heure actuelle sur la conception matérielle de systèmes de vision dédiés capables de produire en temps réel du contenu à grande dynamique. Cette présentation aura pour objectif de présenter les travaux effectués par notre équipe sur le développement et la mise au point de plusieurs caméras intelligentes capables de capturer des vidéos grande dynamique. La mise au point de ces systèmes matériels et logiciels implique donc de mettre en place une démarche d’Adéquation Algorithme Architecture permettant d’adapter à la fois la chaîne de traitement d’images et le système matériel d’acquisition et de traitement permettant ainsi de tirer parti des possibilités d’acquisition de contenu à grande dynamique.

Wissam Benjilali – CEA LETI, William Guicquero, Gilles Sicard (CEA leti), Laurent Jacques (UCL)

On compressive sampling strategies for near image sensor decision making

We present some scenarios to address near sensor decision making based on Dimensionality Reduction (DR) techniques of high dimensional signals in the context of highly constrained hardware (eg., low power vision systems). The studied DR techniques are learned according to two alternative strategies: one whose parameters are learned in a compressed signal representation, as being achieved by random projections in a compressive sensing device, the other being performed in the original uncompressed signal domain. For both strategies, the inference is yet indifferently performed in the compressed domain with dedicated algorithm depending on the selected learning technique.

Jonathan Bonnard, Francois Berry, Kamel Abdelouahab (DREAM, Université Clermont Auvergne), Maxime Pelcat(Insa, Rennes)

A novel multi view smart camera framework based on FPGA for deep learning

In this work, we propose a multiple view smart camera. This device is made by several image sensors connected to a common FPGA-based processing unit. Obviously, these sensors can be synchronized (or not) and provided a non-conventional sequences of images. Moreover, a pre- processing is performed within each image sensors and all processed flows are merged on a larger processing unit. From this new device, we propose to split and reduce the conventional CNN. Indeed, we postulate that a multiple view of an object (or a scene) is a richer input for classification process. In this way, it could be feasible to reduce the deep learning network while keeping a good classification ratio.

Jean Philippe DIGUET – UBS Lorient

Systèmes embarqués autonomes pour véhicules autonomes

Juliette LEHIR – GeePs – Laboratoire de Génie électrique et électronique de Paris

Conception mixte d’un imageur intelligent intégré à traitements locaux massivement parallèles

Transmettre de l’information pertinente en sortie de capteur tout en assurant une versatilité et une qualité d’image suffisantes ? C’est la problématique à laquelle ces travaux tentent d?apporter quelques réponses. L’imageur intelligent présenté ici intègre des prétraitements réalisés dès la matrice de pixels. Les calculs, de type convolution spatiale ou détection de mouvement, sont distribués au niveau macropixel (groupe de pixels) et ont été adaptés à cette architecture (principe d’AAA). L’implémentation proposée de l’élément de calcul est en circuit à capacités commutées : analogique pour limiter la consommation en énergie et la surface occupée entre les pixels, mais programmable grâce à un circuit numérique extérieur à la matrice pour garantir la versatilité du circuit. Une approche algorithmique par calcul approximé, validée en amont, a permis un dimensionnement minimisant sa surface. La matrice dessinée présente un facteur de remplissage de 28% et des simulations en vue extraite permettent d’atteindre de bons résultats de détection de contours ou de mouvement.

Satyajit Das – Labstic – Lorient

A 142MOPS/mW integrated programmable array accelerator for smart visual processing

Due to increasing demand of low power computing, and diminishing returns from technology scaling, industry and academia are turning with renewed interest toward energy-efficient programmable accelerators. This paper proposes an Integrated Programmable-Array accelerator (IPA) architecture based on an innovative execution model, targeted to accelerate both data and control-flow parts of deeply embedded vision applications typical of edge-nodes of the Internet of Things (IoT). In this paper we demonstrate the performance and energy efficiency of IPA implementing a smart visual trigger application. Experimental results show that the proposed accelerator delivers 507 MOPS and 142 MOPS/mW on the target application, surpassing a low-power processor optimized for DSP applications by 6x in performance and by 10x in energy efficiency. Moreover, it surpasses performance of state of the art CGRAs only capable of implementing data-flow portion of applications by 1.6x, demonstrating the effectiveness of the proposed architecture and computational model.