Estimation de l'échelle absolue par vision passive monofocale et application à la mesure 3D de néoplasies en imagerie coloscopique

Thesis


Chadebecq, F. 2015. Estimation de l'échelle absolue par vision passive monofocale et application à la mesure 3D de néoplasies en imagerie coloscopique. Thesis Blaise Pascal University
TitleEstimation de l'échelle absolue par vision passive monofocale et application à la mesure 3D de néoplasies en imagerie coloscopique
AuthorsChadebecq, F.
Abstract

Vision-based metrology devices generally embed stereoscopic sensors or active measurement systems. Most of the passive 3D reconstruction techniques (Structure-from-Motion, Shape from-Shading) adapted to monocular vision suffer from scale ambiguity. Because the processing of image acquisition implies the loss of the depth information, there is an ambiguous relationship between the depth of a scene and the size of an imaged object. This study deals with the estimation of the absolute scale of a scene using passive monofocal vision. Monofocal vision describes monocular system for which optical parameters are fixed. Such optical systems are notably embedded within endoscopic systems used in colonoscopy. This minimally invasive technique allows endoscopists to explore the colon cavity and remove neoplasias (abnormal growths of tissue). Their size is an essential diagnostic criterion for estimating their rate of malignancy. However, it is difficult to estimate and erroneous visual estimations lead to neoplasias surveillance intervals being inappropriately assigned. The need to design a neoplasia measurement system is the core motivation for our study. In the first part of this manuscript, we review state-of-the-art vision-based metrology devices to provide context for our system. We then introduce monofocal optical systems and the specific image formation model used in our study. The second part deals with the main contribution of our work. We first review in detail state of the art DfD (Depth-from-Defocus) and DfF (Depth-from-Defocus) approaches. They are passive computer vision techniques that enable us to resolve scale ambiguity. Our core contribution is introduced in the following chapter. We define the Infocus-Breakpoint (IB) that allows us to resolve scale from a regular video. The IB is the lower limit of the optical system’s depth of field. Our system relies on two novel technical modules: Blur-Estimating Tracking (BET) and Blur-Model Fitting (BMF). BET allows us to simultaneously track an area of interest and estimate the optical blur information. BMF allows us to robustly extract the IB by fitting an optical blur model to the blur measurement estimated by the BET module. For the optical system is monofocal, the IB corresponds to a reference depth that can be calibrated. In the last chapter, we evaluate our method and propose a neoplasia measurement system adapted to the constraints in colonoscopy examination. The last part of this manuscript is dedicated to a prospect of extension of our method by a generative approach. We present, as a preliminary study, a new NRSfM (Non-Rigid Structure-from-Motion) method allowing the scaled Euclidean 3D reconstruction of deformable surfaces. This approach is based on the simultaneous estimation of dense depth maps corresponding to a set of deformations as well as the in-focus color map of the flattened surface. We first review state-of-the-art methods for 3D reconstruction of deformable surfaces. We then introduce our new generative model as well as an alternation method allowing us to infer it.

La majorité des dispositifs de métrologie basés vision sont équipés de systèmes optiques stéréo ou de systèmes de mesure externes dits actifs. Les méthodes de reconstruction tridimensionnelle (Structure-from-Motion, Shape-from-Shading) applicables à la vision monoculaire souffrent généralement de l’ambiguïté d’échelle. Cette dernière est inhérente au processus d’acquisition d’images qui implique la perte de l’information de profondeur de la scène. La relation entre la taille des objets et la distance de la prise de vue est équivoque.Cette étude a pour objet l’estimation de l’échelle absolue d’une scène par vision passive monofocale. Elle vise à apporter une solution à l’ambiguïté d’échelle uniquement basée vision, pour un système optique monoculaire dont les paramètres internes sont fixes. Elle se destine plus particulièrement à la mesure des lésions en coloscopie. Cette procédure endoscopique (du grec endom : intérieur et scopie : vision) permet l’exploration et l’intervention au sein du côlon à l’aide d’un dispositif flexible (coloscope) embarquant généralement un système optique monofocal. Dans ce contexte, la taille des néoplasies (excroissances anormales de tissu) constitue un critère diagnostic essentiel. Cette dernière est cependant difficile à évaluer et les erreurs d’estimations visuelles peuvent conduire à la définition d’intervalles de temps de surveillance inappropriés. La nécessité de concevoir un système d’estimation de la taille des lésions coloniques constitue la motivation majeure de cette étude. Nous dressons dans la première partie de ce manuscrit un état de l’art synoptique des différents systèmes de mesure basés vision afin de positionner notre étude dans ce contexte. Nous présentons ensuite le modèle de caméra monofocal ainsi que le modèle de formation d’image qui lui a été associé. Ce dernier est la base essentielle des travaux menés dans le cadre de cette thèse. La seconde partie du manuscrit présente la contribution majeure de notre étude. Nous dressons tout d’abord un état de l’art détaillé des méthodes de reconstruction 3D basées sur l’analyse de l’information de flou optique (DfD (Depth-from-Defocus) et DfF (Depth-from-Defocus)). Ces dernières sont des approches passives permettant, sous certaines contraintes d’asservissement de la caméra, de résoudre l’ambiguïté d’échelle. Elles ont directement inspiré le système de mesure par extraction du point de rupture de netteté présenté dans le chapitre suivant. Nous considérons une vidéo correspondant à un mouvement d’approche du système optique face à une région d’intérêt dont on souhaite estimer les dimensions. Notre système de mesure permet d’extraire le point de rupture nette/flou au sein de cette vidéo. Nous démontrons que, dans le cas d’un système optique monofocale, ce point unique correspond à une profondeur de référence pouvant être calibrée. Notre système est composé de deux modules. Le module BET (Blur EstimatingTracking) permet le suivi et l’estimation conjointe de l’information de mise au point d’une région d’intérêt au sein d’une vidéo. Le module BMF (Blur Model Fitting) permet d’extraire de façon robuste le point de rupture de netteté grâce à l’ajustement d’un modèle de flou optique. Une évaluation de notre système appliqué à l’estimation de la taille des lésions coloniques démontre sa faisabilité. Le dernier chapitre de ce manuscrit est consacré à une perspective d’extension de notre approche par une méthode générative. Nous présentons, sous la forme d’une étude théorique préliminaire, une méthode NRSfM (Non-Rigid Structure-from-Motion) permettant la reconstruction à l’échelle de surfaces déformables. Cette dernière permet l’estimation conjointe de cartes de profondeurs denses ainsi que de l’image de la surface aplanie entièrement mise au point. (...)

LanguageFrench
Institution nameBlaise Pascal University
PublisherHAL Open Science
Publication dates
Online2015
Publication process dates
Completed2015
Deposited28 Feb 2024
Web address (URL)https://theses.hal.science/tel-01818783
Permalink -

https://repository.mdx.ac.uk/item/z6594

  • 12
    total views
  • 0
    total downloads
  • 5
    views this month
  • 0
    downloads this month

Export as

Related outputs

Artificial intelligence and automation in endoscopy and surgery
Chadebecq, F., Lovat, L. and Stoyanov, D. 2023. Artificial intelligence and automation in endoscopy and surgery. Nature Reviews Gastroenterology and Hepatology. 20 (3), pp. 171-182. https://doi.org/10.1038/s41575-022-00701-y
Identifying key mechanisms leading to visual recognition errors for missed colorectal polyps using eye-tracking technology
Ahmad, O., Mazomenos, E., Chadebecq, F., Kader, R., Hussein, M., Haidry, R., Puyal, J., Brandao, P., Toth, D. and Mountney, P. 2023. Identifying key mechanisms leading to visual recognition errors for missed colorectal polyps using eye-tracking technology. Journal of Gastroenterology and Hepatology. 38 (5), pp. 768-774. https://doi.org/10.1111/jgh.16127
SuperPoint features in endoscopy
Leon Barbed, O., Chadebecq, F., Morlana, J., Montiel, J. and Murillo, A. 2022. SuperPoint features in endoscopy. Manfredi, L., Ahmadi, S., Bronstein, M., Kazi, A., Lomanto, D., Mathew, A., Magerand, L., Mullakaeva, K., Papiez, B., Taylor, R. and Trucco, E. (ed.) 1st MICCAI Workshop on Imaging Systems for GI Endoscopy. Singapore 18 - 18 Sep 2022 Cham Springer. https://doi.org/10.1007/978-3-031-21083-9_5
P19 Structure-from-motion analysis may generate an accurate automated bowel preparation score
Chadebecq, F., Mountney, P., Ahmad, O., Kader, R., Lovat, L. and Stoyanov, D. 2021. P19 Structure-from-motion analysis may generate an accurate automated bowel preparation score. BSG Campus 2021. Online 21 - 29 Jan 2021 BMJ. https://doi.org/gutjnl-2020-bsgcampus.94
Refractive two-view reconstruction for underwater 3D vision
Chadebecq, F., Vasconcelos, F., Lacher, R., Maneas, E., Desjardins, A., Ourselin, S., Vercauteren, T. and Stoyanov, D. 2020. Refractive two-view reconstruction for underwater 3D vision. International Journal of Computer Vision. 128 (5), pp. 1101-1117. https://doi.org/10.1007/s11263-019-01218-9
Computer vision in the surgical operating room
Chadebecq, F., Vasconcelos, F., Mazomenos, E. and Stoyanov, D. 2020. Computer vision in the surgical operating room. Visceral Medicine. 36 (6), pp. 456-462. https://doi.org/10.1159/000511934
Automated pick-up of suturing needles for robotic surgical assistance
D'Ettorre, C., Dwyer, G., Du, X., Chadebecq, F., Vasconcelos, F., De Momi, E. and Stoyanov, D. 2018. Automated pick-up of suturing needles for robotic surgical assistance. 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane, QLD, Australia 21 - 25 May 2018 IEEE. pp. 1370-1377 https://doi.org/10.1109/ICRA.2018.8461200
Monocular 3D reconstruction of the colon using CNNs trained on synthetic data
Rau, A., Chadebecq, F., Stoyanov, D. and Riordan, P. 2018. Monocular 3D reconstruction of the colon using CNNs trained on synthetic data. 8th Joint Workshop on New Technologies for Computer/Robot Assisted Surgery. London, UK 10 - 11 Sep 2018 CRAS.
Adjoint transformation algorithm for hand-eye calibration with applications in robotic assisted surgery
Pachtrachai, K., Vasconcelos, F., Chadebecq, F., Allan, M., Hailes, S., Pawar, V. and Stoyanov, D. 2018. Adjoint transformation algorithm for hand-eye calibration with applications in robotic assisted surgery. Annals of Biomedical Engineering. 46 (10), pp. 1606-1620. https://doi.org/10.1007/s10439-018-2097-4
Medical-grade sterilizable target for fluid-immersed fetoscope optical distortion calibration
Nikitichev, D., Shakir, D., Chadebecq, F., Tella, M., Deprest, J., Stoyanov, D., Ourselin, S. and Vercauteren, T. 2017. Medical-grade sterilizable target for fluid-immersed fetoscope optical distortion calibration. Journal of Visualized Experiments. 120, p. e55298. https://doi.org/10.3791/55298
Corner-based geometric calibration of multi-focus plenoptic cameras
Nousias, S., Chadebecq, F., Pichat, J., Keane, P., Ourselin, S. and Bergeles, C. 2017. Corner-based geometric calibration of multi-focus plenoptic cameras. 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy 22 - 29 Oct 2017 IEEE. pp. 957-965 https://doi.org/10.1109/ICCV.2017.109
Refractive structure-from-motion through a flat refractive interface
Chadebecq, F., Vasconcelos, F., Dwyer, G., Lacher, R., Ourselin, S., Vercauteren, T. and Stoyanov, D. 2017. Refractive structure-from-motion through a flat refractive interface. 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy 22 - 29 Oct 2017 IEEE. pp. 5325-5333 https://doi.org/10.1109/ICCV.2017.568
A continuum robot and control interface for surgical assist in fetoscopic interventions
Dwyer, G., Chadebecq, F., Amo, M., Bergeles, C., Maneas, E., Pawar, V., Poorten, E., Deprest, J., Ourselin, S., De Coppi, P., Vercauteren, T. and Stoyanov, D. 2017. A continuum robot and control interface for surgical assist in fetoscopic interventions. IEEE Robotics and Automation Letters. 2 (3), pp. 1656-1663. https://doi.org/10.1109/LRA.2017.2679902
Cooperative control with distal manipulation for fetoscopic laser photocoagulation
Dwyer, G., Bergeles, C., Chadebecq, F., Pawar, V., Vander Poorten, E., Ourselin, S., Deprest, J., De Coppi, P., Vercauteren, T. and Stoyanov, D. 2016. Cooperative control with distal manipulation for fetoscopic laser photocoagulation. 6th Joint Workshop on New Technologies for Computer/Robot Assisted Surgery. Pisa, Italy 12 - 14 Sep 2016 Leuven, Belgium KU Leuven. pp. 34-35
Real-time mosaicing of fetoscopic videos using SIFT
Daga, P., Chadebecq, F., Shakir, D., Herrera, L., Tella, M., Dwyer, G., David, A., Deprest, J., Stoyanov, D., Vercauteren, T. and Ourselin, S. 2016. Real-time mosaicing of fetoscopic videos using SIFT. SPIE Medical Imaging 2016. San Diego, California, United States 27 Feb - 03 Mar 2016 SPIE. https://doi.org/10.1117/12.2217172
A combined EM and visual tracking probabilistic model for robust mosaicking: application to fetoscopy
Tella-Amo, M., Daga, P., Chadebecq, F., Thompson, S., Shakir, D., Dwyer, G., Wimalasundera, R., Deprest, J., Stoyanov, D. and Vercauteren, T. 2016. A combined EM and visual tracking probabilistic model for robust mosaicking: application to fetoscopy. 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Las Vegas, NV, USA 26 Jun - 01 Jul 2016 IEEE. https://doi.org/10.1109/CVPRW.2016.72
Shape-from-template
Bartoli, A., Gerard, Y., Chadebecq, F., Collins, T. and Pizarro, D. 2015. Shape-from-template. IEEE Transactions on Pattern Analysis and Machine Intelligence. 37 (10), pp. 2099-2118. https://doi.org/10.1109/TPAMI.2015.2392759
How big is this neoplasia? Live colonoscopic size measurement using the Infocus-Breakpoint
Chadebecq, F., Tilmant, C. and Bartoli, A. 2015. How big is this neoplasia? Live colonoscopic size measurement using the Infocus-Breakpoint. Medical Image Analysis. 19 (1), pp. 58-74. https://doi.org/10.1016/j.media.2014.09.002
Practical dry calibration with medium adaptation for fluid-immersed endoscopy
Chadebecq, F., Vercauteren, T., Wimalasundera, R., Attilakos, G., David, A., Deprest, J., Ourselin, S. and Stoyanov, D. 2015. Practical dry calibration with medium adaptation for fluid-immersed endoscopy. Hamlyn Symposium on Medical Robotics 2015. London, UK 20 - 23 Jun 2015
Multimodal and multimedia image analysis and collaborative networking for digestive endoscopy
d’Orazio, L., Bartoli, A., Baetz, A., Beorchia, S., Calvary, G., Chabane, Y., Chadebecq, F., Collins, T., Laurillau, Y. and Martins-Baltar, L. 2014. Multimodal and multimedia image analysis and collaborative networking for digestive endoscopy. IRBM. 35 (2), pp. 88-93.
Enhanced imaging colonoscopy facilitates dense motion-based 3D reconstruction
Alcantarilla, P., Bartoli, A., Chadebecq, F., Tilmant, C. and Lepilliez, V. 2013. Enhanced imaging colonoscopy facilitates dense motion-based 3D reconstruction. 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Osaka, Japan 03 - 07 Jul 2013 IEEE. pp. 7346-7349 https://doi.org/10.1109/EMBC.2013.6611255
Estimation de l'échelle des néoplasies en coloscopie par détection de la profondeur de défocalisation
Chadebecq, F., Tilmant, C. and Bartoli, A. 2013. Estimation de l'échelle des néoplasies en coloscopie par détection de la profondeur de défocalisation. ORASIS 2013 - Journées francophones des jeunes chercheurs en vision par ordinateur. Cluny, France 10 - 14 Jun 2013 HAL Open Science.
Using the Infocus-Breakpoint to estimate the scale of neoplasia in colonoscopy
Chadebecq, F., Tilmant, C. and Bartoli, A. 2013. Using the Infocus-Breakpoint to estimate the scale of neoplasia in colonoscopy. 2013 IEEE 10th International Symposium on Biomedical Imaging. San Francisco, CA, USA 07 - 11 Apr 2013 IEEE. pp. 354-357 https://doi.org/10.1109/ISBI.2013.6556485
Estimation de l'échelle en coloscopie monoculaire par quantification du flou optique: étude de faisabilité
Chadebecq, F., Tilmant, C., Julien, P., Collins, T. and Bartoli, A. 2012. Estimation de l'échelle en coloscopie monoculaire par quantification du flou optique: étude de faisabilité. Reconnaissance des Formes et Intelligence Artificielle 2012. Lyon, France 24 - 27 Jan 2012 HAL Open Science.
Measuring the size of neoplasia in colonoscopy using depth-from-defocus
Chadebecq, F., Tilmant, C. and Bartoli, A. 2012. Measuring the size of neoplasia in colonoscopy using depth-from-defocus. 2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego, CA, USA 28 Aug - 01 Sep 2012 IEEE. pp. 1478-1481 https://doi.org/10.1109/EMBC.2012.6346220
On template-based reconstruction from a single view: analytical solutions and proofs of well-posedness for developable, isometric and conformal surfaces
Bartoli, A., Gerard, Y., Chadebecq, F. and Collins, T. 2012. On template-based reconstruction from a single view: analytical solutions and proofs of well-posedness for developable, isometric and conformal surfaces. 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA 16 - 21 Jun 2012 IEEE. pp. 2026-2033 https://doi.org/10.1109/CVPR.2012.6247906