IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM

• Main Authors: MIYASHITA, Hiromu, YAMADA, Shota, KAKINUMA, Hirokazu, NAGATA, Hidenobu
• Format: Patent
• Language: English; French; Japanese
• Published: 29.09.2022
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

An image processing device according to an embodiment: uses a learning unit to generate a deep learning model in advance through deep learning using color images, mask images, and coordinate images stored in an image storage unit, said coordinate images being independent of the content of the color images; and inputs, into an inference processing unit, a color image to be processed received by an image reception processing unit and a coordinate image stored in the image storage unit, and performs inference with reference to the deep learning model to extract a foreground constituting at least one subject area and generate at least one mask image. Then the image processing device: uses a boundary correction processing unit to correct a boundary region between each of at least one foreground and the background in the color image to be processed on the basis of the color and coordinate relationship between pixels to be determined and the surrounding pixels thereof in the boundary region, thereby generating at least one boundary-corrected mask image; and uses an image combining processing unit to combine the color image to be processed with the boundary-corrected mask image to generate an extracted image of the at least one foreground. L'invention porte, selon un mode de réalisation, sur un dispositif de traitement d'image : qui utilise une unité d'apprentissage pour générer un modèle d'apprentissage profond à l'avance par apprentissage profond à l'aide d'images en couleurs, d'images de masque et d'images de coordonnées stockées dans une unité de stockage d'image, lesdites images de coordonnées étant indépendantes du contenu des images en couleurs ; et qui entre, dans une unité de traitement d'inférence, une image en couleurs à traiter reçue par une unité de traitement de réception d'image et une image de coordonnées stockée dans l'unité de stockage d'image, et qui effectue une inférence en référence au modèle d'apprentissage profond pour extraire un premier plan constituant au moins une zone de sujet et pour générer au moins une image de masque. Ensuite, le dispositif de traitement d'image : utilise une unité de traitement de correction de limite pour corriger une région de limite entre chacun d'au moins un premier plan et l'arrière-plan dans l'image en couleurs à traiter sur la base de la relation de couleur et de coordonnées entre des pixels à déterminer et les pixels environnants de ceux-ci dans la région de limite, ce qui permet de générer au moins une image de masque à limite corrigée ; et utilise une unité de traitement de combinaison d'image pour combiner l'image en couleurs à traiter avec l'image de masque à limite corrigée pour générer une image extraite du ou des premiers plans. 一実施形態に係る画像処理装置は、学習部にて、画像記憶部に保存されたカラー画像とマスク画像とカラー画像の内容に依存しない座標画像とを用いて深層学習を行って深層学習モデルを生成しておき、推論処理部に、画像受信処理部が受信した処理対象のカラー画像と画像記憶部に保存された座標画像とを入力し、この深層学習モデルを参照して推論することで、少なくとも１つの被写体領域である前景を抽出して、少なくとも１つのマスク画像を生成する。そして、画像処理装置は、境界補正処理部にて、処理対象のカラー画像における少なくとも１つの前景それぞれと背景との境界領域における判定対象画素とその周辺画素との間の色及び座標の関係に基づいて境界領域を補正することで、少なくとも１つの境界補正後マスク画像を生成し、画像合成処理部にて、記処理対象のカラー画像と境界補正後マスク画像とを合成して、少なくとも１つの前景の抽出画像を生成する。