모바일 디바이스 기반의 멀티 모달 사용자 거리 추정 시스템
본 논문에서는 모바일 디바이스에 기본적으로 제공되는 모노 카메라와 모노 마이크의 멀티 모달 입력을 통 하여 사용자와 모바일 디바이스간의 거리를 추정하는 방법을 제안한다. 영상을 이용한 거리 추정은 모노 카메라로 입 력되는 영상에서 피부색 영역을 추출하고, 노이즈를 제거한 후에 얼굴 영역 및 눈 영역을 검출하여 사용자의 거리를 추정한다. 음성을 이용한 거리 추정은 모노 마이크로 입력되는 음성으로부터 가장 큰 피크(Peak)를 선정하고, ROI( Region of Interest)를 지정한 후에 FFT(Fast Fourier Trans...
Saved in:
| Published in | The journal of the institute of internet, broadcasting and communication : JIIBC Vol. 14; no. 2; pp. 65 - 71 |
|---|---|
| Main Authors | , |
| Format | Journal Article |
| Language | Korean |
| Published |
한국인터넷방송통신학회
30.04.2014
|
| Subjects | |
| Online Access | Get full text |
| ISSN | 2289-0238 2289-0246 |
| DOI | 10.7236/JIIBC.2014.14.2.65 |
Cover
| Abstract | 본 논문에서는 모바일 디바이스에 기본적으로 제공되는 모노 카메라와 모노 마이크의 멀티 모달 입력을 통 하여 사용자와 모바일 디바이스간의 거리를 추정하는 방법을 제안한다. 영상을 이용한 거리 추정은 모노 카메라로 입 력되는 영상에서 피부색 영역을 추출하고, 노이즈를 제거한 후에 얼굴 영역 및 눈 영역을 검출하여 사용자의 거리를 추정한다. 음성을 이용한 거리 추정은 모노 마이크로 입력되는 음성으로부터 가장 큰 피크(Peak)를 선정하고, ROI( Region of Interest)를 지정한 후에 FFT(Fast Fourier Transform)을 수행하여 주파수 축에서의 크기(Magnitude)를 계산한 다. 계산된 크기 값과 거리별 크기 값의 모델을 비교하여 거리 별 우도(Likelihood)를 계산하고, 정렬한 후 가중치를 주어 더함으로써 사용자의 거리를 추정한다. 실험결과 영상 및 음성을 멀티 모달 입력으로 이용하여 거리를 추정한 결과 단일 모달로 거리를 추정한 결과 보다 향상된 결과를 얻을 수 있었다. |
|---|---|
| AbstractList | 본 논문에서는 모바일 디바이스에 기본적으로 제공되는 모노 카메라와 모노 마이크의 멀티 모달 입력을 통 하여 사용자와 모바일 디바이스간의 거리를 추정하는 방법을 제안한다. 영상을 이용한 거리 추정은 모노 카메라로 입 력되는 영상에서 피부색 영역을 추출하고, 노이즈를 제거한 후에 얼굴 영역 및 눈 영역을 검출하여 사용자의 거리를 추정한다. 음성을 이용한 거리 추정은 모노 마이크로 입력되는 음성으로부터 가장 큰 피크(Peak)를 선정하고, ROI( Region of Interest)를 지정한 후에 FFT(Fast Fourier Transform)을 수행하여 주파수 축에서의 크기(Magnitude)를 계산한 다. 계산된 크기 값과 거리별 크기 값의 모델을 비교하여 거리 별 우도(Likelihood)를 계산하고, 정렬한 후 가중치를 주어 더함으로써 사용자의 거리를 추정한다. 실험결과 영상 및 음성을 멀티 모달 입력으로 이용하여 거리를 추정한 결과 단일 모달로 거리를 추정한 결과 보다 향상된 결과를 얻을 수 있었다. 본 논문에서는 모바일 디바이스에 기본적으로 제공되는 모노 카메라와 모노 마이크의 멀티 모달 입력을 통하여 사용자와 모바일 디바이스간의 거리를 추정하는 방법을 제안한다. 영상을 이용한 거리 추정은 모노 카메라로 입력되는 영상에서 피부색 영역을 추출하고, 노이즈를 제거한 후에 얼굴 영역 및 눈 영역을 검출하여 사용자의 거리를 추정한다. 음성을 이용한 거리 추정은 모노 마이크로 입력되는 음성으로부터 가장 큰 피크(Peak)를 선정하고, ROI( Region of Interest)를 지정한 후에 FFT(Fast Fourier Transform)을 수행하여 주파수 축에서의 크기(Magnitude)를 계산한다. 계산된 크기 값과 거리별 크기 값의 모델을 비교하여 거리 별 우도(Likelihood)를 계산하고, 정렬한 후 가중치를 주어 더함으로써 사용자의 거리를 추정한다. 실험결과 영상 및 음성을 멀티 모달 입력으로 이용하여 거리를 추정한 결과 단일 모달로 거리를 추정한 결과 보다 향상된 결과를 얻을 수 있었다. This paper present the multi-modal user distance estimation system using mono camera and mono microphone basically equipped with a mobile device. In case of a distance estimation method using an image, we is estimated a distance of the user through the skin color region extraction step, a noise removal step, the face and eyes region detection step. On the other hand, in case of a distance estimation method using speech, we calculates the absolute difference between the value of the sample of speech input. The largest peak value of the calculated difference value is selected and samples before and after the peak are specified as the ROI(Region of Interest). The samples specified perform FFT(Fast Fourier Transform) and calculate the magnitude of the frequency domain. Magnitude obtained is compared with the distance model to calculate the likelihood. We is estimated user distance by adding with weights in the sorted value. The result of an experiment using the multi-modal method shows more improved measurement value than that of single modality. KCI Citation Count: 2 This paper present the multi-modal user distance estimation system using mono camera and mono microphone basically equipped with a mobile device. In case of a distance estimation method using an image, we is estimated a distance of the user through the skin color region extraction step, a noise removal step, the face and eyes region detection step. On the other hand, in case of a distance estimation method using speech, we calculates the absolute difference between the value of the sample of speech input. The largest peak value of the calculated difference value is selected and samples before and after the peak are specified as the ROI(Region of Interest). The samples specified perform FFT(Fast Fourier Transform) and calculate the magnitude of the frequency domain. Magnitude obtained is compared with the distance model to calculate the likelihood. We is estimated user distance by adding with weights in the sorted value. The result of an experiment using the multi-modal method shows more improved measurement value than that of single modality. 본 논문에서는 모바일 디바이스에 기본적으로 제공되는 모노 카메라와 모노 마이크의 멀티 모달 입력을 통하여 사용자와 모바일 디바이스간의 거리를 추정하는 방법을 제안한다. 영상을 이용한 거리 추정은 모노 카메라로 입력되는 영상에서 피부색 영역을 추출하고, 노이즈를 제거한 후에 얼굴 영역 및 눈 영역을 검출하여 사용자의 거리를 추정한다. 음성을 이용한 거리 추정은 모노 마이크로 입력되는 음성으로부터 가장 큰 피크(Peak)를 선정하고, ROI(Region of Interest)를 지정한 후에 FFT(Fast Fourier Transform)을 수행하여 주파수 축에서의 크기(Magnitude)를 계산한다. 계산된 크기 값과 거리별 크기 값의 모델을 비교하여 거리 별 우도(Likelihood)를 계산하고, 정렬한 후 가중치를 주어 더함으로써 사용자의 거리를 추정한다. 실험결과 영상 및 음성을 멀티 모달 입력으로 이용하여 거리를 추정한 결과 단일 모달로 거리를 추정한 결과 보다 향상된 결과를 얻을 수 있었다. |
| Author | 오병훈 홍광석 |
| Author_xml | – sequence: 1 fullname: 오병훈 – sequence: 2 fullname: 홍광석 |
| BackLink | https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART001870197$$DAccess content in National Research Foundation of Korea (NRF) |
| BookMark | eNo9kD1Lw1AYhS-iYK39Aw6SRXBJzL1J7sdYix-phYp0v-TjXgmtqSRd3ERwsYtDhCKtOIhY6RBBxMFf1KT_wbQV4cA5vDzvGc4GWA27oQBgC-oaQQbeq9v2fk1DOjS1QkjD1gooIUSZqiMTr_5ng66DShwHrm7okJnYxCVwmr2_ZWmSj36ULEkW6TO_e1Gm32mWDvLRQMnG17N-qsy5_kTJbyb54zh_ulemH2n2Why-kvz5Qcn7w-JtdjvcBGvS6cSi8udl0Do8aNWO1UbzyK5VG6qgmKmMYuxC35GWEAhTqHvSlNSlwiMGRcRn2CVMIF8SLB1KJYPCItK3fOL7rul6RhnsLmvDSPK2F_CuEyz8vMvbEa-etWzOkKEzVqA7S7QdxL2Ah37c4fXqSXM-GDSJZWBiQWgW3PaSE07UC7yO4JdRcOFEVxwVa1mW8QsUkIL5 |
| ContentType | Journal Article |
| DBID | M1Z JDI ACYCR |
| DEWEY | 004 |
| DOI | 10.7236/JIIBC.2014.14.2.65 |
| DatabaseName | e-articles KoreaScience Korean Citation Index |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| Discipline | Computer Science |
| DocumentTitleAlternate | Multi-Modal User Distance Estimation System based on Mobile Device |
| EISSN | 2289-0246 |
| EndPage | 71 |
| ExternalDocumentID | oai_kci_go_kr_ARTI_923099 JAKO201414753675114 219455 |
| GroupedDBID | .UV ALMA_UNASSIGNED_HOLDINGS M1Z JDI ACYCR M~E |
| ID | FETCH-LOGICAL-e869-9866b1daf5ee26810cf4f8b8ec73827d96b79e2df76fa88f91e57fd5d7ddb4bc3 |
| ISSN | 2289-0238 |
| IngestDate | Tue Nov 21 21:41:09 EST 2023 Fri Dec 22 12:04:09 EST 2023 Sat Oct 18 23:51:23 EDT 2025 |
| IsDoiOpenAccess | true |
| IsOpenAccess | true |
| IsPeerReviewed | false |
| IsScholarly | true |
| Issue | 2 |
| Keywords | FFT Face Detection Distance Estimation |
| Language | Korean |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-e869-9866b1daf5ee26810cf4f8b8ec73827d96b79e2df76fa88f91e57fd5d7ddb4bc3 |
| Notes | KISTI1.1003/JNL.JAKO201414753675114 G704-001948.2014.14.2.019 |
| OpenAccessLink | http://click.ndsl.kr/servlet/LinkingDetailView?cn=JAKO201414753675114&dbt=JAKO&org_code=O481&site_code=SS1481&service_code=01 |
| PageCount | 7 |
| ParticipantIDs | nrf_kci_oai_kci_go_kr_ARTI_923099 kisti_ndsl_JAKO201414753675114 earticle_primary_219455 |
| PublicationCentury | 2000 |
| PublicationDate | 20140430 |
| PublicationDateYYYYMMDD | 2014-04-30 |
| PublicationDate_xml | – month: 04 year: 2014 text: 20140430 day: 30 |
| PublicationDecade | 2010 |
| PublicationTitle | The journal of the institute of internet, broadcasting and communication : JIIBC |
| PublicationTitleAlternate | The journal of the institute of internet, broadcasting and communication : JIIBC |
| PublicationYear | 2014 |
| Publisher | 한국인터넷방송통신학회 |
| Publisher_xml | – name: 한국인터넷방송통신학회 |
| SSID | ssib030194646 ssib053377388 ssib023738960 ssib044745939 ssib021620247 ssib036278198 ssib022331885 |
| Score | 1.8827757 |
| Snippet | 본 논문에서는 모바일 디바이스에 기본적으로 제공되는 모노 카메라와 모노 마이크의 멀티 모달 입력을 통 하여 사용자와 모바일 디바이스간의 거리를 추정하는 방법을... This paper present the multi-modal user distance estimation system using mono camera and mono microphone basically equipped with a mobile device. In case of a... 본 논문에서는 모바일 디바이스에 기본적으로 제공되는 모노 카메라와 모노 마이크의 멀티 모달 입력을 통하여 사용자와 모바일 디바이스간의 거리를 추정하는 방법을... |
| SourceID | nrf kisti earticle |
| SourceType | Open Website Open Access Repository Publisher |
| StartPage | 65 |
| SubjectTerms | 컴퓨터학 |
| TableOfContents | 요약
Abstract
Ⅰ. 서론
Ⅱ. 영상을 이용한 사용자 거리 추정
1. 피부색 영역 추출
2. 침식, 팽창을 이용한 잡음 제거 및 AND 연산
3. Adaboost 기반 얼굴 및 눈 검출기
4. 눈 사이 거리 검출을 위한 히스토그램 분석
5. 얼굴 및 눈을 이용한 거리 추정
Ⅲ. 음성을 이용한 사용자 거리 추정
1. 관심영역 제한
2. FFT를 이용한 특징 추출
3. GMM을 이용한 학습 및 분류
4. 음성을 이용한 거리 추정
Ⅳ. 멀티 모달 사용자 거리 추정
Ⅴ. 실험 및 결과
1. 영상을 이용한 사용자 거리 추정 성능 평가
2. 음성을 이용한 사용자 거리 추정 성능 평가
3. 멀티모달 사용자 거리 추정 성능 평가
Ⅵ. 결론
References |
| Title | 모바일 디바이스 기반의 멀티 모달 사용자 거리 추정 시스템 |
| URI | https://www.earticle.net/Article/A219455 http://click.ndsl.kr/servlet/LinkingDetailView?cn=JAKO201414753675114&dbt=JAKO&org_code=O481&site_code=SS1481&service_code=01 https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART001870197 |
| Volume | 14 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| ispartofPNX | 한국인터넷방송통신학회 논문지, 2014, 14(2), , pp.65-71 |
| journalDatabaseRights | – providerCode: PRVHPJ databaseName: ROAD: Directory of Open Access Scholarly Resources customDbUrl: eissn: 2289-0246 dateEnd: 99991231 omitProxy: true ssIdentifier: ssib044745939 issn: 2289-0238 databaseCode: M~E dateStart: 20140101 isFulltext: true titleUrlDefault: https://road.issn.org providerName: ISSN International Centre |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwvR3LahRBsInx4kUUX_ERRrBPYded3u7p7mPP7EoSiXqIkNuw85IQ2UhMLh5EBC_m4mGFIIl4EDGSwwoiHsQPyk7-waqe2d1JVIgevAy1NdVV1dUzXVWz3dWE3EgZOKEUZj8OsXSNpyKqRZ0OLhpPm-COE9FguN954Y43e5_PL4mliRM_KquWNtajevzkt_tK_mVUAQfjirtk_2JkR0wBATCML1xhhOF6rDGmbZ8aQ41CwG9QzWk7oLpF_WAGUfAbUUfuWUBBMw5EhvoKb5dEqiTSyjIwGldCtFtU4e2ZQ_IAZVAM8GIA2YYGWyDQprpRcHdL7sYbkvteqYwBgaLgALoGI7WsQAGYauSMSC0sGXAV1LSG_VGWnpdyEJBldwplFEh2LY2HDQtxpjFkqC1gqCpsBoL9wCocWNagpkQjwKPocgjHWeXbidVAWY1BXpNqK0YDEzUmaaEI1bJqc0sSoJK6Vf3g4vLKf0f4ivyH7o59AGO4oo0VBXDqaRXHq36nOG-jjGCKM22O-kbJ7OE983NzfoBLGjk4yTqrD1tWC5EfCRAOlSJfiZfDB6vhyloICddcCPkB5BgnyEkGXhWPTll42h7O58wFFBunqxCJggcZ10piWFVLj9Nz8DWaV8rdQWwlIWAd-QfOJRfaHg44skuxDw77dvPXnmGAWb6ckHtiQrYMIWR3LauEkItnyOky93NMQXuWTKysniP3Bp8-Dvq9fOe7M-j1LPQlf_ne2f_WH_S38p0tZ7D77GCz7yDd5p6TP9_L3-zmb185-5_7gw-A-NrL37128s1taHbwYvs8WbzVXgxma-UxJ7VUebqmledFbtLJRJoyrA4YZzxTkUpjsA6TifYiqVOWZNLLOkplMLUKmSUikUkS8ShuXiCT3dVueok4mRCQTkEInsQdLjrNKAEmCX7BkTyTSTxFLg7tET4qitmEELFwIabItDVP2E0ePwznze27aEeXS9H0JORkfIpcB7vZ0f_jU3D5GDRXyKnxO3WVTK6vbaTXIKxfj6bts_MTe0rAQg |
| linkProvider | ISSN International Centre |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%EB%AA%A8%EB%B0%94%EC%9D%BC+%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4+%EA%B8%B0%EB%B0%98%EC%9D%98+%EB%A9%80%ED%8B%B0+%EB%AA%A8%EB%8B%AC+%EC%82%AC%EC%9A%A9%EC%9E%90+%EA%B1%B0%EB%A6%AC+%EC%B6%94%EC%A0%95+%EC%8B%9C%EC%8A%A4%ED%85%9C&rft.jtitle=%ED%95%9C%EA%B5%AD%EC%9D%B8%ED%84%B0%EB%84%B7%EB%B0%A9%EC%86%A1%ED%86%B5%EC%8B%A0%ED%95%99%ED%9A%8C+%EB%85%BC%EB%AC%B8%EC%A7%80%2C+14%282%29&rft.au=%EC%98%A4%EB%B3%91%ED%9B%88&rft.au=%ED%99%8D%EA%B4%91%EC%84%9D&rft.date=2014-04-30&rft.pub=%ED%95%9C%EA%B5%AD%EC%9D%B8%ED%84%B0%EB%84%B7%EB%B0%A9%EC%86%A1%ED%86%B5%EC%8B%A0%ED%95%99%ED%9A%8C&rft.issn=2289-0238&rft.eissn=2289-0246&rft.spage=65&rft.epage=71&rft_id=info:doi/10.7236%2FJIIBC.2014.14.2.65&rft.externalDBID=n%2Fa&rft.externalDocID=oai_kci_go_kr_ARTI_923099 |
| thumbnail_l | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/lc.gif&issn=2289-0238&client=summon |
| thumbnail_m | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/mc.gif&issn=2289-0238&client=summon |
| thumbnail_s | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/sc.gif&issn=2289-0238&client=summon |