쉽고 편한 원격 의료 진단을 위한 AI 심장카메라 기술

AI 심장카메라를 활용한 혁신적인 토탈 헬스케어 서비스

감성텍은 범용 카메라를 활용해 별도의 장치 없이 얼굴 인식만으로 심장의 반응 정보를 추출하는 ‘AI 심장카메라’ 기술을 개발하는 스타트업입니다.

감성텍이 개발한 ‘하트핏(HeartFit)’은 카메라를 1분 정도 응시하면, 실시간으로 심장 및 표정 반응을 분석하여 심박수, 집중도, 건강 정보, 표정 등을 파악할 수 있는 어플리케이션입니다. 하트핏은 원격 의료 진단 서비스와 관련된 헬스케어 분야는 물론 집중도 분석을 활용한 교육 분야에서도 활용이 가능합니다.

아울러 감성텍은 일상 생활에서 간편하게 심장 정보를 측정하기 위해 AI 심장카메라 기술을 탑재한 ‘스마트미러’ 제품을 제작했습니다. 스마트미러는 욕실, 화장실 등에 설치하여 평상시에는 시간, 날씨의 정보를 제공하는 거울로 사용하다가 얼굴이 인식되면 자동으로 측정을 시작해 심박수를 비롯한 각종 건강 정보를 알려줍니다.

서비스 고도화를 위해 다양한 얼굴 표정 데이터 활용

인공지능 심장 및 표정 반응 인식 기술은 사용자 얼굴을 검출하고 눈, 코, 입, 얼굴 윤곽에 따른 Keypoint를 검출하는 인식 모델을 기반으로 합니다.

카메라 기반 서비스를 위해서는 피부 영역과 근육 움직임 분석이 가능한 수준의 Keypoint 검출이 필요하며, 인식 모델의 다양한 피부색 및 다양한 표정을 짓고 있는 데이터를 기반으로 훈련시켜야 합니다.

특히, 인식 모델의 고도화를 위해서는 피부색 수준별 7가지 감성에 대한 표정 기반의 안면 이미지 데이터가 필요하며, 이미지 데이터의 68개 지점에 대해 정확한 Keypoint 가공이 필요합니다.

고객 맞춤형 데이터 컨설팅을 통한 원스톱 서비스

감성텍은 AI 심장카메라 기술을 고도화하기 위해 딥러닝을 활용, 대량의 안면 이미지 데이터를 수집하고 비교적 난도가 높은 Keypoint 가공을 수행해야 했습니다. 하지만 데이터를 구축할 인력과 예산의 한계로 직접 데이터를 수집하고 가공하는데 어려움이 있었고, 이를 해결하기 위해 데이터바우처 지원사업 참여를 결정했습니다.

데이터 수집과 가공이 모두 필요했기 때문에 기술력과 경험을 보유하고 있는 AI 데이터 전문기업과의 협업을 원했습니다. 감성텍은 테스트웍스가 자체적으로 AI 모델 개발팀을 보유하고 있을 뿐 아니라 다년간 다양한 AI 데이터 구축 경험을 기반으로 수집부터 가공, 검수까지 자체 개발한 원스톱 솔루션을 통한 고품질 서비스로 높은 평가를 받고 있다는 점에 주목하고, 데이터바우처 공급 협업 파트너로 선정했습니다.

특히, 크라우드-소싱 방식의 데이터 수집 플랫폼 aiworks와 데이터 자동화 가공 관리 도구 blackolive, 그리고 전문 인력까지 다양한 도메인의 고객 사례를 갖춘 테스트웍스의 원스톱 서비스에 신뢰를 가질 수 있었습니다.

감성텍은 4년 연속 데이터바우처 공급기업으로 역량이 검증된 테스트웍스의 맞춤형 컨설팅에 힘입어 2021년 데이터바우처 지원사업에 선정되었습니다.

난도 높은 안면 이미지 데이터 수집과 전문 인력의 데이터 가공

테스트웍스는 감성텍에 필요한 데이터를 정의하고, 구체적인 수집 및 가공 가이드를 설계하기 위해 긴밀하게 협업을 진행했습니다.

심장 및 표정 반응 인식을 위해서는 가장 민감한 개인 정보인 안면 이미지 데이터를 한 명의 대상으로부터 7개 감성에 대한 각각의 표정(무표정, 행복, 슬픔, 놀람, 화남, 역겨움, 두려움)으로, 그리고 이를 다시 눈을 뜬 경우와 감은 경우로 구분하여 총 14개 이미지를 세트로 수집해야 했습니다.

테스트웍스는 수집의 난도가 높은 안면 데이터를 확보하기 위해 aiworks에 프로젝트를 개설하여 크라우드-소싱을 통한 이미지 수집을 진행했습니다.

민감한 개인 정보를 포함하여 수집의 난도가 높았던 만큼 aiworks 회원들의 적극적인 참여를 이끌어 내기 위해, Seasonal 특성과 회원들이 친숙하게 느낄 수 있는 디자인 및 문구를 활용하고 추가 포인트를 지급하는 등 다양한 프로모션을 진행했습니다.

특히, 테스트웍스 온라인 공식 홍보 채널 및 유료 SNS 채널 등에 이벤트 홍보를 진행해 프로젝트 참여를 이끌어 냈습니다.

다음 단계로, 테스트웍스는 크라우드-소싱을 통해 수집한 안면 이미지 데이터를 AI 심장카메라가 학습할 수 있도록 안면 내 68개 지점에 대한 Keypoint 가공을 수행했습니다.

특히, Openpose 자동화 모델을 이용한 1차 가공 후, blackolive 라벨링 도구를 통해 전문 가공 인력이 세밀하게
Point를 수정하는 2차 가공을 실시해 효율성을 높이고, 전수 검수와 샘플링 검수를 포함하는 체계적인 검수
프로세스를 통해 데이터 품질을 확보했습니다.

성공적인 안면 이미지 데이터 셋 구축, 심장 반응 인식을 활용한 원격 진료의 첫걸음

테스트웍스는 감성텍과 긴밀한 협업으로 데이터바우처 지원사업 기간 동안 약 3,000명의 참여자로부터 40,000장의 얼굴 표정 데이터를 수집하고, 전문 가공 인력의 Keypoint 가공으로 우수한 품질의 데이터 셋을 구축해 데이터바우처 지원사업을 성공적으로 마무리했습니다.

감성텍은 구축된 데이터를 기반으로 AI 심장카메라 기술을 고도화하여 의료기기를 등록하고 병원과 협약을 통해 임상의와 공동 연구를 진행하고 있습니다.

앞으로 감성텍은 보다 정확한 심장 반응 추론 기술을 개발해 심장 정보의 패턴에 따라 스트레스, 우울증, 불안증, 인지장애 등의 부정 감성을 진단할 수 있는 원격 진료 서비스와 부정 감성을 해소할 수 있는 서비스를 제공하는 토탈 헬스케어 서비스 기업으로 발돋움한다는 목표를 세우고 있습니다. 나아가 포스트 코로나 시대에 비대면 및 비접촉으로 대응이 가능한 혁신적인 기술을 담은 디지털 치료제를 제공한다는 계획을 가지고 있습니다.