blackolive 3D

blackolive 3D 소개

전 세계적으로 디지털 전환을 위한 경쟁이 가속화되고 있습니다. 그 경쟁의 중심에는 유망 기술 확보를 위한 주요 요소 중 하나로 3D 데이터가 있습니다. 그중에서도 미래 모빌리티의 핵심인 자율주행 기술을 위한 3D 인공지능이 포함되어 있습니다. 이러한 3D 인공지능 개발에는 모델 확보를 위한 3D 데이터 수집 및 가공이 필수적입니다. 이에 따라 3D 데이터에 대한 수요가 늘어나고 있지만, 3D 데이터를 다루기 위한 도구 및 플랫폼 지원은 여전히 미흡해 보입니다. 3D 데이터를 수집하고 가공하는 것은 2D 영상을 수집하고 가공하는 것에 비해 요구되는 기술 이해 난이도가 높고 노동력 또한 많이 요구됩니다. 하지만 장비 및 SW의 진입 장벽이 높아 여전히 인재 양성 및 기술 인력 확보가 어려운 상황입니다. blackolive 3D는 내부적으로도 외부적으로도 이러한 어려움을 해소하기 위해 3D 데이터 가공에 특화되어 개발된 최신 도구입니다.

[그림 1] blackolive 3D

blackolive 3D는 3D 인공지능 학습을 위한 Point Cloud 데이터를 가공하는 도구이자 가공 작업을 관리할 수 있는 플랫폼으로, 현재 내부 작업자들이 사용할 수 있는 In-house 용으로 초기 개발되어 운영 중에 있습니다. 고객 사례를 통해 이미 기존에 나와있는 다른 3D 데이터 가공 도구보다 향상된 접근성과 편의성을 제공하며 3D 인공지능의 발전에 크게 기여하고 있습니다.

blackolive 3D 기능 소개

blackolive 3D는 다음과 같은 기능을 제공합니다.

1) 3D 공간에서 비전 기반의 라벨링 도구 중 하나인 Cuboid 가공을 수행할 수 있습니다.

[그림 2] 라이다 데이터 기반의 3D Object Detection

blackolive 3D는 3D 공간에서의 객체 탐지 모델이 학습할 수 있도록 Cuboid 형태의 라벨링 작업을 지원합니다. 이러한 3D 라벨링 작업은 자율주행의 핵심 요소 중 하나인 3차원 객체 검출 기술을 개발하기 위해 반드시 거쳐야 할 작업 중 하나입니다. 최근에는 자율주행 뿐만 아니라 일상 생활에서도 3차원 정보를 수집하여 문제를 해결하는 경우가 많아져서, 앞으로는 이러한 형태의 데이터 가공 작업이 더 활발하게 수행될 것으로 전망하고 있습니다.

2) 가공 작업 시 사용자에 최적화된 편의 기능을 제공합니다.

라벨링 작업은 데이터에 정답을 달아주는 매우 간단한 작업이지만, 이런 작업일수록 작업자 관점에서 작업 효율과 편의성을 높이는 것이 매우 중요합니다. 테스트웍스는 여러 가공 도구들을 직접 사용하고 운영하면서 겪은 시행 착오를 바탕으로 작업자 관점에서 기능을 정의하였고, 보다 원활한 작업을 위해 여러가지 편의 기능을 추가하여 지금의 blackolive 3D를 개발하였습니다.

3) 프로젝트 단위로 작업 생성 및 관리가 가능합니다.

[그림 3] 프로젝트 관리 기능

프로젝트 관리가 용이한 기존의 blackolive의 장점을 그대로 blackolive 3D에 옮겨 왔습니다. 프로젝트 진행 시 작업자와 관리자가 나누어 작업을 운영할 수 있습니다. 쉽게 작업을 생성하고 직관적인 관리가 가능하도록 사용자의 접근성을 높였습니다. 무엇보다, 여러 작업자가 작업을 수행하더라도 안정적이고 효율적인 관리가 가능합니다.

blackolive 3D 기능 설명

1. Cuboid 가공

3차원 공간에서 객체 영역에 Cuboid를 생성할 수 있습니다. 생성한 Cuboid의 위치(Position), 크기(Scale), 방향(Rotation)을 지정하여 객체 영역에 맞는 레이블을 지정할 수 있습니다. 이는 작업 화면에서 지원하는 Sub View 화면에서 직접 수정하는 것도 가능합니다.

[그림 4] Cuboid 생성 및 편집 작업

이후 생성한 Cuboid 레이블에 대해 객체 속성을 지정할 수 있습니다. 분류 작업을 위한 객체의 Class, 추적을 위한 객체의 Track ID, 상태 묘사를 위한 객체의 Attribute 등을 지정할 수 있습니다. 이러한 설정을 마치면 객체 검출을 위한 레이블 작업이 마무리 되며, 이는 3D 인공지능 학습을 위한 정답 데이터로 활용됩니다.

[그림 5] 생성한 Cuboid의 속성 편집 작업

2. 다양한 편의 기능

1) 가공 자동화

가공자들이 직접 가공한 데이터 셋 및 오픈 데이터 셋 등을 활용하여 직접 모델 학습을 수행하고, 이를 활용해 라벨링 작업에서 일부 자동화를 수행합니다. 이러한 자동화 지원을 통해 작업자들의 작업 수고를 덜고 데이터 셋 구축 속도를 향상 시킵니다. 뿐만 아니라 자동화 성능을 지속적으로 관찰하면서 인공지능 모델의 학습 방향을 결정하는 등 자동화 모델은 MLOps의 도구로도 충분히 활용이 가능합니다.

2) Multi-frame 모드

동일한 객체에 대해서 여러 프레임에서 일괄적으로 가공을 수행할 수 있는 Multi-frame 모드를 지원합니다. 객체의 이동 경로를 추적하여 이어지는 프레임에 대해 레이블을 자동으로 완성하는 Interpolation, 이동 경로 주변을 모델로 분석하여 객체를 자동으로 찾아 레이블을 자동으로 완성하는 Auto Annotation 기능을 지원합니다. 연속으로 촬영한 데이터를 작업할 때 용이하며, 단일 객체에 대해 여러 데이터에서 일괄적인 생성이 가능하기 때문에 작업 속도가 눈에 띄게 향상되는 것을 볼 수 있습니다.

[그림 6] blackolive 3D의 Multi-frame 모드
[그림 7] Multi-frame 모드에서 Auto Annotation으로 일괄적으로 레이블을 생성한 결과

3) 기타 편의 기능

[그림 8] blackolive 3D의 작업 UI 지원

앞서 소개한 기능 이외에도 작업 속도 향상을 위한 단축키 지원, 레이블 관리, 시각화 설정 등의 편의 기능들을 추가하였습니다. 실제로 blackolive 3D는 가공 작업 시 작업 효율을 높이기 위해 다방면으로 고민하며 실제 작업 투입 현황을 반영하여 개발을 진행했습니다. blackolive 3D는 내부 작업자들을 통해 시험 운용하며 지속적으로 피드백을 받고 있으며, 이를 통해 지속적인 개선 및 기능 추가가 현재도 진행 중에 있습니다.

blackolive 3D의 특장점

blackolive 3D의 특장점을 요약하자면 다음과 같습니다.

  • 직관적인 3D 데이터 라벨링
  • 업무 효율 향상을 위한 다양한 편의 기능
  • 대규모 데이터 가공 프로젝트에도 적합한 효율적인 데이터 가공 작업 운용

blackolive 3D는 단순히 가공 기능을 도구에 집어넣는 것이 아니라, 내부 작업자들의 피드백을 수시로 받아 사용자 친화적인 데이터 가공 도구로 지속적인 개발이 진행되고 있습니다. 직관적인 레이블 수정, 단축키 지원, Multi-frame 모드 등이 이러한 피드백의 결과라고 할 수 있습니다. 또한 단순히 가공 도구를 제공하는 것에서 끝나지 않고, 직접 인공지능 모델을 학습하고 테스트하면서 모델 관점에서 데이터를 관리하고 있습니다. 자체 보유한 모델의 성능을 데이터를 통해 향상 시키는 MLOps를 병행하고 있습니다.

박예성

연구원, AI 연구 개발팀

홍익대학교 기계시스템디자인공학 학사 / 한양대학교 대학원 지능형로봇학과 공학 석사

한양대학교 지능로봇연구소에서 인공지능 기술을 활용한 로봇 연구를 수행하였다. 이후 컴퓨터 비전 및 딥러닝에 대해 관심을 갖고 현재 테스트웍스 AI 연구 개발팀에서 근무 중이다. GAN, 3D AI 부분을 연구하고 있다.