뷰인터HR에 적용된 기술 훑어보기
생성
실제와 같은 면접 환경을
보다 효율적으로 구축하기 위해
필요한 요소들을 자동으로
생성하는 기술입니다.
실제와 같은 면접 환경을 보다 효율적으로 구축하기 위해 필요한 요소들을 자동으로 생성하는 기술입니다.
검출
면접 영상 내에서 지원자의 역량을
평가하기 위해 필요한 요소들을
검출하는 기술입니다.
면접 영상 내에서 지원자의 역량을 평가하기 위해 필요한 요소들을 검출하는 기술입니다.
분석
검출된 요소를 활용하여
HR의사결정에 필요한 정보를
산출하는 기술입니다.
검출된 요소를 활용하여 HR의사결정에 필요한 정보를 산출하는 기술입니다.
생성
AI휴먼 생성 : 표정, 음성, 입모양
- AI기술을 활용하여 가상의 AI면접관을 만들어내는 기술로 아래의 주요 기술이 활용됩니다.
- - 음성 합성(Speech Synthesis)
- 입력된 텍스트를 기반으로 사람의 목소리를 만들어내는 기술입니다.
- 인사담당자가 설정한 텍스트가 AI면접관의 목소리로 생성되어 응시자에게 전달됩니다.
- - 음성 변환(Voice Conversion)
- 주어진 음성을 다른 사람의 목소리와 말하는 스타일로 만들어내는 기술입니다.
- - 말하는 얼굴 생성(Speech-driven Talking Face Generation)
- 음성을 기반으로 말하는 얼굴 영상을 생성하는 기술로 음성 합성 기술과 결합하여 AI면접관을 생성하는 핵심 기술로 활용됩니다.
- AI면접관은 환경점검부터 질의응답 과정까지 전반적인 면접 과정을 진행하며, 이를 통해 응시자에게 대면면접을 보는 것 같은 몰입감을 제공합니다.
면접질문 생성
- ChatGPT와 같이 초거대 언어모델의 도움을 받아, 주어진 환경이나 목적에 적합한 텍스트를 생성하는 기술입니다.
- 면접 유형과 목적에 가장 적합한 맞춤형 면접 질문을 자동으로 생성하는데 활용됩니다.
검출
음성인식
- 사람의 음성을 인식하여 텍스트화 하는 기술로, 구글이나 네이버 등의 범용 서비스 이상의 성능을 확보하고 있습니다.
- 특히 면접 상황에서의 단어 인식에 특화되어 있어 HR서비스에 적용 시 더욱 큰 성능 향상을 보입니다.
- 또한 영상 정보를 함께 활용함으로써 면접 영상에 잡음이 심한 경우에도 정확도가 유지됩니다.
얼굴인식
- 영상 내 사람의 얼굴을 인식하고 위치를 파악하는 기술로, 딥러닝 기반의 다양한 얼굴 검출 기술을 결합하여 실시간에 가까운 처리 속도와 정확도를 모두 확보하고 있습니다.
- 특히 응시자의 눈, 코, 입, 윤곽선 등 얼굴의 주요 요소들을 검출하는 Landmark Detection 기술을 적용함으로써, 면접 영상을 효율적으로 전처리하는데 활용됩니다. (Landmark Detection 기술은 KAIST 산학협력을 통해 개발한 자체 landmark 추출 기술을 이용하며, 관련 논문을 IITP(2018)에 개재하였음)
- 안경/마스크 착용 여부 등을 파악함으로써, AI평가 시의 편향 여부를 확인하고 편향된 학습을 통제하는 데에 활용됩니다.
- 영상 내 사람 수, 응시자 중도 변경 여부 등을 파악함으로써 응시자의 의도적인 부정행위를 탐지하는 기반 기술로 활용됩니다.
행동인식
- 영상 내 사람의 머리 움직임에 따른 시선 처리를 추정하는 기술로, 응시자의 부정행위를 탐지하는 기반 기술로 활용됩니다
- ICIP(2022)에 개재된 headpose estimation 관련 SOTA 기술을 적용합니다.
- 영상 내 여러명의 대상에 대해 동시에 eye-gaze estimation을 수행할 수 있습니다.
표정인식
- 영상 내 사람의 얼굴표정, 음성, 손짓과 같이 비언어적 표현 수단을 통해서 대상의 내면 감정을 인식하는 기술입니다.
- AffectNet / AFEW-VA 와 같은 공인 감정인식 데이터에서 최신 기술 이상의 성능을 확보하고 있습니다.
- AI평가 시 면접 응시자의 미세한 표정 변화까지 분석하여 보다 신뢰도 있는 결과를 제공하는데 활용됩니다.
분석
1
커뮤니케이션 평가
- 영상/음성/텍스트의 멀티모달 정보를 활용하여 응시자의 신뢰감, 자연스러움, 침착성, 눈마주침 등 다양한 요소를 평가하고, 이를 종합하여 면접 응시자의 커뮤니케이션 역량을 평가하는 기술입니다.
- 면접관은 다양한 요인에 의해 평가의 일관성이 저해받을 수 있지만, AI평가 모델을 통해 객관적이고 일관성있는 평가가 가능합니다.
- 개발과정
- - Step1. 면접 영상 데이터 수집
- 뷰인터HR를 통해 학습에 활용할 면접 영상 데이터를 확보합니다.
- - Step2. 면접전문가의 평가
- 영상 데이터 별로 다수의 면접전문가들이 커뮤니케이션 역량 요소(호감도, 긍정성, 활기참)에 대해 레이블링을 실시합니다.
- - Step3. AI모델 학습
- 면접전문가 각각의 페르소나에 해당하는 AI모델을 훈련하여 면접전문가 별 인사이트를 반영한 다양한 AI모델을 확보합니다.
- 복수의 면접관이 배정된 상황과 유사하게, 면접전문가별 AI모델의 앙상블 기법을 적용하여 최종 점수를 산출합니다.
- AI모델의 산출값에 대해 다양한 분석 기법을 이용하여 정량적으로 검증합니다.
2
역량 평가(BEI방식)
- 면접 응시자의 답변에서 문맥 정보를 추출하여 내용을 분석하고, 이를 기반으로 기업별 인재상과 같은 소프트스킬 역량을 평가하는 기술입니다.
- 면접관은 다양한 요인에 의해 평가의 일관성이 저해받을 수 있지만, AI평가 모델을 통해 객관적이고 일관성있는 평가가 가능합니다.
- 최소 분석 단위인 행동지표들을 기업별 인재상에 맞게 조합함으로써 맞춤화된 역량 점수를 산출할 수 있습니다.
- 개발과정
- - Step1. 역량모델링
- 고성과자 인터뷰 및 문헌 조사를 통해 고성과자들에게서 공통적으로 발견되는 역량과 행동지표를 도출합니다.
- - Step2. 면접 영상 데이터 수집
- 도출된 역량을 평가할 수 있는 경험면접 질문을 개발하고 뷰인터HR을 통해 면접 영상 데이터를 수집합니다.
- - Step3. 면접전문가의 평가
- 면접전문가 각각의 페르소나에 해당하는 AI모델을 훈련하여 면접전문가 별 인사이트를 반영한 다양한 AI모델을 확보합니다.
- 복수의 면접관이 배정된 상황과 유사하게, 면접전문가별 AI모델의 앙상블 기법을 적용하여 최종 점수를 산출합니다.
- AI모델의 산출값에 대해 다양한 분석 기법을 이용하여 정량적으로 검증합니다.
- - Step4. AI모델 학습
- 역량별 평가 데이터를 바탕으로 딥러닝 모델을 학습하고 정량적으로 검증합니다.
3
부정행위 분석
- AI 면접 진행 중 발생할 수 있는 응시자의 부정행위 또는 AI 평가에 혼란을 야기하는 이상 행동을 탐지하고 차단하는 기술입니다.
- 응시중 이상행동 차단 : 응시자의 불필요한 응시 디바이스 조작을 막아 부정행위를 미연에 방지하는 기술입니다.
- - 이상 조작 방지 : 복사, 캡쳐, 녹화 차단
- - 컨닝 행위 방지 : 다른 프로그램 조작 방지
- - 화면 공유 방지 : 화면공유 프로그램 실행 방지
- 응시중 부정행위 탐지 : 응시자의 의도적인 부정행위를 AI가 자동으로 탐지하는 기술입니다.
- - 대리응시 탐지 : 응시도중 응시자 변경
- - 담합응시 탐지 : 2인 이상 동시 응시
- - 자리이탈 탐지 : 응시 도중 자리이탈
- - 마스크 착용 탐지 : 응시 도중 마스크 착용
