프라운호퍼 IIS가 실시간 음성 명료도 향상을 위한 신기술인 어피어 라이브 다이얼로그 부스트(upHear Live Dialog Boost)를 선보이며 어피어 기술 라인업을 확대했습니다. AI 기반 대화 음성 분리 기술을 활용해 음성을 더욱 선명하게 전달하는 이번 모듈은 지연 시간과 메모리 사용을 줄여야 하는 애플리케이션에 적합합니다.
단순 음량 조절에서 AI 기반 대화 음성 분리로
대사 명료도 향상은 홈 엔터테인먼트 분야에서 시청자들이 가장 많이 요구하는 기능 중 하나입니다. 영화나 TV 시청 시 배경 음악이나 효과음이 크게 들리는 장면에서는 대사를 알아듣기 어려운 경우가 많습니다. 하지만 단순히 음량을 높이면 배경 소음까지 함께 커지거나, 디지털 신호 처리(DSP) 알고리즘이 음색을 변화시키거나 스테레오 음장의 왜곡을 일으키는 등 기존 오디오 처리 기술에는 한계가 있었습니다.
프라운호퍼 IIS는 전문 오디오 제작 및 방송 분야에서 대화 음성 향상 기술의 새로운 기준을 제시한 MPEG-H 다이얼로그+로 널리 알려져 있습니다. 어피어 라이브 다이얼로그 부스트는 이러한 오랜 기술적 전문성을 바탕으로 개발됐습니다. 다이얼로그+와 어피어 라이브 다이얼로그 부스트는 모두 음성 명료도 향상을 목표로 하지만, 오디오 신호 처리 과정에서 담당하는 역할과 대화 음성을 개선하는 기술적 접근 방식에는 뚜렷한 차이를 보입니다.
어피어 라이브 다이얼로그 부스트는 대화 음성 향상 기술과 최신 저자원 AI 모델링 기술을 결합했습니다. 기존 DSP 방식과 달리 복잡한 오디오 환경에서도 음성을 의미 단위로 식별하고 분리해 원래의 오디오 믹스를 유지하면서 대사의 명료도를 높입니다. 이러한 기능은 일반 소비자용 기기에 탑재된 임베디드 프로세서에서도 구현되어 지연 시간과 메모리 사용량을 최소화하면서 AI 기반 실시간 음성 향상을 지원합니다.
높은 음질, 낮은 처리 복잡도
어피어 라이브 다이얼로그 부스트의 주요 특징은 다음과 같습니다.
- 다양한 소리가 복잡하게 섞인 사운드트랙에서도 자연스럽고 안정적인 대화 음성 분리
- 원래의 공간 음상 유지
- 영상과 음성 동기화에 최적화된 저지연 실시간 처리
- 메모리 사용량을 최소화한 경량 AI 모델
- 연산 요구량이 적어 전용 신경망 처리 아키텍처 없이도 범용 CPU에서 구동 가능하며 특히 중급형 및 보급형 기기에 적합
어피어 라이브 다이얼로그 부스트는 기존 어피어 기술 생태계에 매끄럽게 통합되며, 다양한 하드웨어 플랫폼뿐 아니라 클라우드 및 서버 기반 환경에 맞게 최적화할 수 있습니다.
임베디드 오디오 처리 시스템의 경우, 기존 DSP 통합 플랫폼에서 사용할 수 있는 라이브러리도 제공됩니다. 이를 통해 기존 신호 흐름 설계 워크플로우 내에서 기술 평가와 구현, 세부 성능 조정에 필요한 시간을 단축할 수 있습니다.
기기에서 직접 구현하는 실시간 대화 음성 향상
어피어 라이브 다이얼로그 부스트는 다양한 환경에 적용 가능한 경량 솔루션입니다.
해당 기술은 TV, 셋톱박스, 사운드바, 스트리밍 스틱, 스마트 스피커, 모바일 기기 등 다양한 최종 사용자용 재생 기기에 적용할 수 있습니다. 이 밖에도 지연 시간을 최소화해야 하는 실시간 애플리케이션과 서비스 등 다양한 분야에서 활용 가능합니다.
어피어 라이브 다이얼로그 부스트는 오디오 시스템 설계와 공간 음향 처리, AI 기반 대화 음성 향상, 저복잡도 임베디드 기술 구현 등 다양한 분야에서 프라운호퍼 IIS가 쌓아 온 연구 성과와 기술력을 바탕으로 개발됐습니다.
뛰어난 청감 품질과 엣지 디바이스에 최적화된 신호 처리 기술의 결합은 어피어 기술 포트폴리오가 추구하는 핵심 철학으로, 어피어 라이브 다이얼로그 부스트에도 이러한 철학이 반영돼 있습니다. 오디오 및 AI DSP 전문가들이 공동 개발한 어피어 처리 모듈은 기기 제조사들이 업계 최고 수준의 오디오 제품을 개발할 수 있도록 지원합니다.
This post is also available in: