새로운 딥 러닝 기술은 인공와우 및 기존 보청기 사용자 모두가 환경 소리와 배경 소음을 구별하는 데 도움이 됩니다.

청력 상실이 있는 사람이라면 누구나 그 어려움을 알고 있습니다. 대화를 들으려 할 때 자동차 경적 소리가 울립니다. 팟캐스트를 듣는 동안 주방은 지글지글 끓어오릅니다. 자연의 소리가 집안의 윙윙거리는 소리와 섞여요. 정상적인 청력을 가진 사람들은 일종의 신경 분류를 통해 이를 관리하여 집중하고 싶은 소리를 빠르게 분리합니다. 그러나 기존 보청기든 인공와우든 청각 장치 사용자에게 이 "칵테일 파티 문제"는 기술과 실제 청취 사이의 가장 실망스러운 격차 중 하나로 남아 있습니다.

달라스에 있는 텍사스 대학의 연구원들은 인공 지능이 청각 장치가 경쟁적인 환경 소리를 처리하는 방식을 개선할 수 있는지 테스트하기 시작했습니다. 그들의 초점은 말이 아니었습니다. 바스락거리는 나뭇잎, 짖는 개, 흐르는 물, 쾅 닫히는 문 등 일상 생활을 구성하는 풍부한 음향 사건이었습니다.

배경: 연구자들이 이것을 본 이유

인공와우 사용자는 환경 소리 인식과 관련하여 특별한 문제에 직면합니다. 최신 CI 기술은 음성 신호 전달에 탁월하지만, 새 노래, 강우, 교통 등 환경적 사건의 더 분산되고 가변적인 음향 특성은 처리하기가 더 어렵습니다. 이러한 제한은 안전(차량에 접근하는 데 어려움이 있음), 삶의 질(자연 소리를 덜 즐기게 됨) 및 전반적인 자율성에 영향을 미칩니다.

엔지니어링 과제는 현실입니다. 여러 음원이 겹치는 경우 이를 분리하려면 계산상의 정교함이 필요합니다. 기존 오디오 처리는 점진적인 발전을 이루었지만 딥 러닝은 새로운 길을 제시합니다. 연구자들은 라벨이 붙은 소리와 그 혼합의 대규모 라이브러리에 대해 신경망을 훈련함으로써 시끄럽고 복잡한 장면에서도 특정 소스를 분리하는 알고리즘을 가르칠 수 있습니다.

연구가 어떻게 이루어졌는가

Shekar와 Hansen은 실제 청취 시나리오를 모방한 실험 프레임워크를 개발했습니다. 그들은 "목표" 소리(예: 빗물이나 새 소리)와 경쟁적인 "간섭" 소리를 결합한 두 가지 소스의 소리 혼합을 만들었습니다. CI 사용자와 정상 청력을 가진 사람들 모두 각 혼합의 세 가지 버전을 들었습니다. 즉, 기준으로 원시 혼합 오디오, 소스 분리만 사용하여 처리된 오디오, 소스 분리와 비언어적 사운드에 대한 연구원의 자체 향상 기술을 결합한 오디오입니다.

소스 분리 알고리즘은 SUDORMEND(Successive Downsampling and Resampling of Multi-Resolution Feature network)라는 딥 러닝 아키텍처를 사용했습니다. 청취자는 간섭 감소, 오디오 품질 및 왜곡이라는 세 가지 차원에서 처리된 오디오를 평가했습니다. 또한 강제 선택 선호도 테스트를 수행하여 선호하는 버전을 표시했습니다.

연구원들이 발견한 것

결과는 두 청취자 그룹 간에 의미 있는 차이를 보였습니다. 인공와우 사용자는 간섭 감소에서 통계적으로 유의미한 개선을 보였지만, 카테고리 일치 간섭과 짝을 이룬 자연음에 대해서만 나타났습니다(F=4.935, p=0.0175). 이는 CI 처리가 음성에 크게 맞춰 조정되어 더 넓은 환경 사운드 처리가 덜 정교해질 수 있음을 의미합니다.

일반 청력 청취자는 훨씬 더 넓은 이득을 보였습니다. 그들은 매우 중요한 통계 값(8.481에서 32.37 범위의 F 값, 0.001보다 훨씬 낮은 p 값)으로 테스트된 모든 비언어적 소리 범주에 걸쳐 간섭 감소를 보여주었습니다. 인공와우와 정상 청력의 두 그룹 모두 자연 소리와 물 흐르는 소리나 접시 부딪치는 소리와 같은 가정 소음을 들을 때 결합된 음원 분리 및 향상 접근 방식에 대한 강한 선호도를 나타냈습니다.

대조적인 점은 말해줍니다. 음성 중심 처리를 넘어 비언어적 소리 인식을 향상할 수 있는 자유를 알고리즘에 부여하면 사용자는 그 결과를 인지하고 선호합니다. 일반 청력 청취자가 더 폭넓은 개선을 보았다는 사실은 보청 장치가 대화뿐만 아니라 환경 소리 풍경에 최적화된 알고리즘으로부터 상당한 이점을 얻을 수 있음을 시사합니다.

청력 손실이 있는 사람들에게 이것이 의미하는 바

이 작업은 보청기의 기능을 확장합니다. 오늘날 대부분의 기존 보청기와 인공와우에서는 음성 명료도를 우선시합니다. 대화는 일상 생활의 중심이므로 당연히 그렇습니다. 그러나 인간은 언어로만 존재하는 세계에 살고 있지 않습니다. 풍부한 음향 경험에는 음악, 웃음, 자연, 알람 소리, 주변 환경을 탐색하고 즐기는 데 도움이 되는 미묘한 오디오 신호가 포함됩니다.

이 연구는 딥 러닝이 중복되는 환경 소스를 분리하고 지각적 명확성을 향상시킬 수 있음을 보여줍니다. 더 중요한 것은 청력 손실이 있는 청취자가 이러한 개선 사항을 적극적으로 선호한다는 점입니다. 특히 말하는 것보다 환경 소리에 더 큰 어려움을 겪을 수 있는 달팽이관 이식 사용자의 경우 이러한 종류의 처리는 의미 있게 독립성과 삶의 질을 향상시킬 수 있습니다.

현대 청각 기술의 소리 분리 향상

음원 분리에 대한 연구의 발견은 정확히 FDA가 승인한 일반의약품 및 소비자에게 직접 판매되는 보청기 카테고리가 가능하게 만든 일종의 기술적 개척지입니다. 기업들은 이제 전통적인 진료소 전용 모델 없이 보청기에 고급 오디오 처리를 배포할 수 있는 활주로를 갖게 되었습니다. 환경 소리 처리를 위한 딥 러닝 알고리즘은 이러한 진화에 자연스럽게 들어맞습니다.

Panda Quantum와 같은 장치는 적응형 소음 감소 기능과 전화 및 음악용 Bluetooth 연결 기능을 갖춘 임상적으로 검증된 청력 테스트를 통합합니다. 학습된 소스 분리를 ​​추가하는 것(실제 환경의 소리 풍경에 대해 훈련됨)은 다음 단계의 기능을 나타냅니다. 알고리즘은 어떤 소스가 중요한지 분리하는 어려운 계산 작업을 수행하여 보청기 사용자가 듣고 싶은 것에 자유롭게 집중할 수 있도록 합니다.

경도 및 중등도 청력 손실의 경우 일반의약품 모델에는 이제 이러한 종류의 고급 처리가 포함될 수 있습니다. 중증 또는 심도 난청은 인공와우나 청력학자가 장착한 처방 장치를 통해 더 많은 이점을 얻을 수 있지만 소리 분리에 대한 기본 연구는 스펙트럼 전반에 걸쳐 적용됩니다.

고급 오디오 처리 기능이 탑재된 보청기에 대해 자세히 알아보세요. Panda Quantum.

이 연구의 한계

이 연구에서는 실험실 환경에서 제어된 2개 소스 혼합을 사용하여 3개, 4개 또는 그 이상의 소스가 경쟁하는 실제 음향 장면을 단순화했습니다. 참가자들이 지각적 결과를 평가하는 동안 이러한 알고리즘이 실제 일상 청취에서 어떻게 수행되는지 보여주는 장기 현장 데이터는 실질적인 이점에 대한 확신을 강화할 것입니다.

또한, 인공와우 코호트는 일반 청력 그룹보다 더 좁은 개선을 보여 CI 신호 처리에 자체 제약이 있음을 시사합니다. 한 유형의 보청기에 최적화된 알고리즘은 다른 유형의 보청기로 직접 전송되지 않을 수 있습니다. 간행물에는 자금 조달 충돌이나 경쟁 이해관계가 언급되지 않았습니다.

이것이 우리를 떠나는 곳

딥 러닝은 청각 기술의 참신함에서 실용적인 도구로 옮겨가고 있습니다. 이 작업은 환경 소리를 분리하고 강화하도록 훈련된 알고리즘이 측정 가능하고 청취자가 선호하는 개선을 제공할 수 있음을 보여줍니다. 일반의약품 및 연결된 청각 장치가 주류가 되면서 이러한 알고리즘을 실행하는 컴퓨팅 능력이 점점 더 많이 활용되고 있습니다. 다음 단계는 이러한 발전을 실제 장치에 통합하고 다양한 청취 환경과 사용자 집단에서 이를 검증하는 것입니다.

Shekar, Ram C M C 및 John HL Hansen. "딥 러닝 기반 환경 소스 분리 및 사운드 향상: 인공와우 및 정상 청력 청취자를 위한 발전." 미국 음향학회 저널, 2026. PubMed에서 검색함. DOI: 10.1121/10.0042760