OpenAI는 Realtime API에서 세 가지 새로운 오디오 모델을 출시했으며 이는 음성 기반 앱을 구축하는 모든 사람에게 큰 의미가 있습니다. 세 가지 모델은 GPT-Realtime-2, GPT-Realtime-Translate 및 GPT-Realtime-Whisper입니다.
이 둘은 함께 음성 AI를 단순한 앞뒤 응답을 넘어 사용자를 이해하고, 조치를 취하고, 실제 대화를 따라갈 수 있는 방향으로 발전시킵니다.
그들의 데모가 필요하다면 우리는 음성 AI 모델이 작동하는 방식의 다음 진화를 보았습니다.
그렇다면 이 모델들이 실제로 무엇을 할 수 있을까요?
GPT-Realtime-2가 헤드라인 행위입니다. 실시간 음성 상호 작용에 GPT-5급 추론을 제공합니다. 즉, 대화 스레드를 중단하지 않고도 더 어려운 요청을 처리할 수 있습니다.
여러 도구를 동시에 호출할 수 있으며 “캘린더를 확인 중” 또는 “그것을 살펴보겠습니다”와 같은 문구로 현재 수행 중인 작업을 설명할 수도 있습니다. 또한 128K 토큰의 더 큰 컨텍스트 창이 있어 더 길고 일관된 세션을 의미합니다. 개발자는 요청의 복잡성에 따라 추론 노력을 조정할 수도 있습니다.
아마도 GPT-Realtime-Translate가 제가 가장 좋아하는 것 같습니다. 이는 Star Trek의 Universal Translator를 실생활에서 사용하는 것과 가장 가까운 것입니다. 70개 이상의 입력 언어와 13개 출력 언어에 대한 실시간 음성 번역을 지원합니다.
데모의 가장 좋은 점은 새로운 사람이 합류하여 다른 언어를 사용하더라도 GPT-Realtime-Translate는 두 명의 화자를 실시간으로 영어로 번역하는 데 아무런 문제가 없다는 것입니다.
마지막으로 GPT-Realtime-Whisper가 있습니다. 대부분의 음성-텍스트 모델은 전체 번역을 제공하기 전에 화자가 끝날 때까지 기다립니다. 이것은 화자가 말할 때 음성을 텍스트로 변환하는 스트리밍 전사 모델입니다. 이는 라이브 캡션, 회의록 및 녹음을 기다릴 수 없는 모든 음성 기반 워크플로에 유용합니다.
누구나 이 새로운 음성 AI 모델을 사용할 수 있나요?
현재 OpenAI는 개발자를 위해 이러한 모델을 출시했습니다. 하지만 그들이 구축하는 앱은 모든 사람에게 영향을 미칠 것입니다. 예를 들어, 개발자는 사용자가 다른 언어로 사람들과 대화할 수 있도록 하는 실시간 번역기 앱을 구축할 수 있습니다.
많은 회사들이 이미 이러한 새로운 모델을 테스트하고 있습니다. Zillow는 단일 음성 요청으로 주택을 검색하고 투어 일정을 예약할 수 있는 음성 도우미를 구축하고 있습니다. Priceline에서는 항공편과 호텔을 확인하고 취소하고 새로 예약할 수 있습니다. Vimeo는 이를 실시간 전사 등에 사용하고 있습니다.
가격은 Whisper의 경우 분당 $0.017, Translate의 경우 분당 $0.034, GPT-Realtime-2의 경우 100만 오디오 입력 토큰당 $32부터 시작됩니다.
관련 정보는 아래 링크에서 확인하세요