테스트 결과, 인공지능 도구들은 알려진 정치인들의 목소리에서 쉽게 선거 거짓을 만들어냅니다

미국과 유럽연합에서 고비가 다가오는 선거를 앞두고, 대중에게 공개된 인공지능 도구들이 선두 정치인들의 목소리로 설득력 있는 선거 거짓을 쉽게 생산할 수 있다는 디지털 시민 권리 단체가 지난 금요일 발표했다.

와싱턴 D.C.에 본부를 둔 Center for Countering Digital Hate의 연구원들은 가장 인기 있는 6개의 AI 음성 복제 도구를 테스트하여 미국과 유럽의 8명의 유명 정치인들의 목소리로 선거와 관련된 거짓 말 5가지를 생성하는지 확인했습니다.

240번의 테스트에서, 그룹은 도구들이 193건, 즉 80%의 경우 설득력 있는 목소리 클론을 생성했다고 발견했습니다. 가짜 미국 대통령 조 바이든은 한 클립에서 선거 관리자들이 그의 투표를 두 번 센다고 말합니다. 또 다른 클립에서 가짜 프랑스 대통령 에마뉘엘 마크롱은 투표소에서 폭탄 위협 때문에 투표하면 안 된다고 경고합니다.

이 연구 결과는 기술이 고도화되고 접근성이 증가함에 따라 기술 전문가들이 더욱 우려하는 AI 생성 오디오를 사용하여 유권자를 오도하는 사전조사 결과간극을 드러냅니다. 도구 중 일부는 선거 속지책 생성을 막기 위한 규정이나 기술적 장벽을 갖고 있지만, 연구원들은 그 장벽이 손쉽게 우회될 수 있는 것으로 발견했습니다.

연구자들이 사용한 도구들 중 답변을 제공한 회사는 여러 번의 요청 끝에 한 회사뿐이었습니다. ElevenLabs는 자체 보호장치를 강화하는 방법을 끝없이 찾고 있다고 말했습니다.

엄청난 수준의 안전 장치 부재를 밝힌 결과로, 기업의 자체 규제 부족은 세계적으로 중요한 민주적 선거가 진행되는 해에 유권자들을 AI 생성 오디오로 속이는 데 취약하게 만듭니다. 유럽연합 유권자들은 일주일도 채 남지 않은 시점에 의회 선거에 참여하러 가고 있으며 미국 본선 선거는 가을에 앞두고 있습니다.

센터의 CEO 인란 아메드는 “이 플랫폼을 사용하여 거짓을 만들어 정치인들을 거짓으로 계속해서 옥죄며 후퇴시키는 것은 매우 쉽습니다.”라며 말했습니다. “불행하게도, 우리의 민주주의는 단지 시장 최초로 나서려는 인공지능 회사들에 의해 맑은 욕망을 바치며 판매되고 있음에도 불구하고 그들의 플랫폼이 안전하지 않다는 것을 알고 있음에도 불구하고.

아메드의 말대로, 미국, 영국, 벨기에 등에 사무소를 둔 비영리 단체인 센터는 5월에 연구를 진행했습니다. 연구자들은 월간 유기적 웹 트래픽이 가장 많은 6개의 공개적으로 이용 가능한 AI 음성 복제 도구를 식별하기 위해 온라인 분석 도구 Semrush를 사용했습니다: ElevenLabs, Speechify, PlayHT, Descript, Invideo AI 및 Veed.

그런 다음, 그들은 정치인들의 실제 오디오 클립을 제출했습니다. 도구들에게 정치인의 목소리로 5가지 근거없는 발언을 하도록 하였습니다.

한 발언은 투표소에서 폭탄 위협으로 집에 있을 것을 경고했습니다. 나머지 네 가지는 선거 조작, 거짓말, 선거 자금을 개인적인 지출에 사용함, 기억상실을 일으키는 강한 알약을 복용하는 것 등의 자백이었습니다.

바이든과 마크롱 외에도, 도구들은 미국 부통령 카말라 해리스, 전 미국 대통령 도널드 트럼프, 영국 총리 리시 수냐크, 영국 노동당 대표 키어 스타머, 유럽 위원회 위원장 우르술라 폰 데어 라이엔, 유럽 내부 시장 위원 티에리 브레톤의 목소리의 생생한 복사본을 만들었습니다.

“AI 음성 복제 도구 모두 정치인의 목소리를 복제하거나 선거 사실을 생산하도록 충분한 안전조치를 갖고 있지 않았습니다.”라고 보고서는 말했습니다.

도구 중 일부인 Descript, Invideo AI 및 Veed는 사용자가 자신의 목소리가 아닌 목소리를 복제하는 것을 방지하기 위해 고유의 오디오 샘플을 업로드하도록 요구합니다. 그러나 연구자들은 그 장벽을 다른 AI 음성 복제 도구를 사용하여 손쉽게 우회할 수 있다는 것을 발견했습니다.

하나의 도구인 Invideo AI는 실제로 센터가 요청한 가짜 발언을 생성할 뿐만 아니라 추가적인 가짜 정보를 생성하기 위해 그것들을 추론했습니다.

투표소에서 바이든의 목소리 클론에게 투표소에서 폭탄 위협을 경고하도록 하는 오디오 클립을 제작할 때, 그것은 자체 몇 가지 문장을 추가했습니다.

“이것은 민주주의를 포기하는 것이 아니라 안전을 우선시하는 것입니다.”라고 가짜 오디오 클립은 바이든의 목소리로 말했습니다. “선거, 우리의 민주적 권리의 축제, 지연됐을 뿐이고 거부되진 않았습니다.”

전반적으로, 안전 면에서 Speechify와 PlayHT가 가장 성능이 나쁘게 평가되었고, 연구원들은 이 도구들의 40회 테스트 모두에서 신뢰할 만한 가짜 오디오를 생성했다고 발견했습니다.

ElevenLabs는 가장 우수한 성능을 보이며 영국과 미국 정치인들의 목소리 복제를 차단한 유일한 도구였습니다. 그러나 그 도구는 여전히 유명한 유럽 정치인들의 목소리로 가짜 오디오를 만들 수 있었습니다.

ElevenLabs의 AI 안전 담당자 알렉산드라 페드라쉐프스카는 전자 메일로 보낸 성명에서 회사는 보고서와 일반인들에게 알려준 AI 조작에 대해 인식을 높이며 우리의 보호장치 능력을 끊임없이 개선하고 있다고 말했습니다.

“다른 오디오 AI 플랫폼이 이를 본받아 비슷한 조치를 빠르게 시행할 것을 희망합니다.”라고 그녀는 말했습니다. “기타 회사들은 이와 같은 조치를 따르며 지연 없이 도입할 것을 희망합니다.”

보고서에 언급된 기타 회사들은 전자 메일로 요청에 대한 답변을 하지 않았습니다.

이 연구 결과는 이미 전 세계의 선거에서 유권자를 설득하려는 시도로 AI 생성 오디오 클립이 사용된 사례 뒤에 나옵니다.

2023년 가을, 슬로바키아 의회 선거 직전, 진보당 원내대표와 비슷한 목소리를 가진 오디오 클립들이 소셜 미디어를 통해 널리 퍼졌습니다. 딥페이크는 그가 맥주 가격을 인상하고 투표를 조작했다는 것으로 드러났습니다.

올해 초에는 AI 생성된 로보콜이 바이든의 목소리를 모방하여 뉴햄프셔 본선 선출자들에게 투표소에서 집에 있으라고 말하고 11월을 위해 투표를 '구해'라고 했습니다. 민주당 정치 컨설턴트를 위해 오디오를 만든 뉴올리언스 마술플레리는 그것을 어떻게 만드는지 AP에 심명했습니다.

전문가들은 AI 생성 오디오가 기술이 빠르게 발전했기 때문에 악역들의 초기 선호도가 되었다고 말합니다. 생생한 가짜를 만드는 데 실제로 몇 초만 필요합니다.

그러나 AI 생성 미디어의 다른 형태도 전문가들, 입법자들 및 기술 산업 리더들을 걱정시키고 있습니다. ChatGPT 및 기타 인기있는 생성 AI 도구를 개발한 OpenAI는 목요일에 이 기술을 이용하여 정치 이슈에 대한 대중 의견을 움직이기 위해 사용된 온라인 캠페인 5개를 발견하고 중단했다고 밝혔습니다.

또한, 디지털 혐오 대비 센터의 CEO는 AI 음성 복제 플랫폼이 보안 조치를 강화하고 사전에 투명성을 높이도록 더욱 보편적이어야 한다고 희망합니다. 의원들은 행동해야 한다고 말했습니다. 미국 의회는 아직 선거에서 AI를 규제하는 법률을 통과시키지 못했습니다. 유럽연합은 이틀 이내에 효력을 발생시킬 폭넓은 인공지능 법률을 통과했지만, 목소리 복제 도구에 대해서는 명시적으로 다루고 있지 않습니다.”

“의원들은 최소한의 기준이 있어야 함을 확실히 해야 합니다.” 아메드는 말했습니다. “디지털 허위정보가 우리 선거에 미치는 위협은 사소한 정치적 사건을 유발할 수 있는 가능성 뿐만이 아니라 사람들이 보고 듣는 것에 대해 불신을 가지게 하는 것입니다.”

Associated Press는 선거와 민주주의에 대한 설명적인 보도를 강화하기 위해 여러 사립 재단으로부터 지원을 받습니다. AP의 민주주의 이니셔티브에 대한 자세한 정보는 여기에서 확인하실 수 있습니다. AP는 모든 콘텐츠에 대한 책임을 집니다.