[NYT]Voice Deepfakes Are the Latest Threat to Your Bank Balance
두 번째 전화가 카바츠니크 씨에게서 온 것이 아니라는 것만 빼면요. 오히려, 소프트웨어 프로그램이 그의 목소리를 인위적으로 만들어냈고 은행가를 속여서 돈을 다른 곳으로 옮기려고 했습니다.
카바츠니크 씨와 그의 은행가는 사이버 보안 전문가들의 관심을 끌었던 최첨단 사기 시도의 대상이었습니다. 음성 딥 페이크를 생성하기 위해 인공 지능을 사용하거나 실제 사람의 목소리를 흉내 내는 발성 공연.
이 문제는 여전히 새롭기 때문에 얼마나 자주 발생하는지에 대한 포괄적인 설명이 없습니다. 그러나 핀드롭이라는 회사가 많은 미국 최대 은행의 오디오 트래픽을 모니터링하는 한 전문가는 올해 사기꾼들의 음성 사기 시도의 정교함과 보급률이 급증하는 것을 목격했다고 말했습니다. 또 다른 대형 음성 인증 공급업체인 뉘앙스는 지난해 말 금융 서비스 고객에 대한 딥 페이크 공격이 성공적이었습니다.
카바츠니크 씨의 경우, 사기는 감지할 수 있었습니다. 그러나 기술 발전의 속도, 생성 인공지능 프로그램의 비용 하락 및 인터넷에서 사람들의 목소리를 녹음할 수 있는 광범위한 가능성은 음성 관련 A에 완벽한 조건을 만들었습니다.I. 사기.
해커에 의해 도난당하고 지하 시장에서 널리 사용되는 은행 계좌 정보와 같은 고객 데이터는 사기꾼들이 이러한 공격을 저지하는 데 도움이 됩니다. 그들은 연설을 포함한 공개적인 모습이 종종 인터넷에서 널리 이용되는 부유한 고객들로 인해 훨씬 더 쉬워집니다. 일반 고객을 위한 오디오 샘플을 찾는 것은 사기꾼이 이미 가지고 있는 은행 계좌 정보를 가진 사람의 이름을 온라인 검색(예: 틱톡 및 인스타그램)하는 것만큼 쉬울 수 있습니다.
미국 10대 대부업체 중 8곳의 자동 음성 인증 시스템을 검토하는 핀드롭의 최고 경영자이자 설립자인 비제이 발라수브라마니안은 “많은 오디오 콘텐츠가 있습니다.”라고 말했습니다.
지난 10년 동안 핀드롭은 자사가 서비스하는 금융 회사가 운영하는 콜센터에 걸려온 50억 건 이상의 통화 기록을 검토했습니다. 이 센터는 은행 계좌, 신용 카드 및 대형 소매 은행에서 제공하는 기타 서비스와 같은 상품을 취급합니다. 모든 콜센터는 사기꾼의 전화를 받습니다. 보통 일년에 1,000에서 10,000까지입니다. 발라수브라마니안 씨는 사기꾼들로부터 매주 20통의 전화가 걸려오는 것이 일반적이라고 말했습니다.
그는 지금까지 컴퓨터 프로그램에 의해 만들어진 가짜 음성은 이러한 전화 중 “소수”에 불과하며, 이러한 전화는 지난 1년 내에 겨우 발생하기 시작했다고 말했습니다.
핀드롭이 본 가짜 음성 공격의 대부분은 사람 대표가 카드에 도움이 필요한 고객을 처리하는 신용카드 서비스 콜센터에 들어왔습니다.
발라수브라마니안 씨는 지난 3월에 있었던 그러한 전화의 익명 녹음을 기자에게 연기했습니다. 비록 매우 초보적인 예 – 이 경우의 목소리는 로봇처럼 들리지만, 사람보다는 전자 리더에 가깝습니다 – 이 전화는 어떻게 사기가 A로 발생할 수 있는지를 보여줍니다.I. 사람의 목소리를 흉내내기 쉽게 만듭니다.
은행원이 고객을 맞이하는 소리가 들립니다. 그러면 자동화된 것과 비슷한 목소리가 “제 카드가 거절되었습니다.”라고 말합니다
“누구와 얘기할 수 있는지 물어봐도 될까요?” 은행원이 대답합니다.
“제 카드가 거절되었어요.” 그 목소리가 다시 말합니다.
은행원이 고객의 이름을 다시 물어봅니다. 침묵이 이어지고, 그 동안 희미한 키 누르기 소리가 들립니다. 발라수브라마니안 씨의 말에 따르면, 키 누르기의 수는 고객의 이름에 있는 글자의 수와 일치한다고 합니다. 사기꾼은 프로그램에 단어를 입력하고 그것을 읽고 있습니다.
이 경우 전화를 건 사람의 합성 연설로 인해 직원이 다른 부서로 전화를 옮기고 잠재적인 사기라고 표시했다고 발라수브라마니안 씨는 말했습니다.
그가 공유한 것과 같은 전화는 문자 유형 기술을 사용하여 방어하기 가장 쉬운 공격입니다. 콜센터는 선별 소프트웨어를 사용하여 음성이 기계로 생성되는 기술적 단서를 수집할 수 있습니다.
“합성 연설은 인공물을 남깁니다. 그리고 많은 스푸핑 방지 알고리즘이 인공물을 차단합니다.”라고 Ingen의 최고 경영자인 Peter Soufleris는 말했습니다음성 생체 인식 기술 공급업체인 ID입니다.
그러나 많은 보안 조치와 마찬가지로 공격자와 방어자 간의 군비 경쟁이며 최근에 발전하고 있습니다. 사기꾼은 이제 단순히 마이크에 대고 말하거나 프롬프트를 입력하여 그 말을 목표물의 목소리로 매우 빠르게 번역할 수 있습니다.
발라수브라마니안 씨는 한 세대 A라고 언급했습니다.마이크로소프트의 VAL-E인 I. 시스템은 3초의 샘플 오디오를 사용하여 사용자가 원하는 대로 말하는 음성 딥 페이크를 만들 수 있습니다.
보안 컨설턴트인 Rachel Tobac은 지난 5월 “60 Minutes”에서 프로그램의 특파원 중 한 명인 Sharyn Alfonsi의 목소리를 너무 설득력 있게 복제하기 위해 소프트웨어를 사용하여 “60 Minutes” 직원을 속여서 그녀에게 Alfonsi의 여권 번호를 알려주었습니다.
이번 공격을 종합하는 데는 단 5분밖에 걸리지 않았다고 소셜 프루프 시큐리티의 최고 책임자 토박은 말했습니다. 그녀가 사용한 도구는 1월에 구입할 수 있게 되었습니다.
마이크로소프트가 2021년 인수한 음성 기술 공급업체 뉘앙스의 보안 및 생체 인식 총괄 책임자인 브렛 베라넥은 “무서운 딥 페이크 데모가 보안 컨퍼런스의 주요 요소이지만, 실제 공격은 여전히 극히 드물다”고 말했습니다. 지난 10월 누언스 고객의 유일한 성공적인 침입으로 공격자는 12번 이상 성공을 거두었습니다.
베라넥 씨의 가장 큰 우려는 많은 은행들이 배치한 음성 생체 인식 시스템과 같은 콜센터나 자동화된 시스템에 대한 공격이 아닙니다. 그는 전화를 건 사람이 개인에게 직접 연락하는 사기에 대해 걱정합니다.
“저는 이번 주 초에 우리 고객 중 한 명과 대화를 나누었습니다.”라고 그가 말했습니다. “그들은 브렛, 우리가 연락 센터를 안전하게 확보했다는 것은 좋은 일이지만 누군가가 우리의 최고 경영자에게 직접 휴대폰으로 전화를 걸어 다른 사람인 척하면 어떻게 될까요?”라고 말했습니다
카바츠니크 씨의 경우도 그렇습니다. 은행원의 설명에 따르면, 그는 그녀가 새로운 장소로 송금하도록 하려고 노력하는 것처럼 보였지만, 그 목소리는 반복적이었고, 그녀에 대해 이야기하고 왜곡된 문구를 사용했습니다. 은행원이 전화를 끊었습니다.
카바츠니크 씨는 “마치 제가 그녀와 이야기하고 있는 것 같았지만 말이 되지 않았습니다.”라고 말했습니다. (아메리카 은행 대변인은 그 은행가를 인터뷰에 응하지 않았습니다.)
카바츠니크 씨는 그러한 전화가 두 번 더 연이어 걸려온 후, 은행원은 이 문제를 뱅크 오브 아메리카의 보안팀에 보고했다고 말했습니다. 카바츠니크 씨의 계정의 보안을 우려한 그녀는 카바츠니크 씨의 전화와 이메일에 대한 응답을 중단했습니다. 심지어 진짜 카바츠니크 씨에게서 온 이메일에도 응답을 하지 않았습니다. 카바츠니크 씨가 그녀의 사무실로 그녀를 방문하기로 약속했을 때, 두 사람이 관계를 다시 수립하는 데 약 10일이 걸렸습니다.
“우리는 정기적으로 팀이 사기를 식별하고 인식하고 고객이 사기를 피할 수 있도록 교육합니다.”라고 뱅크 오브 아메리카 대변인 윌리엄 홀딘이 말했습니다. 그는 특정 고객이나 그들의 경험에 대해 언급할 수 없다고 말했습니다.
공격은 점점 더 정교해지고 있지만, 수십 년 동안 존재해 온 기본적인 사이버 보안 위협, 즉 은행 고객의 개인 정보를 노출하는 데이터 침해에서 비롯됩니다. 연방거래위원회에 따르면 2020년부터 2022년까지 3억 명 이상에 대한 개인 데이터 일부가 해커의 손에 넘어가 88억 달러의 손실이 발생했습니다.
일단 그들이 한 묶음의 숫자를 수집하면, 해커들은 정보를 선별하여 실제 사람들과 매칭합니다. 정보를 훔치는 사람들은 결국 정보를 얻는 사람들과 거의 같지 않습니다. 대신, 도둑들은 그것을 팔려고 내놓았습니다. 전문가들은 쉽게 접근할 수 있는 몇 가지 프로그램 중 하나를 사용하여 대상 고객의 전화 번호를 스푸핑할 수 있습니다. 카바츠니크 씨의 경우 이러한 일이 발생했을 가능성이 있습니다.
그의 목소리 녹음은 쉽게 찾을 수 있습니다. 인터넷에는 그가 컨퍼런스에서 연설하고 기금 모금에 참여하는 동영상이 있습니다.
“저는 그것이 꽤 무섭다고 생각해요,” 라고 카바츠니크 씨가 말했습니다. “문제는, 당신이 그것에 대해 어떻게 하는지 모르겠다는 것입니다. 그냥 지하로 들어가서 사라지는 건가요?”
This spring, Clive Kabatznik, an investor in Florida, called his local Bank of America representative to discuss a big money transfer he was planning to make. Then he called again.
Except the second phone call wasn’t from Mr. Kabatznik. Rather, a software program had artificially generated his voice and tried to trick the banker into moving the money elsewhere.
Mr. Kabatznik and his banker were the targets of a cutting-edge scam attempt that has grabbed the attention of cybersecurity experts: the use of artificial intelligence to generate voice deepfakes, or vocal renditions that mimic real people’s voices.
The problem is still new enough that there is no comprehensive accounting of how often it happens. But one expert whose company, Pindrop, monitors the audio traffic for many of the largest U.S. banks said he had seen a jump in its prevalence this year — and in the sophistication of scammers’ voice fraud attempts. Another large voice authentication vendor, Nuance, saw its first successful deepfake attack on a financial services client late last year.
In Mr. Kabatznik’s case, the fraud was detectable. But the speed of technological development, the falling costs of generative artificial intelligence programs and the wide availability of recordings of people’s voices on the internet have created the perfect conditions for voice-related A.I. scams.
Customer data like bank account details that have been stolen by hackers — and are widely available on underground markets — help scammers pull off these attacks. They become even easier with wealthy clients, whose public appearances, including speeches, are often widely available on the internet. Finding audio samples for everyday customers can also be as easy as conducting an online search — say, on social media apps like TikTok and Instagram — for the name of someone whose bank account information the scammers already have.
“There’s a lot of audio content out there,” said Vijay Balasubramaniyan, the chief executive and a founder of Pindrop, which reviews automatic voice-verification systems for eight of the 10 largest U.S. lenders.
Over the past decade, Pindrop has reviewed recordings of more than five billion calls coming into call centers run by the financial companies it serves. The centers handle products like bank accounts, credit cards and other services offered by big retail banks. All of the call centers receive calls from fraudsters, typically ranging from 1,000 to 10,000 a year. It’s common for 20 calls to come in from fraudsters each week, Mr. Balasubramaniyan said.
So far, fake voices created by computer programs account for only “a handful” of these calls, he said — and they’ve begun to happen only within the past year.
Most of the fake voice attacks that Pindrop has seen have come into credit card service call centers, where human representatives deal with customers needing help with their cards.
Mr. Balasubramaniyan played a reporter an anonymized recording of one such call that took place in March. Although a very rudimentary example — the voice in this case sounds robotic, more like an e-reader than a person — the call illustrates how scams could occur as A.I. makes it easier to imitate human voices.
A banker can be heard greeting the customer. Then the voice, similar to an automated one, says, “My card was declined.”
“May I ask whom I have the pleasure of speaking with?” the banker replies.
“My card was declined,” the voice says again.
The banker asks for the customer’s name again. A silence ensues, during which the faint sound of keystrokes can be heard. According to Mr. Balasubramaniyan, the number of keystrokes correspond to the number of letters in the customer’s name. The fraudster is typing words into a program that then reads them.
In this instance, the caller’s synthetic speech led the employee to transfer the call to a different department and flag it as potentially fraudulent, Mr. Balasubramaniyan said.
Calls like the one he shared, which use type-to-text technology, are some of the easiest attacks to defend against: Call centers can use screening software to pick up technical clues that speech is machine-generated.
“Synthetic speech leaves artifacts behind, and a lot of anti-spoofing algorithms key off those artifacts,” said Peter Soufleris, the chief executive of IngenID, a voice biometrics technology vendor.
But, as with many security measures, it’s an arms race between attackers and defenders — and one that has recently evolved. A scammer can now simply speak into a microphone or type in a prompt and have that speech very quickly translated into the target’s voice.
Mr. Balasubramaniyan noted that one generative A.I. system, Microsoft’s VALL-E, could create a voice deepfake that said whatever a user wished using just three seconds of sampled audio.
On “60 Minutes” in May, Rachel Tobac, a security consultant, used software to so convincingly clone the voice of Sharyn Alfonsi, one of the program’s correspondents, that she fooled a “60 Minutes” employee into giving her Ms. Alfonsi’s passport number.
The attack took only five minutes to put together, said Ms. Tobac, the chief executive of SocialProof Security. The tool she used became available for purchase in January.
While scary deepfake demos are a staple of security conferences, real-life attacks are still extremely rare, said Brett Beranek, the general manager of security and biometrics at Nuance, a voice technology vendor that Microsoft acquired in 2021. The only successful breach of a Nuance customer, in October, took the attacker more than a dozen attempts to pull off.
Mr. Beranek’s biggest concern is not attacks on call centers or automated systems, like the voice biometrics systems that many banks have deployed. He worries about the scams where a caller reaches an individual directly.
“I had a conversation just earlier this week with one of our customers,” he said. “They were saying, hey, Brett, it’s great that we have our contact center secured — but what if somebody just calls our C.E.O. directly on their cellphone and pretends to be somebody else?”
That’s what happened in Mr. Kabatznik’s case. According to the banker’s description, he appeared to be trying to get her to transfer money to a new location, but the voice was repetitive, talking over her and using garbled phrases. The banker hung up.
“It was like I was talking to her, but it made no sense,” Mr. Kabatznik said she had told him. (A Bank of America spokesman declined to make the banker available for an interview.)
After two more calls like that came through in quick succession, the banker reported the matter to Bank of America’s security team, Mr. Kabatznik said. Concerned about the security of Mr. Kabatznik’s account, she stopped responding to his calls and emails — even the ones that were coming from the real Mr. Kabatznik. It took about 10 days for the two of them to re-establish a connection, when Mr. Kabatznik arranged to visit her at her office.
“We regularly train our team to identify and recognize scams and help our clients avoid them,” said William Halldin, a Bank of America spokesman. He said he could not comment on specific customers or their experiences.
Though the attacks are getting more sophisticated, they stem from a basic cybersecurity threat that has been around for decades: a data breach that reveals the personal information of bank customers. From 2020 to 2022, bits of personal data on more than 300 million people fell into the hands of hackers, leading to $8.8 billion in losses, according to the Federal Trade Commission.
Once they’ve harvested a batch of numbers, hackers sift through the information and match it to real people. Those who steal the information are almost never the same people who end up with it. Instead, the thieves put it up for sale. Specialists can use any one of a handful of easily accessible programs to spoof target customers’ phone numbers — which is what likely happened in Mr. Kabatznik’s case.
Recordings of his voice are easy to find. On the internet there are videos of him speaking at a conference and participating in a fund-raiser.
“I think it’s pretty scary,” Mr. Kabatznik said. “The problem is, I don’t know what you do about it. Do you just go underground and disappear?”