[NYT]Amid Sextortion’s Rise, Computer Scientists Tap A.I. to Identify Risky Apps
레빈 씨는 앱스토어에서 수백 건의 고객 후기를 훑어보며 성희롱이나 아동 성학대 혐의에 대해 답변합니다. 수동적이고 임의적인 프로세스로 인해 그는 부모가 앱에 대해 신속한 결정을 내릴 수 있도록 더 많은 리소스를 사용할 수 없는 이유에 대해 궁금해하게 되었습니다.
지난 2년 동안 레빈 씨는 소셜 앱에 대한 고객의 리뷰를 평가하는 계산 모델을 설계하여 부모를 돕고자 했습니다. 인공지능을 이용해 ‘어린이 포르노’나 ‘페도’와 같은 단어로 리뷰의 맥락을 평가하면서, 그와 연구팀은 소셜 네트워킹 앱의 안전에 대한 명확한 지침을 제공하는 ‘앱 위험 프로젝트’라는 검색 가능한 웹사이트를 만들었습니다.
이 웹사이트는 성범죄자에 대한 사용자 리뷰를 집계하고 부정적인 리뷰가 있는 앱의 안전성 평가를 제공합니다. 그것은 성적 학대를 언급하는 리뷰를 나열합니다. 비록 그 팀이 그들의 주장을 확인하기 위해 검토자들을 추적하지 않았지만, 그것은 각각을 읽고 어린이 안전 문제를 강조하지 않은 것들을 제외했습니다.
“발생하는 위험한 행동의 종류에 대해 이야기하는 리뷰가 있지만, 그러한 리뷰는 빠져 있습니다.”라고 레빈 씨가 말했습니다. “당신은 그들을 찾을 수 없습니다
포식자들은 점점 더 명확한 이미지를 수집하기 위해 앱과 온라인 서비스를 무기화하고 있습니다. 작년, 사법 당국은 나체 사진을 보내도록 강요당하고 사진이나 돈을 요구하며 협박을 받은 어린이와 청소년들에 대한 7,000건의 신고를 받았습니다. F.B.I. 그 보고서들 중 얼마나 많은 것이 신빙성이 있는지 말하기를 거부했습니다. 성 착취라고 불리는 이 사건들은 팬데믹 기간 동안 두 배 이상 증가했습니다.
애플과 구글의 앱스토어는 키워드 검색을 제공하지 않기 때문에 부모들이 부적절한 성행위에 대한 경고를 찾기 어려울 수 있다고 레빈 씨는 말했습니다. 그는 무료 앱 위험 프로젝트를 구상하고 있는데, 이 프로젝트는 사용자들에게 충분히 도움이 되지 않는 앱을 식별함으로써 상식 미디어와 같은 제품의 어린이 적합성을 검사하는 다른 서비스를 보완합니다. 그는 그 사이트에서 이익을 얻을 계획은 없지만 비용을 상쇄하기 위해 매사추세츠 대학에 기부를 장려하고 있습니다.
레빈 씨와 12명의 컴퓨터 과학자들은 애플과 구글이 배포한 550개 이상의 소셜 네트워킹 앱에서 아동 성학대를 경고하는 리뷰 수를 조사했습니다. 그들은 그 앱들 중 5분의 1이 아동 성학대 자료에 대한 불만이 2개 이상이고 앱과 플레이 스토어 전체의 81개의 제공물이 그러한 유형의 리뷰 중 7개 이상을 가지고 있다는 것을 발견했습니다.
그들의 조사는 원치 않는 성적 상호작용에 대한 불만이 있는 앱에 대한 이전 보고서를 기반으로 합니다. 2019년 뉴욕 타임즈는 포식자들이 비디오 게임과 소셜 미디어 플랫폼을 사냥터로 어떻게 취급하는지 자세히 설명했습니다. 워싱턴 포스트의 그 해 별도의 보고서는 6개의 앱에 걸쳐 수천 개의 불만 사항을 발견했고, 애플이 Monkey, Chat Live 및 Chat for Stranger 앱을 제거하도록 이끌었습니다.
애플과 구글은 앱을 배포하는 데 재정적인 이익이 있습니다. 앱스토어 매출의 최대 30%를 차지하는 이 거대 기술 기업은 성학대에 대한 여러 사용자 보고가 있는 세 개의 앱이 지난해 3천만 달러의 매출을 올리도록 도와주었습니다: 시장 조사 기관인 센서 타워에 따르면, 후프, 미트미, 위스퍼.
12건 이상의 형사 사건에서 법무부는 이러한 앱을 아이들에게 성적 이미지나 만남을 요청하기 위해 사용된 도구로 설명했습니다. 미네소타에서는 Hoop, 캘리포니아, 켄터키 및 아이오와에서는 MeetMe, 일리노이, 텍사스 및 오하이오에서는 Whisper입니다.
레빈 씨는 애플과 구글이 일부 앱이 야기하는 위험에 대한 더 많은 정보를 부모들에게 제공하고 학대 전과가 있는 사람들을 더 잘 감시해야 한다고 말했습니다.
“우리는 어린이 포식자가 있다는 리뷰를 가진 모든 앱이 시작되어야 한다고 말하는 것은 아니지만, 만약 그들이 이것을 확인할 수 있는 기술을 가지고 있다면, 왜 이런 문제가 있는 앱들 중 일부가 아직도 가게에 남아있을까요?”라고 앱 위험 프로젝트에서 레빈과 함께 일했던 캘리포니아 버클리 대학의 컴퓨터 과학자 하니 패리드가 물었습니다.
애플과 구글은 정기적으로 자체 계산 모델로 앱의 사용자 리뷰를 스캔하고 아동 성학대 혐의를 조사한다고 밝혔습니다. 앱이 정책을 위반하면 제거됩니다. 앱에는 부모와 자녀를 돕는 연령 등급이 있으며 소프트웨어를 사용하면 부모가 다운로드를 거부할 수 있습니다. 그 회사들은 또한 아동 성적 자료를 경찰하기 위한 앱 개발자 도구들을 제공합니다.
댄 잭슨 구글 대변인은 회사가 앱 위험 프로젝트에 의해 나열된 앱들을 조사했으며 아동 성학대 자료의 증거를 발견하지 못했다고 말했습니다.
“사용자 리뷰는 추가 조사를 촉발하는 신호로서 중요한 역할을 하지만 리뷰의 주장은 그 자체로 충분히 신뢰할 수 없습니다.”라고 그는 말했습니다.
애플은 또한 앱 위험 프로젝트에 의해 나열된 앱들을 조사했고 배포 규칙을 위반한 10개를 제거했습니다. 그것은 그 앱들의 목록이나 조치를 취한 이유를 제공하는 것을 거절했습니다.
대변인은 성명에서 “우리의 앱 리뷰 팀은 애플의 기준을 충족하도록 모든 새로운 앱과 앱 업데이트를 24시간 주의 깊게 검토하기 위해 일하고 있습니다.”라고 말했습니다.
앱 데인저(App Danger) 프로젝트는 소셜 네트워킹 앱인 후프(Hoop)가 어린이에게 안전하지 않다는 리뷰를 상당수 발견했다고 밝혔습니다. 예를 들어, 2019년 이후 32,000건의 리뷰 중 176건이 성학대 신고를 포함하고 있다는 것을 발견했습니다.
앱스토어에서 가져온 리뷰는 “여기에는 ‘내 사진 읽기’라는 이름의 사람들뿐만 아니라 데이트 사이트에 가입하기 위한 링크를 스팸으로 보내는 많은 성범죄자들이 있습니다.”라고 말합니다. “그것에는 어린 아이의 사진이 있고 어린이 포르노를 위해 그들의 사이트에 가보라고 쓰여 있습니다.”
새로운 관리를 받고 있는 후프는 사용자의 안전을 강화하기 위해 새로운 콘텐츠 조정 시스템을 가지고 있다고 후프의 최고 경영자인 Liath Ariche는 말했습니다. 연구원들은 원래 설립자들이 봇과 악성 사용자들을 상대하기 위해 어떻게 고군분투했는지를 조명했다고 덧붙였습니다. “상황이 대폭 개선되었습니다.”라고 최고 경영자가 말했습니다.
미트미를 소유한 미트그룹은 미성년자 학대나 착취를 용납하지 않고 인공지능 도구를 이용해 포식자를 탐지해 법 집행에 보고했다고 밝혔습니다. 그것은 미국 뉴욕주 롤리 출신의 한 남성이 아동 포르노를 청탁한 2019년 에피소드를 포함하여 당국에 부적절하거나 의심스러운 활동을 보고합니다.
Whisper는 의견 요청에 응답하지 않았습니다.
새너제이 경찰국의 아동 대상 인터넷 범죄 전담반을 이끄는 션 피어스 경사는 일부 앱 개발자들이 법적 책임을 줄이기 위해 성 착취에 대한 불만 조사를 회피했다고 말했습니다. 그는 “법에는 범죄 행위를 발견하지 못하면 신고하지 않아도 된다고 돼 있다”고 말했습니다.
새너제이 학교에서 비질런트 페어런트 이니셔티브라는 프로그램을 통해 프레젠테이션을 제공하는 피어스 경사는 “앱은 이런 일을 하는 앱이기 때문에 앱 스토어보다 앱의 잘못이 더 크다”고 말했습니다. 그는 많은 앱이 익명의 대화를 위해 낯선 사람을 연결하여 법 집행 기관이 확인하기 어렵게 만드는 것이 과제의 일부라고 말했습니다.
애플과 구글은 매년 수백 건의 아동 성 학대 관련 보고서를 미국 청소소에 제출하지만, 그 보고서 중 어떤 것도 앱과 관련이 있는지는 명시하지 않습니다.
위스퍼는 레빈의 팀이 발견한 소셜 미디어 앱 중 하나로 성 착취에 대한 여러 리뷰가 있습니다. 앱을 다운로드한 후, 한 고등학생은 2018년에 상의 없는 사진을 받는 대가로 학교 로봇 기금 모금에 기여하겠다고 제안한 낯선 사람으로부터 메시지를 받았습니다. 그녀가 사진을 보낸 후, 그 낯선 사람은 그녀가 더 많은 사진을 제공하지 않으면 그것을 그녀의 가족에게 보내겠다고 위협했습니다.
일리노이주 마스쿠타 경찰서의 보고서에 따르면 십대의 가족은 지역 사법 당국에 사건을 보고했으며 나중에 지역 남성 조슈아 브레켈을 체포했습니다. 그는 갈취와 아동음란물로 35년형을 선고 받았습니다. Whisper는 책임이 없는 것으로 밝혀졌지만, 10세에서 15세 사이의 피해자로부터 이미지를 수집하는 데 사용된 주요 도구로 6개의 앱과 함께 이름을 올렸습니다.
브레켈 사건을 담당한 일리노이주 남부 지방 연방 검사 출신 크리스 호엘은 앱 위험 프로젝트의 리뷰에 대한 포괄적인 평가가 위스퍼와 같은 앱의 문제로부터 부모들이 자녀를 보호하는 데 도움이 될 수 있다고 말했습니다.
“이것은 공격적으로 퍼지고 치료 저항성이 있는 종양과 같습니다.”라고 현재 세인트루이스에서 개인 병원을 운영하고 있는 호엘 씨가 말했습니다. 루이. “도구가 더 필요합니다.”
Almost weekly, Brian Levine, a computer scientist at the University of Massachusetts Amherst, is asked the same question by his 14-year-old daughter: Can I download this app?
Mr. Levine responds by scanning hundreds of customer reviews in the App Store for allegations of harassment or child sexual abuse. The manual and arbitrary process has made him wonder why more resources aren’t available to help parents make quick decisions about apps.
Over the past two years, Mr. Levine has sought to help parents by designing a computational model that assesses customers’ reviews of social apps. Using artificial intelligence to evaluate the context of reviews with words such as “child porn” or “pedo,” he and a team of researchers have built a searchable website called the App Danger Project, which provides clear guidance on the safety of social networking apps.
The website tallies user reviews about sexual predators and provides safety assessments of apps with negative reviews. It lists reviews that mention sexual abuse. Though the team didn’t follow up with reviewers to verify their claims, it read each one and excluded those that didn’t highlight child-safety concerns.
“There are reviews out there that talk about the type of dangerous behavior that occurs, but those reviews are drowned out,” Mr. Levine said. “You can’t find them.”
Predators are increasingly weaponizing apps and online services to collect explicit images. Last year, law enforcement received 7,000 reports of children and teenagers who were coerced into sending nude images and then blackmailed for photographs or money. The F.B.I. declined to say how many of those reports were credible. The incidents, which are called sextortion, more than doubled during the pandemic.
Because Apple’s and Google’s app stores don’t offer keyword searches, Mr. Levine said, it can be difficult for parents to find warnings of inappropriate sexual conduct. He envisions the App Danger Project, which is free, complementing other services that vet products’ suitability for children, like Common Sense Media, by identifying apps that aren’t doing enough to police users. He doesn’t plan to profit off the site but is encouraging donations to the University of Massachusetts to offset its costs.
Mr. Levine and a dozen computer scientists investigated the number of reviews that warned of child sexual abuse across more than 550 social networking apps distributed by Apple and Google. They found that a fifth of those apps had two or more complaints of child sexual abuse material and that 81 offerings across the App and Play stores had seven or more of those types of reviews.
Their investigation builds on previous reports of apps with complaints of unwanted sexual interactions. In 2019, The New York Times detailed how predators treat video games and social media platforms as hunting grounds. A separate report that year by The Washington Post found thousands of complaints across six apps, leading to Apple’s removal of the apps Monkey, ChatLive and Chat for Strangers.
Apple and Google have a financial interest in distributing apps. The tech giants, which take up to 30 percent of app store sales, helped three apps with multiple user reports of sexual abuse generate $30 million in sales last year: Hoop, MeetMe and Whisper, according to Sensor Tower, a market research firm.
In more than a dozen criminal cases, the Justice Department has described those apps as tools that were used to ask children for sexual images or meetings — Hoop in Minnesota; MeetMe in California, Kentucky and Iowa; and Whisper in Illinois, Texas and Ohio.
Mr. Levine said Apple and Google should provide parents with more information about the risks posed by some apps and better police those with a track record of abuse.
“We’re not saying that every app with reviews that say child predators are on it should get kicked off, but if they have the technology to check this, why are some of these problematic apps still in the stores?” asked Hany Farid, a computer scientist at the University of California, Berkeley, who worked with Mr. Levine on the App Danger Project.
Apple and Google said they regularly scan user reviews of apps with their own computational models and investigate allegations of child sexual abuse. When apps violate their policies, they are removed. Apps have age ratings to help parents and children, and software allows parents to veto downloads. The companies also offer app developers tools to police child sexual material.
Dan Jackson, a spokesman for Google, said the company had investigated the apps listed by the App Danger Project and hadn’t found evidence of child sexual abuse material.
“While user reviews do play an important role as a signal to trigger further investigation, allegations from reviews are not reliable enough on their own,” he said.
Apple also investigated the apps listed by the App Danger Project and removed 10 that violated its rules for distribution. It declined to provide a list of those apps or the reasons it took action.
“Our App Review team works 24/7 to carefully review every new app and app update to ensure it meets Apple’s standards,” a spokesman said in a statement.
The App Danger project said it had found a significant number of reviews suggesting that Hoop, a social networking app, was unsafe for children; for example, it found that 176 of 32,000 reviews since 2019 included reports of sexual abuse.
“There is an abundance of sexual predators on here who spam people with links to join dating sites, as well as people named ‘Read my picture,’” says a review pulled from the App Store. “It has a picture of a little child and says to go to their site for child porn.”
Hoop, which is under new management, has a new content moderation system to strengthen user safety, said Liath Ariche, Hoop’s chief executive, adding that the researchers spotlighted how the original founders struggled to deal with bots and malicious users. “The situation has drastically improved,” the chief executive said.
The Meet Group, which owns MeetMe, said it didn’t tolerate abuse or exploitation of minors and used artificial intelligence tools to detect predators and report them to law enforcement. It reports inappropriate or suspicious activity to the authorities, including a 2019 episode in which a man from Raleigh, N.C., solicited child pornography.
Whisper didn’t respond to requests for comment.
Sgt. Sean Pierce, who leads the San Jose Police Department’s task force on internet crimes against children, said some app developers avoided investigating complaints about sextortion to reduce their legal liability. The law says they don’t have to report criminal activity unless they find it, he said.
“It’s more the fault of the apps than the app store because the apps are the ones doing this,” said Sergeant Pierce, who offers presentations at San Jose schools through a program called the Vigilant Parent Initiative. Part of the challenge, he said, is that many apps connect strangers for anonymous conversations, making it hard for law enforcement to verify.
Apple and Google make hundreds of reports annually to the U.S. clearinghouse for child sexual abuse but don’t specify whether any of those reports are related to apps.
Whisper is among the social media apps that Mr. Levine’s team found had multiple reviews mentioning sexual exploitation. After downloading the app, a high school student received a message in 2018 a from a stranger who offered to contribute to a school robotics fund-raiser in exchange for a topless photograph. After she sent a picture, the stranger threatened to send it to her family unless she provided more images.
The teenager’s family reported the incident to local law enforcement, according to a report by Mascoutah Police Department in Illinois, which later arrested a local man, Joshua Breckel. He was sentenced to 35 years in jail for extortion and child pornography. Though Whisper wasn’t found responsible, it was named alongside a half dozen apps as the primary tools he used to collect images from victims ranging in age from 10 to 15.
Chris Hoell, a former federal prosecutor in the Southern District of Illinois who worked on the Breckel case, said the App Danger Project’s comprehensive evaluation of reviews could help parents protect their children from issues on apps such as Whisper.
“This is like an aggressively spreading, treatment-resistant tumor,” said Mr. Hoell, who now has a private practice in St. Louis. “We need more tools.”