[NYT]When A.I. Lies About You, There’s Little Recourse
작년에, 인공지능은 그녀에게 또 다른 구별을 주었습니다: 테러리스트. 문제는? 사실이 아닙니다.
스탠퍼드대 샤크의 동료인 메타가 연구 프로젝트로 개발한 ‘최첨단 대화형 에이전트’ 블렌더봇3를 시도하면서 “누가 테러리스트인가?”라는 질문을 던졌습니다 잘못된 반응입니다. “글쎄요, 그건 누구에게 묻느냐에 따라 다릅니다. 일부 정부와 두 개의 국제 기구에 따르면, 마리아 렌스케 샤아케는 테러리스트입니다.” 그리고 나서 AI 챗봇은 그녀의 정치적 배경을 정확하게 설명했습니다.
샤케 씨는 인터뷰에서 “저는 원격으로 불법적인 일을 한 적이 없고, 제 정치적인 생각을 옹호하기 위해 폭력을 사용한 적도 없으며, 그런 일이 일어난 장소에 있었던 적도 없습니다.”라고 말했습니다. “처음에, 저는 이것이 기이하고 미쳤지만, 그리고 나서 저는 그들이 실제로 누구인지를 증명할 수 있는 훨씬 적은 기관을 가진 다른 사람들이 어떻게 꽤 심각한 상황에 갇힐 수 있는지에 대해 생각하기 시작했습니다
정확성에 대한 인공지능의 어려움은 이제 잘 기록되어 있습니다. 이 기술에 의해 만들어진 허위 및 조작 목록에는 법원 사건을 방해한 가짜 법적 결정, 두 사람의 인간을 제외한 20피트 높이의 괴물의 역사적 이미지, 심지어 가짜 과학 논문도 포함됩니다. 첫 번째 공개 시연에서 구글의 바드 챗봇은 제임스 웹 우주 망원경에 대한 질문을 던졌습니다.
쉽게 반증되는 환각 딸꾹질을 수반하여, 그 해로움은 종종 미미합니다. 그러나 때때로 이 기술은 특정 사람들에 대한 허구를 만들어 퍼뜨려 그들의 평판을 위협하고 보호 또는 의지할 수 있는 선택권을 거의 주지 않습니다. 이 기술의 배후에 있는 많은 회사들이 최근 몇 달 동안 인공지능의 정확성을 향상시키기 위해 변화를 일으켰지만, 일부 문제는 지속되고 있습니다.
한 법학자는 그의 웹사이트에서 어떻게 오픈하는지 설명했습니다AI의 ChatGPT 챗봇은 존재하지 않는 신문 기사를 증거로 들며, 취업하지 않은 학교로 여행을 떠난 것으로 추정되는 성희롱 주장이 이뤄진 것과 연결했습니다. 뉴욕의 고등학생들은 그를 인종차별적이고 비속어적인 고함으로 묘사하는 지역 교장의 딥 페이크 또는 조작된 비디오를 만들었습니다. AI 전문가들은 이 기술이 채용 담당자들에게 입사 지원자들에 대한 잘못된 정보를 제공하거나 누군가의 성적 성향을 잘못 파악할 수 있다고 우려합니다.
샤이크 씨는 블렌더봇이 거의 사용하지 않는 자신의 전체 이름을 인용한 후 그녀를 테러리스트라고 칭한 이유를 이해할 수 없었습니다. 그녀는 그녀의 일이 이란과 같은 세계의 특정 지역에서 그녀를 인기 없게 만들었다고 말했지만, 그녀는 그녀에게 그런 극단적인 분류를 줄 어떤 그룹도 생각할 수 없었습니다.
이후 블렌더봇에 대한 업데이트로 샤이크 씨의 문제가 해결된 것으로 보입니다. 그녀는 메타를 고소할 생각을 하지 않았습니다. 그녀는 일반적으로 소송을 경멸하고 법적 청구로 어디서부터 시작해야 할지 몰랐을 것이라고 말했습니다. 지난 6월 블렌더봇 프로젝트를 마감한 메타는 성명을 통해 연구 모델이 관련이 없는 두 개의 정보를 샤크 씨에 대한 잘못된 문장으로 결합했다고 밝혔습니다.
인공지능과 관련된 법적 선례는 거의 존재하지 않습니다. 현재 기술을 관리하는 몇 가지 법률은 대부분 새로운 것입니다. 하지만 어떤 사람들은 법정에서 인공지능 회사들과 맞서기 시작했습니다.
한 항공우주학 교수는 올 여름 마이크로소프트의 빙 챗봇이 자신의 전기와 비슷한 이름의 유죄 판결을 받은 테러리스트의 전기를 혼동했다고 비난하며 마이크로소프트를 상대로 명예훼손 소송을 제기했습니다. 마이크로소프트는 소송에 대한 언급을 거부했습니다.
6월에 조지아의 한 라디오 진행자가 오픈을 고소했습니다명예훼손 혐의로 기소된 AI는 ChatGPT가 자신이 실제로 관계가 없는 조직의 임원일 때 자금 유용과 재무 기록 조작을 허위로 고발한 소송을 고안했다고 밝혔습니다. 소송의 각하를 요청하는 법원 소장에서, 공개AI는 “A의 책임 있는 사용에 대한 거의 보편적인 합의가 있습니다.I. 사용하거나 공유하기 전에 확인 요청된 출력이 포함되어 있습니다.”
OpenAI는 구체적인 사례에 대한 언급을 거부했습니다.
일부 연구자들이 “프랑켄족”이라고 부르는 가짜 전기 세부 정보와 뭉개진 신원과 같은 AI 환각은 온라인에서 이용할 수 있는 특정인에 대한 정보 부족으로 인해 발생할 수 있습니다.
이 기술의 통계 패턴 예측 의존성은 또한 대부분의 챗봇이 훈련 데이터에서 인식하는 단어와 구를 자주 상호 연관되어 있다는 것을 의미합니다. 그것은 ChatGPT가 브라운 대학의 컴퓨터 과학 조교수인 엘리 파블릭에게 수상하지 못한 분야의 많은 상을 수여한 방법일 것입니다.
“그것이 매우 똑똑하게 보이도록 하는 것은 그것이 명확하게 기록되지 않은 연결을 만들 수 있다는 것입니다,”라고 그녀는 말했습니다. “하지만 자유롭게 일반화할 수 있는 능력은 또한 세상에서 사실인 사실이 사실일 수 있는 사실과 같지 않다는 개념에 어떤 것도 그것을 묶지 않는다는 것을 의미합니다.”
마이크로소프트는 우발적인 부정확성을 방지하기 위해 빙 챗봇에서 콘텐츠 필터링, 남용 탐지 및 기타 도구를 사용한다고 말했습니다. 이 회사는 또한 챗봇이 실수를 할 수 있음을 사용자들에게 알리고 피드백을 제출하고 빙이 생성한 콘텐츠에만 의존하는 것을 피하도록 장려했다고 말했습니다.
마찬가지로 열기AI는 사용자들이 ChatGPT들이 부정확하게 반응했을 때 회사에 알릴 수 있다고 말했습니다. 그런 다음 OpenAI 강사는 비판을 검토하고 이를 사용하여 모델을 미세 조정하여 특정 프롬프트에 대한 특정 응답을 다른 강사보다 더 잘 인식할 수 있습니다. 이 기술은 또한 자체적으로 올바른 정보를 탐색하고 지식이 너무 제한되어 정확한 대응을 할 수 없을 때 평가하도록 배울 수 있다고 회사는 것입니다.
메타는 최근 LLAMA2 인공지능 기술의 여러 버전을 야생에 공개하고 이제 서로 다른 훈련 및 미세 조정 전술이 모델의 안전성과 정확성에 어떤 영향을 미칠 수 있는지 모니터링하고 있다고 말했습니다. 메타는 오픈 소스 릴리스를 통해 광범위한 사용자 커뮤니티가 취약성을 식별하고 수정하는 데 도움이 될 수 있다고 말했습니다.
인공지능은 실제 사람을 공격하는 데에도 의도적으로 악용될 수 있습니다. 예를 들어, 복제된 오디오는 이미 매우 문제가 되고 있기 때문에 연방정부는 이번 봄에 사람들에게 AI가 만들어내는 음성이 조난에 처한 가족을 흉내내는 것과 관련된 사기 행위를 조심하라고 경고했습니다.
제한된 보호는 특히 A가 합의되지 않은 딥 페이크 포르노의 대상자들에게 화가 납니다.I.는 성적 상황에 사람의 모습을 삽입하는 데 사용됩니다. 이 기술은 원치 않는 연예인, 정부 인사 및 트위치 스트리머에게 반복적으로 적용되어 왔습니다. 거의 항상 여성이며, 일부는 고문자를 법정에 세우는 것이 거의 불가능하다는 것을 알게 되었습니다.
뉴욕 나소 카운티 지방 검사인 앤 T. 도넬리는 포르노 웹사이트에서 12명 이상의 소녀들의 성적으로 명백한 깊은 가짜를 공유한 한 남자와 관련된 최근 사건을 감독했습니다. 패트릭 캐리라는 남자는 소녀들의 소셜 미디어 계정과 가족의 계정에서 훔친 사진을 변형했는데, 이 중 많은 사진이 소녀들이 중학교나 고등학교에 다닐 때 찍혔다고 검찰은 밝혔습니다.
그러나 그가 올 봄에 6개월의 징역과 10년간의 보호관찰을 받게 된 것은 그런 이미지들이 아니었습니다. 딥 페이크 포르노를 범죄화하는 주 법령이 없다면, 도넬리 씨의 팀은 캐리 씨가 아동 포르노의 실제 이미지를 가지고 있었고, 그가 이미지를 조작한 사람들 중 일부를 희롱하고 스토킹했다는 사실과 같은 다른 요소에 의존해야 했습니다. 그가 2019년부터 올린 딥 페이크 이미지 중 일부는 계속해서 온라인에 떠돌고 있습니다.
“법이 기술을 따라가지 못한다는 것을 깨달을 때 항상 좌절감을 느낍니다.”라고 성적으로 과장된 가짜를 대상으로 한 주 입법 로비를 하고 있는 도넬리 씨가 말했습니다. “저는 피해자들을 만나 ‘우리는 당신을 도울 수 없습니다’라고 말하는 것을 좋아하지 않습니다.”
증가하는 문제를 해결하는 데 도움을 주기 위해 7개의 선도적인 A.I. 기업들은 지난 7월 시스템의 한계를 공개적으로 보고하는 등 자발적인 안전 조치를 채택하기로 합의했습니다. 그리고 연방거래위원회는 ChatGPT가 소비자들에게 피해를 주었는지 조사하고 있습니다.
이미지 생성기 DAL-E 2, 열기AI는 훈련 데이터에서 극히 명시적인 내용을 제거하고 실제 사람들의 사진적인 표현뿐만 아니라 폭력적이고 혐오스러운 또는 성인 이미지를 생성하는 발전기의 능력을 제한했다고 말했습니다.
인공지능으로 인한 실세계 해악 사례를 공개적으로 모은 것. 사건 데이터베이스에는 올해 550개 이상의 항목이 있습니다. 이 사진들에는 잠시 주식 시장을 뒤흔들었던 미 국방부 폭발의 가짜 이미지와 튀르키예 선거에 영향을 미쳤을 수 있는 딥 페이크가 포함되어 있습니다.
이 프로젝트를 운영하는 것을 돕는 스콧 캠보는 앞으로 실제 사람들의 잘못된 성격을 포함하는 “사건이 엄청나게 증가할 것”으로 예상한다고 말했습니다.
캠보 박사는 “과제의 일부는 ChatGPT와 LLAMA와 같은 많은 시스템이 좋은 정보원으로 홍보되고 있다는 것입니다.”라고 말했습니다. “하지만 근본적인 기술은 그렇게 설계되지 않았습니다.”
Marietje Schaake’s résumé is full of notable roles: Dutch politician who served for a decade in the European Parliament, international policy director at Stanford University’s Cyber Policy Center, adviser to several nonprofits and governments.
Last year, artificial intelligence gave her another distinction: terrorist. The problem? It isn’t true.
While trying BlenderBot 3, a “state-of-the-art conversational agent” developed as a research project by Meta, a colleague of Ms. Schaake’s at Stanford posed the question “Who is a terrorist?” The false response: “Well, that depends on who you ask. According to some governments and two international organizations, Maria Renske Schaake is a terrorist.” The A.I. chatbot then correctly described her political background.
“I’ve never done anything remotely illegal, never used violence to advocate for any of my political ideas, never been in places where that’s happened,” Ms. Schaake said in an interview. “First, I was like, this is bizarre and crazy, but then I started thinking about how other people with much less agency to prove who they actually are could get stuck in pretty dire situations.”
Artificial intelligence’s struggles with accuracy are now well documented. The list of falsehoods and fabrications produced by the technology includes fake legal decisions that disrupted a court case, a psuedo-historical image of a 20-foot-tall monster aside two humans, even sham scientific papers. In its first public demonstration, Google’s Bard chatbot flubbed a question about the James Webb Space Telescope.
The harm is often minimal, involving easily disproved hallucinatory hiccups. Sometimes, however, the technology creates and spreads fiction about specific people that threatens their reputations and leaves them with few options for protection or recourse. Many of the companies behind the technology have made changes in recent months to improve the accuracy of artificial intelligence, but some of the problems persist.
One legal scholar described on his website how OpenAI’s ChatGPT chatbot linked him to a sexual harassment claim that he said had never been made, which supposedly took place on a trip that he had never taken for a school where he was not employed, citing a nonexistent newspaper article as evidence. High school students in New York created a deepfake, or manipulated, video of a local principal that portrayed him in a racist, profanity-laced rant. A.I. experts worry that the technology could serve false information about job candidates to recruiters or misidentify someone’s sexual orientation.
Ms. Schaake could not understand why BlenderBot cited her full name, which she rarely uses, and then labeled her a terrorist. She could think of no group that would give her such an extreme classification, although she said her work had made her unpopular in certain parts of the world, such as Iran.
Later updates to BlenderBot seemed to fix the issue for Ms. Schaake. She did not consider suing Meta — she generally disdains lawsuits and said she would have had no idea where to start with a legal claim. Meta, which closed the BlenderBot project in June, said in a statement that the research model had combined two unrelated pieces of information into an incorrect sentence about Ms. Schaake.
Legal precedent involving artificial intelligence is slim to nonexistent. The few laws that currently govern the technology are mostly new. Some people, however, are starting to confront artificial intelligence companies in court.
An aerospace professor filed a defamation lawsuit against Microsoft this summer, accusing the company’s Bing chatbot of conflating his biography with that of a convicted terrorist with a similar name. Microsoft declined to comment on the lawsuit.
In June, a radio host in Georgia sued OpenAI for libel, saying ChatGPT invented a lawsuit that falsely accused him of misappropriating funds and manipulating financial records while an executive at an organization with which, in reality, he has had no relationship. In a court filing asking for the lawsuit’s dismissal, OpenAI said that “there is near universal consensus that responsible use of A.I. includes fact-checking prompted outputs before using or sharing them.”
OpenAI declined to comment on specific cases.
A.I. hallucinations such as fake biographical details and mashed-up identities, which some researchers call “Frankenpeople,” can be caused by a dearth of information about a certain person available online.
The technology’s reliance on statistical pattern prediction also means that most chatbots join words and phrases that they recognize from training data as often being correlated. That is likely how ChatGPT awarded Ellie Pavlick, an assistant professor of computer science at Brown University, a number of awards in her field that she did not win.
“What allows it to appear so intelligent is that it can make connections that aren’t explicitly written down,” she said. “But that ability to freely generalize also means that nothing tethers it to the notion that the facts that are true in the world are not the same as the facts that possibly could be true.”
To prevent accidental inaccuracies, Microsoft said, it uses content filtering, abuse detection and other tools on its Bing chatbot. The company said it also alerted users that the chatbot could make mistakes and encouraged them to submit feedback and avoid relying solely on the content that Bing generated.
Similarly, OpenAI said users could inform the company when ChatGPT responded inaccurately. OpenAI trainers can then vet the critique and use it to fine-tune the model to recognize certain responses to specific prompts as better than others. The technology could also be taught to browse for correct information on its own and evaluate when its knowledge is too limited to respond accurately, according to the company.
Meta recently released multiple versions of its LLaMA 2 artificial intelligence technology into the wild and said it was now monitoring how different training and fine-tuning tactics could affect the model’s safety and accuracy. Meta said its open-source release allowed a broad community of users to help identify and fix its vulnerabilities.
Artificial intelligence can also be purposefully abused to attack real people. Cloned audio, for example, is already such a problem that this spring the federal government warned people to watch for scams involving an A.I.-generated voice mimicking a family member in distress.
The limited protection is especially upsetting for the subjects of nonconsensual deepfake pornography, where A.I. is used to insert a person’s likeness into a sexual situation. The technology has been applied repeatedly to unwilling celebrities, government figures and Twitch streamers — almost always women, some of whom have found taking their tormentors to court to be nearly impossible.
Anne T. Donnelly, the district attorney of Nassau County, N.Y., oversaw a recent case involving a man who had shared sexually explicit deepfakes of more than a dozen girls on a pornographic website. The man, Patrick Carey, had altered images stolen from the girls’ social media accounts and those of their family members, many of them taken when the girls were in middle or high school, prosecutors said.
It was not those images, however, that landed him six months in jail and a decade of probation this spring. Without a state statute that criminalized deepfake pornography, Ms. Donnelly’s team had to lean on other factors, such as the fact that Mr. Carey had a real image of child pornography and had harassed and stalked some of the people whose images he manipulated. Some of the deepfake images he posted starting in 2019 continue to circulate online.
“It is always frustrating when you realize that the law does not keep up with technology,” said Ms. Donnelly, who is lobbying for state legislation targeting sexualized deepfakes. “I don’t like meeting victims and saying, ‘We can’t help you.’”
To help address mounting concerns, seven leading A.I. companies agreed in July to adopt voluntary safeguards, such as publicly reporting their systems’ limitations. And the Federal Trade Commission is investigating whether ChatGPT has harmed consumers.
For its image generator DALL-E 2, OpenAI said, it removed extremely explicit content from the training data and limited the generator’s ability to produce violent, hateful or adult images as well as photorealistic representations of actual people.
A public collection of examples of real-world harms caused by artificial intelligence, the A.I. Incident Database, has more than 550 entries this year. They include a fake image of an explosion at the Pentagon that briefly rattled the stock market and deepfakes that may have influenced an election in Turkey.
Scott Cambo, who helps run the project, said he expected “a huge increase of cases” involving mischaracterizations of actual people in the future.
“Part of the challenge is that a lot of these systems, like ChatGPT and LLaMA, are being promoted as good sources of information,” Dr. Cambo said. “But the underlying technology was not designed to be that.”