[NYT]A Man Sued Avianca Airline. His Lawyer Used ChatGPT.
아비앙카가 맨해튼 연방 판사에게 이 사건을 기각해 달라고 요청했을 때, 마타 씨의 변호인단은 6개 이상의 관련 법원 판결을 인용한 10페이지 분량의 브리핑을 제출하며 격렬하게 반대했습니다. 마르티네스 대 델타 항공, 지허먼 대 대한 항공, 그리고 물론 바르게세 대 중국 남방 항공이 연방법에 대해 배운 논의와 “소멸 규정에 대한 자동 체류의 톨링 효과”가 있었습니다
단 한 가지 문제가 있었습니다. 항공사의 변호사도, 심지어 판사 자신도 그 누구도 그 결정이나 인용문을 찾을 수 없었고 요약본에 요약되어 있었습니다.
그것은 ChatGPT가 모든 것을 발명했기 때문입니다.
브리핑을 만든 변호사, 스티븐 A. Levidow, Levidow & Oberman이라는 회사의 Schwartz는 목요일에 법정의 자비에 몸을 던지며, 그가 자신의 법률 연구를 하기 위해 인공지능 프로그램을 사용했다고 말했습니다. “신뢰할 수 없는 것으로 드러난 출처”
뉴욕에서 30년 동안 변호사 일을 해온 슈워츠 씨는 P. 케빈 카스텔 판사에게 법원이나 항공사를 속일 의도가 없다고 말했습니다. 슈워츠 씨는 ChatGPT을 사용한 적이 없으며, “전문가들은 그 내용물이 거짓일 수 있다는 가능성을 알지 못했습니다.”라고 말했습니다
그는 카스텔 판사에게 심지어 그 사건들이 진짜인지 확인하기 위해 프로그램에 요청했다고 말했습니다.
승낙했다고 합니다.
슈워츠 씨는 ChatGPT에 의존하는 “매우 유감”이라며 “앞으로는 절대적인 진위 검증 없이는 절대 그렇게 하지 않을 것”이라고 말했습니다
카스텔 판사는 명령서에서 “위장한 인용문과 가짜 내부 인용문이 있는 모호한 사법 결정”으로 가득한 법적 제출인 “전례 없는 상황”을 제시받았다고 말했습니다 그는 6월 8일에 잠재적인 제재를 논의하기 위한 청문회를 지시했습니다.
인공지능이 온라인 세계를 휩쓸면서, 그것은 인간의 상호 작용뿐만 아니라 인간의 노동을 대체하는 컴퓨터에 대한 디스토피아적 비전을 만들어냈습니다. 그 두려움은 특히 지식 노동자들에게 심했는데, 그들 중 많은 사람들은 그들의 일상적인 활동이 세상이 생각하는 것만큼 희귀하지는 않을지도 모른다고 걱정합니다 – 하지만 세상은 그들에게 청구할 수 있는 시간을 지불합니다.
뉴욕대 법학대학원의 스티븐 길러스 법률윤리학 교수는 A의 가치와 위험성에 대해 논쟁해온 변호사들 사이에서 이 문제가 특히 심각하다고 말했습니다.I. ChatGPT와 같은 소프트웨어는 물론 제공되는 정보를 확인해야 합니다.
길러스 씨는 “지금 변호사들 사이에서 논의되는 것은 이 사건이 설명하는 것을 정확히 어떻게 피할 것인가 하는 것입니다,”라고 말했습니다. “당신은 출력물을 가지고 법원 서류에 오려 붙이기만 하면 안 됩니다.”
로베르토 마타브의 실제 사건. 아비앙카사는 로봇이 인수되기까지 화이트칼라 직업이 적어도 조금은 남아있을 수도 있다는 것을 보여줍니다.
소송에 따르면 마타 씨가 2019년 8월 27일 엘살바도르에서 뉴욕으로 가는 아비앙카 670편 여객기에 탑승했을 때 항공사 직원이 서빙 카트로 마타 씨를 때리면서 시작됐습니다. 마타 씨가 소송을 제기한 후, 항공사는 공소시효가 지났으므로 사건을 기각해 줄 것을 요청하는 서류를 제출했습니다.
3월에 제출된 간략한 문서에서, 마타 씨의 변호사들은 소송이 계속되어야 한다고 말하며, 이후 밝혀진 많은 법원 결정들의 인용문과 인용문으로 그들의 주장을 강화했습니다.
곧, 아비앙카의 변호사들은 카스텔 판사에게 편지를 써서, 그들이 보고서에 인용된 사건들을 찾을 수 없었다고 말했습니다.
Varghese v. China Southern Airlines에 관한 한, 그들은 “캡션이나 인용으로 이 사건을 찾을 수 없었고, 유사한 어떤 사건도 찾을 수 없었습니다.”라고 말했습니다
그들은 브리핑에 포함된 바르게세 결정의 긴 인용문을 가리켰습니다. 아비앙카의 변호사들은 “하명인은 이 인용문이나 어떤 경우에도 이와 유사한 것을 찾을 수 없었습니다,”라고 썼습니다.
실제로 변호인단은 바르게세에서 나온 인용문이 지커만 대 대한항공이라는 것을 인용했다고 덧붙였습니다. Ltd., 2008년 미국 제11순회항소법원이 내린 것으로 알려진 의견. 그들은 또한 그것을 찾을 수 없다고 말했습니다.
카스텔 판사는 마타 씨의 변호사들에게 그들의 보고서에 언급된 의견의 사본을 제공하라고 명령했습니다. 변호사들은 8개의 개요서를 제출했습니다; 대부분의 경우, 그들은 법원과 그것들을 발행한 판사들, 서류 번호와 날짜를 나열했습니다.
예를 들어, Vargheese로 추정되는 결정의 사본은 6페이지 길이이며, 11번째 순회 재판소의 3명의 판사 패널 구성원이 작성했다고 말합니다. 그러나 아비앙카의 변호사들은 판사에게 법원 문서나 법률 데이터베이스에서 그 의견이나 다른 의견을 찾을 수 없다고 말했습니다.
아비앙카의 변호사인 바트 바니노는 그의 회사인 콘돈 & 포사이스가 항공법을 전문으로 하고 있으며 변호사들은 브리핑에서 사건들이 진짜가 아니라고 말할 수 있다고 말했습니다. 그는 챗봇이 관련되었을 수도 있다는 것을 암시한다고 덧붙였습니다.
슈워츠 씨는 논평을 구하는 메시지에 응답하지 않았고, 회사의 다른 변호사인 피터 로두카도 브리핑에 이름이 등장하지 않았습니다.
로두카 씨는 이번 주 진술서에서 문제의 연구를 전혀 수행하지 않았으며, 슈워츠 씨의 연구의 진정성이나 의견의 진위를 “의심할 이유가 없다”고 말했습니다.
ChatGPT는 인터넷 전체에서 가져온 수십억 개의 텍스트 예제를 수집한 통계 모델을 기반으로 어떤 텍스트 조각이 다른 시퀀스를 따라야 하는지 추측함으로써 현실적인 응답을 생성합니다. 마타 씨의 경우, 이 프로그램은 서면 법률 논쟁의 미로 같은 틀을 식별한 것으로 보이지만, 기존 사례의 부야비즈에서 나온 이름과 사실로 채워졌습니다.
카스텔 판사는 청문회를 요구하는 그의 명령에 따라 그가 직접 조사를 했다고 제안했습니다. 그는 제11순회의 서기가 바르제스 의견에 인쇄된 문서 번호가 전혀 다른 사건과 연결되어 있음을 확인했다고 썼습니다.
카스텔 판사는 의견을 “보기글”이라고 부르며 내부 인용문과 인용문이 포함되어 있지 않다고 지적했습니다. 그는 마타 씨의 변호인단이 제출한 다른 결정 중 5건도 가짜로 보인다고 말했습니다.
목요일, 마타 씨의 변호사들은 무슨 일이 일어났는지에 대한 그들의 버전이 담긴 진술서를 제공했습니다.
슈워츠 씨는 원래 마타 씨의 소송을 주 법원에 제기했지만, 항공사가 슈워츠 씨가 개업할 수 없는 맨해튼의 연방 법원으로 이전한 후, 그의 동료 중 한 명인 로두카 씨가 기록 변호사가 되었다고 썼습니다. 슈워츠 씨는 로두카 씨가 아무런 역할도 하지 않은 법적 조사를 계속했다고 말했습니다.
슈워츠 씨는 자신의 작업을 “보완”하기 위해 ChatGPT에 자문을 구했으며, “협의를 통해” 절반은 존재하지 않는 사례를 발견하고 인용했다고 말했습니다. 그는 ChatGPT가 확신을 주었다고 말했습니다.
그가 판사에게 제출한 교환 사본에 따르면, “바르게스가 진짜 사건인가요,”라고 그는 타이핑했습니다.
챗봇은 인용문을 제시하며 “네,”라고 대답했고 “실제 사례입니다.”라고 덧붙였습니다
슈워츠 더그 더피퍼
파일에 따르면, 그는 “당신의 출처가 무엇입니까,”라고 썼습니다.
이에 대해 ChatGPT은 “앞서 혼란을 드린 점 사과드린다”며 법적 인용문을 제시했습니다.
슈워츠 씨는 “당신이 제공한 다른 사례들은 가짜입니까,”라고 물었습니다.
ChatGPT는 “아니요, 제가 제공한 다른 사례들은 실제이며 신뢰할 수 있는 법률 데이터베이스에서 찾을 수 있습니다.”라고 대답했습니다
하지만, 아아, 그들은 그럴 수 없었습니다.
Shelagh McNeil은 연구에 기여했습니다.
The lawsuit began like so many others: A man named Roberto Mata sued the airline Avianca, saying he was injured when a metal serving cart struck his knee during a flight to Kennedy International Airport in New York.
When Avianca asked a Manhattan federal judge to toss out the case, Mr. Mata’s lawyers vehemently objected, submitting a 10-page brief that cited more than half a dozen relevant court decisions. There was Martinez v. Delta Air Lines, Zicherman v. Korean Air Lines and, of course, Varghese v. China Southern Airlines, with its learned discussion of federal law and “the tolling effect of the automatic stay on a statute of limitations.”
There was just one hitch: No one — not the airline’s lawyers, not even the judge himself — could find the decisions or the quotations cited and summarized in the brief.
That was because ChatGPT had invented everything.
The lawyer who created the brief, Steven A. Schwartz of the firm Levidow, Levidow & Oberman, threw himself on the mercy of the court on Thursday, saying in an affidavit that he had used the artificial intelligence program to do his legal research — “a source that has revealed itself to be unreliable.”
Mr. Schwartz, who has practiced law in New York for three decades, told Judge P. Kevin Castel that he had no intent to deceive the court or the airline. Mr. Schwartz said that he had never used ChatGPT, and “therefore was unaware of the possibility that its content could be false.”
He had, he told Judge Castel, even asked the program to verify that the cases were real.
It had said yes.
Mr. Schwartz said he “greatly regrets” relying on ChatGPT “and will never do so in the future without absolute verification of its authenticity.”
Judge Castel said in an order that he had been presented with “an unprecedented circumstance,” a legal submission replete with “bogus judicial decisions, with bogus quotes and bogus internal citations.” He ordered a hearing for June 8 to discuss potential sanctions.
As artificial intelligence sweeps the online world, it has conjured dystopian visions of computers replacing not only human interaction, but also human labor. The fear has been especially intense for knowledge workers, many of whom worry that their daily activities may not be as rarefied as the world thinks — but for which the world pays billable hours.
Stephen Gillers, a legal ethics professor at New York University School of Law, said the issue was particularly acute among lawyers, who have been debating the value and the dangers of A.I. software like ChatGPT, as well as the need to verify whatever information it provides.
“The discussion now among the bar is how to avoid exactly what this case describes,” Mr. Gillers said. “You cannot just take the output and cut and paste it into your court filings.”
The real-life case of Roberto Mata v. Avianca Inc. shows that white-collar professions may have at least a little time left before the robots take over.
It began when Mr. Mata was a passenger on Avianca Flight 670 from El Salvador to New York on Aug. 27, 2019, when an airline employee bonked him with the serving cart, according to the lawsuit. After Mr. Mata sued, the airline filed papers asking that the case be dismissed because the statute of limitations had expired.
In a brief filed in March, Mr. Mata’s lawyers said the lawsuit should continue, bolstering their argument with references and quotes from the many court decisions that have since been debunked.
Soon, Avianca’s lawyers wrote to Judge Castel, saying they were unable to find the cases that were cited in the brief.
When it came to Varghese v. China Southern Airlines, they said they had “not been able to locate this case by caption or citation, nor any case bearing any resemblance to it.”
They pointed to a lengthy quote from the purported Varghese decision contained in the brief. “The undersigned has not been able to locate this quotation, nor anything like it in any case,” Avianca’s lawyers wrote.
Indeed, the lawyers added, the quotation, which came from Varghese itself, cited something called Zicherman v. Korean Air Lines Co. Ltd., an opinion purportedly handed down by the U.S. Court of Appeals for the 11th Circuit in 2008. They said they could not find that, either.
Judge Castel ordered Mr. Mata’s attorneys to provide copies of the opinions referred to in their brief. The lawyers submitted a compendium of eight; in most cases, they listed the court and judges who issued them, the docket numbers and dates.
The copy of the supposed Varghese decision, for example, is six pages long and says it was written by a member of a three-judge panel of the 11th Circuit. But Avianca’s lawyers told the judge that they could not find that opinion, or the others, on court dockets or legal databases.
Bart Banino, a lawyer for Avianca, said that his firm, Condon & Forsyth, specialized in aviation law and that its lawyers could tell the cases in the brief were not real. He added that they had an inkling a chatbot might have been involved.
Mr. Schwartz did not respond to a message seeking comment, nor did Peter LoDuca, another lawyer at the firm, whose name appeared on the brief.
Mr. LoDuca said in an affidavit this week that he did not conduct any of the research in question, and that he had “no reason to doubt the sincerity” of Mr. Schwartz’s work or the authenticity of the opinions.
ChatGPT generates realistic responses by making guesses about which fragments of text should follow other sequences, based on a statistical model that has ingested billions of examples of text pulled from all over the internet. In Mr. Mata’s case, the program appears to have discerned the labyrinthine framework of a written legal argument, but has populated it with names and facts from a bouillabaisse of existing cases.
Judge Castel, in his order calling for a hearing, suggested that he had made his own inquiry. He wrote that the clerk of the 11th Circuit had confirmed that the docket number printed on the purported Varghese opinion was connected to an entirely different case.
Calling the opinion “bogus,” Judge Castel noted that it contained internal citations and quotes that, in turn, were nonexistent. He said that five of the other decisions submitted by Mr. Mata’s lawyers also appeared to be fake.
On Thursday, Mr. Mata’s lawyers offered affidavits containing their version of what had happened.
Mr. Schwartz wrote that he had originally filed Mr. Mata’s lawsuit in state court, but after the airline had it transferred to Manhattan’s federal court, where Mr. Schwartz is not admitted to practice, one of his colleagues, Mr. LoDuca, became the attorney of record. Mr. Schwartz said he had continued to do the legal research, in which Mr. LoDuca had no role.
Mr. Schwartz said that he had consulted ChatGPT “to supplement” his own work and that, “in consultation” with it, found and cited the half-dozen nonexistent cases. He said ChatGPT had provided reassurances.
“Is varghese a real case,” he typed, according to a copy of the exchange that he submitted to the judge.
“Yes,” the chatbot replied, offering a citation and adding that it “is a real case.”
Mr. Schwartz dug deeper.
“What is your source,” he wrote, according to the filing.
“I apologize for the confusion earlier,” ChatGPT responded, offering a legal citation.
“Are the other cases you provided fake,” Mr. Schwartz asked.
ChatGPT responded, “No, the other cases I provided are real and can be found in reputable legal databases.”
But, alas, they could not be.
Sheelagh McNeil contributed research.