[NYT]A.I. Poses ‘Risk of Extinction,’ Industry Leaders Warn
“A로부터의 멸종 위험 완화.I. 전염병 및 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 세계적 우선 순위가 되어야 합니다.”라고 비영리 단체인 Center for AI Safety가 발표한 한 문장의 성명서를 읽습니다. 공개 서한에는 A에서 일하는 350명 이상의 임원, 연구원 및 엔지니어가 서명했습니다.i.
서명자들은 선도적인 A 중 3명의 최고 경영진을 포함했습니다.I. 회사: 샘 알트먼 OpenAI 최고경영자(CEO), 데미스 하사비스 구글 딥마인드 최고경영자(CEO), 다리오 아모데이 앤트닉 최고경영자(CEO).
신경망에 대한 선구적인 연구로 튜링상을 수상하고 종종 현대 A의 “대부”로 여겨지는 세 명의 연구원 중 두 명인 제프리 힌튼과 Yoshua Bengio.I. 무브먼트는 이 분야의 다른 저명한 연구자들이 그랬던 것처럼 성명에 서명했습니다. (세 번째 튜링상 수상자인, 메타의 A를 이끄는 Yann LeCun).I. 연구 노력은 화요일 현재 서명하지 않았습니다.)
그 성명은 인공지능의 잠재적인 해악에 대한 우려가 커지는 시기에 나왔습니다. A의 유형인 소위 대규모 언어 모델의 최근 발전.I. ChatGPT와 다른 챗봇이 사용하는 시스템은 A에 대한 두려움을 불러일으켰습니다.I. 곧 잘못된 정보와 선전을 퍼뜨리거나 수백만 개의 화이트칼라 일자리를 없앨 수 있습니다.
어떤 사람들은 AI가 몇 년 안에 사회적 대규모의 혼란을 야기할 정도로 강력해질 수 있다고 믿습니다. 연구원들은 때때로 어떻게 그것이 일어날지 설명하는 것을 멈추기도 하지만 말이죠.
이러한 두려움은 수많은 업계 리더들이 공유하고 있으며, 이들은 자신들이 구축하고 있는 기술(많은 경우 경쟁업체보다 빠르게 구축하기 위해 치열하게 경쟁하고 있음)이 심각한 위험을 초래하므로 더욱 엄격하게 규제해야 한다고 주장하는 특이한 입장에 놓이게 됩니다.
이번 달, 알트만 씨, 하사비스 씨, 아모데이 씨는 바이든 대통령과 카말라 해리스 부통령을 만나 A에 대해 이야기했습니다.I. 규정. Altman 씨는 회의 후 상원 증언에서 A의 위험성에 대해 경고했습니다.I. 시스템은 정부의 개입을 보장할 만큼 심각했으며 A의 규제를 요구했습니다.I. 잠재적인 해악 때문에.
AI 안전 센터의 댄 헨드릭스 전무는 인터뷰에서 공개 서한은 자신들이 개발 중인 기술의 위험성에 대해 개인적으로만 우려를 표명했던 일부 업계 리더들에게 “커밍아웃”을 나타낸 것이라고 말했습니다.
“A에서도 아주 흔한 오해가 있습니다.I. 공동체, 소수의 문머들만 존재합니다.”라고 헨드릭스가 말했습니다. “하지만 사실, 많은 사람들이 개인적으로 이러한 것들에 대해 우려를 표명할 것입니다.”
일부 회의론자들은 A를 주장합니다.I. 기술은 아직 존재론적 위협을 제기하기에는 너무 미숙합니다. 오늘의 A에 관해서라면.I. 시스템은 장기적인 위험보다는 편향되고 잘못된 대응과 같은 단기적인 문제를 더 걱정합니다.
하지만 다른 사람들은 A라고 주장했습니다.I.는 매우 빠르게 발전하고 있어서 이미 어떤 분야에서는 인간 수준의 성과를 넘어섰고, 다른 분야에서는 곧 그것을 능가할 것입니다. 그들은 이 기술이 진보된 능력과 이해의 징후를 보여, “인공 일반 지능, 즉 다양한 작업에서 인간 수준의 성능과 일치하거나 초과할 수 있는 인공 지능의 일종인 A.G.I.가 멀지 않은 것이 아닐까 하는 두려움을 낳았다고 말합니다.
지난주 블로그 게시물에서 Altman 씨와 두 명의 다른 OpenAI 임원은 A의 강력한 몇 가지 방법을 제안했습니다.I. 시스템을 책임감 있게 관리할 수 있습니다. 그들은 선도적인 A의 협력을 요청했습니다.I. 제작자들, 큰 언어 모델과 국제 A의 형성에 대한 더 기술적인 연구.I. 핵무기 사용을 통제하려는 국제 원자력 기구와 유사한 안전 기구.
Altman 씨는 또한 대형 첨단 A 제조업체를 요구하는 규칙에 대한 지지를 표명했습니다.I. 정부가 발급한 면허증에 등록할 모델.
3월, 1,000명 이상의 기술자와 연구원들이 가장 큰 A의 개발을 6개월간 중단할 것을 요구하는 또 다른 공개 서한에 서명했습니다.I. 모델들은 “더 강력한 디지털 마인드를 개발하고 배치하기 위한 통제 불능의 경쟁”에 대한 우려를 언급합니다
인공지능에 초점을 맞춘 또 다른 비영리 단체인 미래 생명 연구소가 조직한 이 편지는 일론 머스크와 다른 유명한 기술 지도자들이 서명했지만, 선도적인 A의 서명은 많지 않았습니다.I. 검사실.
AI 안전 센터의 새로운 성명의 간략화는 A를 통합하기 위한 것이었습니다.I. 특정 위험의 성격이나 그러한 위험이 발생하는 것을 방지하기 위한 조치에 대해 동의하지 않을 수 있지만 강력한 A에 대한 일반적인 우려를 공유한 전문가들.I. 시스템이라고 헨드릭스 씨가 말했습니다.
“우리는 30개의 잠재적 개입으로 구성된 매우 큰 메뉴를 추진하고 싶지 않았습니다.”라고 헨드릭스가 말했습니다. “그런 일이 일어나면, 메시지가 희석됩니다.”
그 성명서는 처음에 몇몇 유명한 A와 공유되었습니다.I. 힌튼 씨를 포함한 전문가들은 인공지능의 잠재적인 해악에 대해 좀 더 자유롭게 말할 수 있도록 구글에서 이달 일을 그만뒀다고 그는 말했습니다. 그곳에서, 그것은 몇몇 주요 A로 향했습니다.I. 연구실에서 몇몇 직원들이 서명했습니다.
A의 긴급성.I. 수백만 명의 사람들이 A로 눈을 돌리면서 지도자들의 경고가 증가했습니다.I. 엔터테인먼트, 동료 관계 및 생산성 향상을 위한 챗봇. 기본 기술이 빠른 속도로 향상됨에 따라.
“이 기술이 잘못되면, 꽤 잘못될 수 있다고 생각합니다,” 라고 Altman 씨가 상원 소위원회에서 말했습니다. “우리는 그런 일이 일어나지 않도록 정부와 함께 일하고 싶습니다.”
A group of industry leaders warned on Tuesday that the artificial intelligence technology they are building may one day pose an existential threat to humanity and should be considered a societal risk on par with pandemics and nuclear wars.
“Mitigating the risk of extinction from A.I. should be a global priority alongside other societal-scale risks, such as pandemics and nuclear war,” reads a one-sentence statement released by the Center for AI Safety, a nonprofit organization. The open letter has been signed by more than 350 executives, researchers and engineers working in A.I.
The signatories included top executives from three of the leading A.I. companies: Sam Altman, chief executive of OpenAI; Demis Hassabis, chief executive of Google DeepMind; and Dario Amodei, chief executive of Anthropic.
Geoffrey Hinton and Yoshua Bengio, two of the three researchers who won a Turing Award for their pioneering work on neural networks and are often considered “godfathers” of the modern A.I. movement, signed the statement, as did other prominent researchers in the field. (The third Turing Award winner, Yann LeCun, who leads Meta’s A.I. research efforts, had not signed as of Tuesday.)
The statement comes at a time of growing concern about the potential harms of artificial intelligence. Recent advancements in so-called large language models — the type of A.I. system used by ChatGPT and other chatbots — have raised fears that A.I. could soon be used at scale to spread misinformation and propaganda, or that it could eliminate millions of white-collar jobs.
Eventually, some believe, A.I. could become powerful enough that it could create societal-scale disruptions within a few years if nothing is done to slow it down, though researchers sometimes stop short of explaining how that would happen.
These fears are shared by numerous industry leaders, putting them in the unusual position of arguing that a technology they are building — and, in many cases, are furiously racing to build faster than their competitors — poses grave risks and should be regulated more tightly.
This month, Mr. Altman, Mr. Hassabis and Mr. Amodei met with President Biden and Vice President Kamala Harris to talk about A.I. regulation. In a Senate testimony after the meeting, Mr. Altman warned that the risks of advanced A.I. systems were serious enough to warrant government intervention and called for regulation of A.I. for its potential harms.
Dan Hendrycks, the executive director of the Center for AI Safety, said in an interview that the open letter represented a “coming-out” for some industry leaders who had expressed concerns — but only in private — about the risks of the technology they were developing.
“There’s a very common misconception, even in the A.I. community, that there only are a handful of doomers,” Mr. Hendrycks said. “But, in fact, many people privately would express concerns about these things.”
Some skeptics argue that A.I. technology is still too immature to pose an existential threat. When it comes to today’s A.I. systems, they worry more about short-term problems, such as biased and incorrect responses, than longer-term dangers.
But others have argued that A.I. is improving so rapidly that it has already surpassed human-level performance in some areas, and it will soon surpass it in others. They say the technology has showed signs of advanced capabilities and understanding, giving rise to fears that “artificial general intelligence,” or A.G.I., a type of artificial intelligence that can match or exceed human-level performance at a wide variety of tasks, may not be far-off.
In a blog post last week, Mr. Altman and two other OpenAI executives proposed several ways that powerful A.I. systems could be responsibly managed. They called for cooperation among the leading A.I. makers, more technical research into large language models and the formation of an international A.I. safety organization, similar to the International Atomic Energy Agency, which seeks to control the use of nuclear weapons.
Mr. Altman has also expressed support for rules that would require makers of large, cutting-edge A.I. models to register for a government-issued license.
In March, more than 1,000 technologists and researchers signed another open letter calling for a six-month pause on the development of the largest A.I. models, citing concerns about “an out-of-control race to develop and deploy ever more powerful digital minds.”
That letter, which was organized by another A.I.-focused nonprofit, the Future of Life Institute, was signed by Elon Musk and other well-known tech leaders, but it did not have many signatures from the leading A.I. labs.
The brevity of the new statement from the Center for AI Safety — just 22 words in all — was meant to unite A.I. experts who might disagree about the nature of specific risks or steps to prevent those risks from occurring, but who shared general concerns about powerful A.I. systems, Mr. Hendrycks said.
“We didn’t want to push for a very large menu of 30 potential interventions,” Mr. Hendrycks said. “When that happens, it dilutes the message.”
The statement was initially shared with a few high-profile A.I. experts, including Mr. Hinton, who quit his job at Google this month so that he could speak more freely, he said, about the potential harms of artificial intelligence. From there, it made its way to several of the major A.I. labs, where some employees then signed on.
The urgency of A.I. leaders’ warnings has increased as millions of people have turned to A.I. chatbots for entertainment, companionship and increased productivity, and as the underlying technology improves at a rapid clip.
“I think if this technology goes wrong, it can go quite wrong,” Mr. Altman told the Senate subcommittee. “We want to work with the government to prevent that from happening.”