[NYT]How Could AI Destroy Humanity?
“A로부터의 멸종 위험 완화.I.는 전염병과 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 세계적인 우선순위가 되어야 합니다.”라고 한 문장의 성명서는 말했습니다.
그 편지는 A에 대한 일련의 불길한 경고 중 가장 최근의 것이었습니다.I. 세부 사항들에 대해 특히 가벼운 것들입니다. 오늘은 A입니다.I. 시스템은 인류를 파괴할 수 없습니다. 그들 중 일부는 거의 덧셈과 뺄셈을 할 수 없습니다. 그렇다면 왜 A에 대해 가장 잘 아는 사람들이 많은 것일까요.나. 그렇게 걱정되?
무서운 시나리오.기술 산업의 카산드라스는 언젠가 기업, 정부 또는 독립 연구원들이 강력한 A를 배치할 수 있다고 말합니다.I. 사업에서 전쟁에 이르기까지 모든 것을 처리하는 시스템. 그 시스템들은 우리가 원하지 않는 것들을 할 수 있습니다. 만약 인간이 그것들을 방해하거나 폐쇄하려고 한다면, 그들은 저항하거나 심지어 그들이 계속 작동할 수 있도록 복제할 수 있습니다.
교수이자 A인 Yoshua Bengio는 “오늘날의 시스템은 실존적 위험을 제기하는 것에 가깝지 않습니다.”라고 말했습니다.I. 몬트리올 대학의 연구원. “하지만 1년, 2년, 5년 안에? 불확실성이 너무 많습니다. 그것이 문제입니다. 우리는 이것이 상황이 재앙이 되는 어느 시점을 지나가지 않을 것이라고 확신하지 못합니다.”
걱정하는 사람들은 종종 간단한 비유를 사용했습니다. 만약 여러분이 기계에 가능한 한 많은 종이 클립을 만들어 달라고 요청한다면, 그들은 그것이 사람들을 포함한 모든 것을 종이 클립 공장으로 변화시킬 수 있다고 말합니다.
그것이 실제 세계와 어떻게 연결됩니까? 아니면 미래에 그리 멀지 않은 상상의 세계와 연결됩니까? 회사들은 A를 줄 수 있습니다.I. 시스템의 자율성이 점점 더 높아지고 전력망, 주식 시장 및 군사 무기를 포함한 필수 인프라에 연결됩니다. 거기서부터, 그들은 문제를 일으킬 수 있습니다.
많은 전문가들에게 이것은 OpenAI와 같은 회사들이 그들의 기술에서 상당한 개선을 보여주었던 작년쯤까지는 그렇게 타당하지 않은 것처럼 보였습니다. 그것은 A가 가능하다면 무엇이 가능한지를 보여주었습니다.I. 그렇게 빠른 속도로 계속 전진하고 있습니다.
“A.I.는 꾸준히 위임될 것이고, 더 자율적이 되면서 현재의 인간과 인간이 운영하는 기관들로부터 의사 결정과 사고를 빼앗을 수 있습니다,”라고 두 개의 공개 편지 중 하나 뒤에 있는 조직인 미래 생명 연구소의 설립자인 Anthony Aguirre가 말했습니다.
“어느 시점에서, 사회와 경제를 운영하는 큰 기계가 실제로 인간의 통제하에 있지도 않고 끌 수도 없다는 것이 분명해질 것입니다, S&P 500이 폐쇄될 수 있는 것 이상입니다,”라고 그는 말했습니다.
그래서 그 이론은 다음과 같습니다. 기타 A.I. 전문가들은 이것이 터무니없는 전제라고 믿고 있습니다.
“가상적인 것은 제가 생각하는 실존적인 위험에 대한 이야기를 표현하는 매우 정중한 방법입니다,” 시애틀의 연구실인 앨런 AI 연구소의 설립 최고 책임자인 오렌 에치오니가 말했습니다.
A 표시가 있습니까.제가 할 수 있을까요?별로 그렇지 않아요. 하지만 연구원들은 ChatGPT와 같은 챗봇을 생성된 텍스트를 기반으로 작업을 수행할 수 있는 시스템으로 변환하고 있습니다. AutoGPT라는 프로젝트가 대표적인 예입니다.
이 아이디어는 시스템에 “회사를 만든다” 또는 “돈을 벌다”와 같은 목표를 부여하는 것입니다 그런 다음 특히 다른 인터넷 서비스에 연결되어 있는 경우에는 해당 목표에 도달할 수 있는 방법을 계속 모색할 것입니다.
AutoGPT와 같은 시스템은 컴퓨터 프로그램을 생성할 수 있습니다. 연구원들이 컴퓨터 서버에 대한 접근 권한을 부여한다면, 실제로 그 프로그램들을 실행할 수 있습니다. 이론적으로 AutoGPT는 온라인에서 정보 검색, 애플리케이션 사용, 새로운 애플리케이션 생성, 자체 개선 등 거의 모든 작업을 수행할 수 있습니다.
AutoGPT와 같은 시스템은 현재 잘 작동하지 않습니다. 그들은 끝없는 루프에 갇히는 경향이 있습니다. 연구원들은 한 시스템에 자체 복제에 필요한 모든 자원을 제공했습니다. 할 수 없었어요.
시간이 지나면, 그러한 제한들이 고쳐질 수 있을 것입니다.
“사람들은 적극적으로 자체적으로 개선되는 시스템을 구축하려고 노력하고 있습니다.”라고 A를 조정하고 싶다고 말하는 회사인 Specquure의 설립자인 코너 리히가 말했습니다.I. 인간의 가치를 지닌 기술. “현재, 이것은 작동하지 않습니다. 하지만 언젠가는 그럴 겁니다. 그리고 우리는 그 날이 언제인지 모릅니다.”
리히 씨는 연구원, 회사, 범죄자들이 이러한 시스템에 “돈을 벌다”와 같은 목표를 부여함에 따라 결국 은행 시스템에 침입하여 석유 선물을 보유한 국가에서 혁명을 부추기거나 누군가가 그것들을 끄려고 할 때 자신을 복제할 수 있다고 주장합니다.
A는 어디에 있습니까.I. 시스템이 잘못된 행동을 배우나요?ChatGPT과 같은 인공지능 시스템은 신경망, 즉 데이터를 분석하여 기술을 배울 수 있는 수학적 시스템을 기반으로 합니다.
2018년경, 구글과 OpenAI와 같은 회사들은 인터넷에서 수집된 방대한 양의 디지털 텍스트로부터 학습한 신경망을 구축하기 시작했습니다. 이 모든 데이터의 패턴을 정확히 파악함으로써, 이 시스템들은 뉴스 기사, 시, 컴퓨터 프로그램, 심지어 인간과 같은 대화를 포함하여 스스로 글을 생성하는 것을 배웁니다. 그 결과: 챗봇은 ChatGPT을 좋아합니다.
그들은 심지어 그들의 창조자들도 이해할 수 있는 것보다 더 많은 데이터로부터 배우기 때문에, 이러한 시스템들은 또한 예상치 못한 행동을 보입니다. 연구원들은 최근 한 시스템이 캡차 테스트를 물리치기 위해 온라인으로 사람을 고용할 수 있다는 것을 보여주었습니다. 인간이 “로봇”이냐고 묻자, 시스템은 거짓말을 하고 시각 장애가 있는 사람이라고 말했습니다.
일부 전문가들은 연구원들이 이러한 시스템을 더욱 강력하게 만들고, 훨씬 더 많은 양의 데이터에 대해 훈련함에 따라, 그들이 더 많은 나쁜 습관을 배울 수 있다고 우려합니다.
이 경고들의 배후에 있는 사람들은 누구입니까?2000년대 초, 엘리에저 유드코프스키라는 젊은 작가가 A에게 경고하기 시작했습니다.인류를 파괴할 수도 있습니다. 그의 온라인 게시물은 신자들의 커뮤니티를 형성했습니다. 합리주의자 또는 효과적인 이타주의자라고 불리는 이 공동체는 학계, 정부 싱크탱크 및 기술 산업에서 엄청난 영향력을 갖게 되었습니다.
유드코프스키 씨와 그의 글들은 OpenAI와 A인 딥마인드의 탄생에 중요한 역할을 했습니다.구글이 2014년 인수한 I. 연구소. 그리고 “EAs” 커뮤니티의 많은 사람들이 이 실험실 안에서 일했습니다. 그들은 인공지능의 위험성을 이해했기 때문에 인공지능을 만들기에 가장 좋은 위치에 있다고 믿었습니다.
최근 공개된 두 기관은 A의 위험성을 경고하는 공개 서한을 공개했습니다.I. — A의 센터.I. 안전과 생명의 미래 연구소는 이 운동과 밀접한 관련이 있습니다.
최근의 경고들은 또한 위험에 대해 오랫동안 경고해온 일론 머스크와 같은 연구 선구자들과 업계 지도자들로부터 왔습니다. 최근의 편지에는 OpenAI의 최고 경영자인 샘 알트먼과 딥마인드를 설립하고 현재 새로운 A를 감독하는 데 도움을 준 데미스 하사비스가 서명했습니다.딥마인드와 구글의 최고 연구원들을 결합한 I. 연구소.
벤지오 박사와 최근 구글의 경영진과 연구원직에서 물러난 제프리 힌튼을 포함하여, 존경 받는 다른 인물들은 경고문 중 하나 또는 둘 다에 서명했습니다. 2018년, 그들은 신경망에 대한 연구로 종종 “컴퓨팅의 노벨상”이라고 불리는 튜링 상을 받았습니다.
Last month, hundreds of well-known people in the world of artificial intelligence signed an open letter warning that A.I. could one day destroy humanity.
“Mitigating the risk of extinction from A.I. should be a global priority alongside other societal-scale risks, such as pandemics and nuclear war,” the one-sentence statement said.
The letter was the latest in a series of ominous warnings about A.I. that have been notably light on details. Today’s A.I. systems cannot destroy humanity. Some of them can barely add and subtract. So why are the people who know the most about A.I. so worried?
The scary scenario.
One day, the tech industry’s Cassandras say, companies, governments or independent researchers could deploy powerful A.I. systems to handle everything from business to warfare. Those systems could do things that we do not want them to do. And if humans tried to interfere or shut them down, they could resist or even replicate themselves so they could keep operating.
“Today’s systems are not anywhere close to posing an existential risk,” said Yoshua Bengio, a professor and A.I. researcher at the University of Montreal. “But in one, two, five years? There is too much uncertainty. That is the issue. We are not sure this won’t pass some point where things get catastrophic.”
The worriers have often used a simple metaphor. If you ask a machine to create as many paper clips as possible, they say, it could get carried away and transform everything — including humanity — into paper clip factories.
How does that tie into the real world — or an imagined world not too many years in the future? Companies could give A.I. systems more and more autonomy and connect them to vital infrastructure, including power grids, stock markets and military weapons. From there, they could cause problems.
For many experts, this did not seem all that plausible until the last year or so, when companies like OpenAI demonstrated significant improvements in their technology. That showed what could be possible if A.I. continues to advance at such a rapid pace.
“A.I. will steadily be delegated, and could — as it becomes more autonomous — usurp decision making and thinking from current humans and human-run institutions,” said Anthony Aguirre, a cosmologist at the University of California, Santa Cruz and a founder of the Future of Life Institute, the organization behind one of two open letters.
“At some point, it would become clear that the big machine that is running society and the economy is not really under human control, nor can it be turned off, any more than the S&P 500 could be shut down,” he said.
Or so the theory goes. Other A.I. experts believe it is a ridiculous premise.
“Hypothetical is such a polite way of phrasing what I think of the existential risk talk,” said Oren Etzioni, the founding chief executive of the Allen Institute for AI, a research lab in Seattle.
Are there signs A.I. could do this?
Not quite. But researchers are transforming chatbots like ChatGPT into systems that can take actions based on the text they generate. A project called AutoGPT is the prime example.
The idea is to give the system goals like “create a company” or “make some money.” Then it will keep looking for ways of reaching that goal, particularly if it is connected to other internet services.
A system like AutoGPT can generate computer programs. If researchers give it access to a computer server, it could actually run those programs. In theory, this is a way for AutoGPT to do almost anything online — retrieve information, use applications, create new applications, even improve itself.
Systems like AutoGPT do not work well right now. They tend to get stuck in endless loops. Researchers gave one system all the resources it needed to replicate itself. It couldn’t do it.
In time, those limitations could be fixed.
“People are actively trying to build systems that self-improve,” said Connor Leahy, the founder of Conjecture, a company that says it wants to align A.I. technologies with human values. “Currently, this doesn’t work. But someday, it will. And we don’t know when that day is.”
Mr. Leahy argues that as researchers, companies and criminals give these systems goals like “make some money,” they could end up breaking into banking systems, fomenting revolution in a country where they hold oil futures or replicating themselves when someone tries to turn them off.
Where do A.I. systems learn to misbehave?
A.I. systems like ChatGPT are built on neural networks, mathematical systems that can learn skills by analyzing data.
Around 2018, companies like Google and OpenAI began building neural networks that learned from massive amounts of digital text culled from the internet. By pinpointing patterns in all this data, these systems learn to generate writing on their own, including news articles, poems, computer programs, even humanlike conversation. The result: chatbots like ChatGPT.
Because they learn from more data than even their creators can understand, these systems also exhibit unexpected behavior. Researchers recently showed that one system was able to hire a human online to defeat a Captcha test. When the human asked if it was “a robot,” the system lied and said it was a person with a visual impairment.
Some experts worry that as researchers make these systems more powerful, training them on ever larger amounts of data, they could learn more bad habits.
Who are the people behind these warnings?
In the early 2000s, a young writer named Eliezer Yudkowsky began warning that A.I. could destroy humanity. His online posts spawned a community of believers. Called rationalists or effective altruists, this community became enormously influential in academia, government think tanks and the tech industry.
Mr. Yudkowsky and his writings played key roles in the creation of both OpenAI and DeepMind, an A.I. lab that Google acquired in 2014. And many from the community of “EAs” worked inside these labs. They believed that because they understood the dangers of A.I., they were in the best position to build it.
The two organizations that recently released open letters warning of the risks of A.I. — the Center for A.I. Safety and the Future of Life Institute — are closely tied to this movement.
The recent warnings have also come from research pioneers and industry leaders like Elon Musk, who has long warned about the risks. The latest letter was signed by Sam Altman, the chief executive of OpenAI; and Demis Hassabis, who helped found DeepMind and now oversees a new A.I. lab that combines the top researchers from DeepMind and Google.
Other well-respected figures signed one or both of the warning letters, including Dr. Bengio and Geoffrey Hinton, who recently stepped down as an executive and researcher at Google. In 2018, they received the Turing Award, often called “the Nobel Prize of computing,” for their work on neural networks.