[NYT]‘The Godfather of AI’ Quits Google and Warns of Danger Ahead
하지만 월요일에 그는 공식적으로 그 회사들이 ChatGPT와 같은 인기 있는 챗봇에 동력을 공급하는 기술인 생성 인공 지능을 기반으로 한 제품을 만들려는 공격적인 캠페인으로 위험을 향해 질주하고 있다고 말하는 비평가들의 증가하는 합창에 합류했습니다.
힌튼 박사는 자신이 10년 이상 일했던 구글에서 일을 그만두고 이 분야에서 가장 존경받는 목소리 중 한 명이 되었기 때문에 A의 위험성에 대해 자유롭게 말할 수 있다고 말했습니다.I. 그의 일부는 이제 그의 인생의 일을 후회한다고 그는 말했습니다.
“저는 평범한 변명으로 스스로를 위로합니다: 만약 제가 그것을 하지 않았다면, 다른 누군가가 그것을 했을 것입니다,” 힌튼 박사는 지난 주 토론토에 있는 그의 집의 식당에서 열린 긴 인터뷰에서 그와 그의 학생들이 돌파구를 마련한 곳에서 조금 떨어진 곳에서 말했습니다.
A에서 온 힌튼 박사의 여행.I. 최후의 심판자에게 획기적인 사건은 아마도 수십 년 만에 가장 중요한 변곡점에 있는 기술 산업의 주목할 만한 순간을 의미합니다. 업계 리더들은 새로운 A를 믿고 있습니다.I. 시스템은 1990년대 초 웹 브라우저의 도입만큼 중요할 수 있으며 약물 연구에서 교육에 이르는 영역에서 획기적인 발전을 이끌 수 있습니다.
하지만 많은 업계 관계자들을 괴롭히는 것은 그들이 위험한 무언가를 야생에 방출하는 것에 대한 두려움입니다. 생성 A.I. 이미 잘못된 정보를 위한 도구가 될 수 있습니다. 곧, 그것은 일자리에 위험이 될 수 있습니다. 기술 분야의 가장 큰 우려는 인류에게 위험이 될 수 있다고 말합니다.
“나쁜 배우들이 나쁜 일에 그것을 사용하는 것을 어떻게 막을 수 있는지 알기 어렵습니다,” 라고 힌튼 박사가 말했습니다.
샌프란시스코 스타트업 OpenAI가 3월에 새로운 ChatGPT 버전을 출시한 후, 1,000명 이상의 기술 리더와 연구원들이 A 때문에 새로운 시스템 개발을 6개월간 중단할 것을 요구하는 공개 서한에 서명했습니다.I 기술은 “사회와 인류에 심각한 위험”을 초래합니다
며칠 후, 40년 역사의 학회인 인공지능 발전 협회의 19명의 전현직 지도자들이 인공지능의 위험성을 경고하는 그들의 편지를 발표했습니다. 이 그룹에는 Microsoft의 최고 과학 책임자인 Eric Horvitz가 포함되어 있으며, Microsoft는 Bing 검색 엔진을 포함한 광범위한 제품에 OpenAI의 기술을 적용했습니다.
종종 “A.I.의 대부”라고 불리는 힌튼 박사는 그 편지들 중 어느 것에도 서명하지 않았고 그가 직장을 그만둘 때까지 구글이나 다른 회사들을 공개적으로 비난하고 싶지 않다고 말했습니다. 그는 지난달 회사에 사임을 통보했고, 목요일에는 구글의 모회사 알파벳의 최고 경영자인 순다르 피차이와 전화 통화를 했습니다. 그는 피차이 씨와의 대화에 대한 자세한 내용을 공개적으로 논의하는 것을 거부했습니다.
구글의 수석 과학자인 제프 딘은 성명에서 “우리는 인공지능에 대한 책임 있는 접근법에 전념하고 있습니다. 우리는 새로운 위험을 이해하는 동시에 과감하게 혁신하는 방법을 끊임없이 배우고 있습니다.”
75세의 영국 국외 거주자인 힌튼 박사는 평생 동안 AI의 개발과 사용에 대한 개인적인 신념에 의해 경력이 추진된 학자입니다. 1972년 에든버러 대학의 대학원생으로서 힌튼 박사는 신경망이라고 불리는 아이디어를 받아들였습니다. 신경망은 데이터를 분석하여 기술을 배우는 수학적 시스템입니다. 그 당시, 소수의 연구자들만이 이 생각을 믿었습니다. 하지만 그것은 그의 일생의 작품이 되었습니다.
1980년대에, 힌튼 박사는 카네기 멜론 대학의 컴퓨터 과학 교수였지만, 국방부의 기금을 받는 것을 꺼린다고 해서 대학을 떠나 캐나다로 갔습니다. 그 당시에 대부분의 A.I. 미국에서의 연구는 국방부의 자금 지원을 받았습니다. 힌튼 박사는 그가 “로봇 군인”이라고 부르는 전장에서의 인공지능 사용에 대해 깊이 반대하고 있습니다
2012년, 힌튼 박사와 토론토에 있는 두 명의 학생인 일리야 소츠케버와 알렉스 크리셰프스키는 수천 장의 사진을 분석하고 꽃, 개, 그리고 자동차와 같은 일반적인 물체를 식별하도록 스스로를 가르칠 수 있는 신경망을 구축했습니다.
구글은 Dr.에 의해 시작된 회사를 인수하기 위해 4천 4백만 달러를 썼습니다. 힌튼과 그의 두 학생들. 그리고 그들의 시스템은 ChatGPT와 구글 바드와 같은 새로운 챗봇을 포함하여 점점 더 강력한 기술을 창조하도록 이끌었습니다. Sutskever 씨는 OpenAI의 수석 과학자가 되었습니다. 2018년, 힌튼 박사와 다른 두 명의 오랜 협력자들은 신경망에 대한 연구로 종종 “컴퓨팅의 노벨상”이라고 불리는 튜링상을 수상했습니다.
비슷한 시기에 구글, OpenAI 및 다른 회사들은 엄청난 양의 디지털 텍스트로부터 학습한 신경망을 구축하기 시작했습니다. 힌튼 박사는 이것이 기계가 언어를 이해하고 생성하는 강력한 방법이라고 생각했지만, 인간이 언어를 다루는 방식에는 미치지 못했습니다.
그러다가 작년에 구글과 OpenAI가 훨씬 더 많은 양의 데이터를 사용하여 시스템을 구축하면서 그의 관점이 바뀌었습니다. 그는 여전히 시스템이 어떤 면에서는 인간의 뇌보다 열등하다고 믿었지만 다른 면에서는 시스템이 인간의 지능을 무색하게 한다고 생각했습니다. “아마도 이 시스템에서 일어나는 일은 실제로 뇌에서 일어나는 일보다 훨씬 더 나을 것입니다.”라고 그가 말했습니다
기업들이 A를 개선함에 따라.I. 그는 시스템이 점점 더 위험해진다고 생각합니다. 그는 A에 대해 “5년 전과 지금이 어땠는지 보세요,”라고 말했습니다.I. 기술. “차이를 받아들여 앞으로 전파합니다. 무섭네요.”
그는 작년까지 구글이 해를 끼칠 수 있는 무언가를 공개하지 않도록 주의하면서 기술을 위한 “적절한 관리인” 역할을 했다고 말했습니다. 하지만 이제 마이크로소프트가 구글의 핵심 사업에 도전하는 챗봇으로 빙 검색 엔진을 강화함에 따라 구글은 같은 종류의 기술을 배치하기 위해 서두르고 있습니다. 기술 대기업들은 멈출 수 없는 경쟁에 갇혀 있다고 힌튼 박사는 말했습니다.
그의 즉각적인 우려는 인터넷이 거짓 사진, 비디오, 문자로 넘쳐날 것이고, 일반인들은 “더 이상 무엇이 진실인지 알 수 없을 것”이라는 것입니다
그는 또한 A가 걱정됩니다.I. 기술은 곧 고용 시장을 뒤집을 것입니다. 오늘날, ChatGPT와 같은 챗봇은 인간 근로자를 보완하는 경향이 있지만, 그들은 법률가, 개인 비서, 번역가 및 암기 작업을 처리하는 다른 사람들을 대체할 수 있습니다. “그것은 힘든 일을 없애줍니다.”라고 그가 말했습니다. “그것보다 더 많은 것을 빼앗을 수도 있습니다.”
앞으로, 그는 미래의 기술 버전이 인류에게 위협이 될 것이라고 걱정합니다. 왜냐하면 그들은 종종 그들이 분석하는 방대한 양의 데이터로부터 예상치 못한 행동을 배우기 때문입니다. 그는 개인과 기업이 A를 허용함에 따라 이것이 문제가 된다고 말했습니다.I. 시스템은 자신만의 컴퓨터 코드를 생성할 뿐만 아니라 실제로 그 코드를 스스로 실행합니다. 그리고 그는 진정으로 자율적인 무기들, 즉 살인 로봇들이 현실이 되는 날을 두려워합니다.
“이런 것들이 실제로 사람들보다 더 똑똑해질 수 있다는 생각 – 몇몇 사람들은 그렇게 믿었습니다.”라고 그가 말했습니다. “하지만 대부분의 사람들은 그것이 너무 멀다고 생각했습니다. 그리고 저는 그것이 너무 멀다고 생각했습니다. 저는 그것이 30년에서 50년 혹은 더 먼 것이라고 생각했습니다. 분명히, 저는 더 이상 그렇게 생각하지 않습니다.”
그의 많은 학생들과 동료들을 포함한 많은 다른 전문가들은 이 위협이 가상적이라고 말합니다. 하지만 닥터. 힌튼은 구글과 마이크로소프트 그리고 다른 회사들 사이의 경쟁이 일종의 세계적인 규제 없이는 멈추지 않을 세계적인 경쟁으로 확대될 것이라고 믿습니다.
하지만 그것은 불가능할 수도 있다고 그는 말했습니다. 핵무기와는 달리, 그는 기업들이나 국가들이 비밀리에 그 기술을 연구하고 있는지 알 방법이 없다고 말했습니다. 최고의 희망은 세계 최고의 과학자들이 기술을 통제하는 방법에 대해 협력하는 것입니다. “저는 그들이 그것을 통제할 수 있는지 여부를 이해할 때까지 이것을 더 확대해서는 안 된다고 생각합니다.”라고 그가 말했습니다.
힌튼 박사는 사람들이 그에게 잠재적으로 위험한 기술을 어떻게 연구할 수 있는지 묻곤 했을 때, 그는 원자폭탄을 만들기 위한 미국의 노력을 이끈 로버트 오펜하이머의 말을 바꾸어 “기술적으로 달콤한 것을 볼 때, 당신은 그것을 계속합니다.”라고 말했습니다
그는 더 이상 그런 말을 하지 않습니다.
Geoffrey Hinton was an artificial intelligence pioneer. In 2012, Dr. Hinton and two of his graduate students at the University of Toronto created technology that became the intellectual foundation for the A.I. systems that the tech industry’s biggest companies believe is a key to their future.
On Monday, however, he officially joined a growing chorus of critics who say those companies are racing toward danger with their aggressive campaign to create products based on generative artificial intelligence, the technology that powers popular chatbots like ChatGPT.
Dr. Hinton said he has quit his job at Google, where he has worked for more than decade and became one of the most respected voices in the field, so he can freely speak out about the risks of A.I. A part of him, he said, now regrets his life’s work.
“I console myself with the normal excuse: If I hadn’t done it, somebody else would have,” Dr. Hinton said during a lengthy interview last week in the dining room of his home in Toronto, a short walk from where he and his students made their breakthrough.
Dr. Hinton’s journey from A.I. groundbreaker to doomsayer marks a remarkable moment for the technology industry at perhaps its most important inflection point in decades. Industry leaders believe the new A.I. systems could be as important as the introduction of the web browser in the early 1990s and could lead to breakthroughs in areas ranging from drug research to education.
But gnawing at many industry insiders is a fear that they are releasing something dangerous into the wild. Generative A.I. can already be a tool for misinformation. Soon, it could be a risk to jobs. Somewhere down the line, tech’s biggest worriers say, it could be a risk to humanity.
“It is hard to see how you can prevent the bad actors from using it for bad things,” Dr. Hinton said.
After the San Francisco start-up OpenAI released a new version of ChatGPT in March, more than 1,000 technology leaders and researchers signed an open letter calling for a six-month moratorium on the development of new systems because A.I technologies pose “profound risks to society and humanity.”
Several days later, 19 current and former leaders of the Association for the Advancement of Artificial Intelligence, a 40-year-old academic society, released their own letter warning of the risks of A.I. That group included Eric Horvitz, chief scientific officer at Microsoft, which has deployed OpenAI’s technology across a wide range of products, including its Bing search engine.
Dr. Hinton, often called “the Godfather of A.I.,” did not sign either of those letters and said he did not want to publicly criticize Google or other companies until he had quit his job. He notified the company last month that he was resigning, and on Thursday, he talked by phone with Sundar Pichai, the chief executive of Google’s parent company, Alphabet. He declined to publicly discuss the details of his conversation with Mr. Pichai.
Google’s chief scientist, Jeff Dean, said in a statement: “We remain committed to a responsible approach to A.I. We’re continually learning to understand emerging risks while also innovating boldly.”
Dr. Hinton, a 75-year-old British expatriate, is a lifelong academic whose career was driven by his personal convictions about the development and use of A.I. In 1972, as a graduate student at the University of Edinburgh, Dr. Hinton embraced an idea called a neural network. A neural network is a mathematical system that learns skills by analyzing data. At the time, few researchers believed in the idea. But it became his life’s work.
In the 1980s, Dr. Hinton was a professor of computer science at Carnegie Mellon University, but left the university for Canada because he said he was reluctant to take Pentagon funding. At the time, most A.I. research in the United States was funded by the Defense Department. Dr. Hinton is deeply opposed to the use of artificial intelligence on the battlefield — what he calls “robot soldiers.”
In 2012, Dr. Hinton and two of his students in Toronto, Ilya Sutskever and Alex Krishevsky, built a neural network that could analyze thousands of photos and teach itself to identify common objects, such as flowers, dogs and cars.
Google spent $44 million to acquire a company started by Dr. Hinton and his two students. And their system led to the creation of increasingly powerful technologies, including new chatbots like ChatGPT and Google Bard. Mr. Sutskever went on to become chief scientist at OpenAI. In 2018, Dr. Hinton and two other longtime collaborators received the Turing Award, often called “the Nobel Prize of computing,” for their work on neural networks.
Around the same time, Google, OpenAI and other companies began building neural networks that learned from huge amounts of digital text. Dr. Hinton thought it was a powerful way for machines to understand and generate language, but it was inferior to the way humans handled language.
Then, last year, as Google and OpenAI built systems using much larger amounts of data, his view changed. He still believed the systems were inferior to the human brain in some ways but he thought they were eclipsing human intelligence in others. “Maybe what is going on in these systems,” he said, “is actually a lot better than what is going on in the brain.”
As companies improve their A.I. systems, he believes, they become increasingly dangerous. “Look at how it was five years ago and how it is now,” he said of A.I. technology. “Take the difference and propagate it forwards. That’s scary.”
Until last year, he said, Google acted as a “proper steward” for the technology, careful not to release something that might cause harm. But now that Microsoft has augmented its Bing search engine with a chatbot — challenging Google’s core business — Google is racing to deploy the same kind of technology. The tech giants are locked in a competition that might be impossible to stop, Dr. Hinton said.
His immediate concern is that the internet will be flooded with false photos, videos and text, and the average person will “not be able to know what is true anymore.”
He is also worried that A.I. technologies will in time upend the job market. Today, chatbots like ChatGPT tend to complement human workers, but they could replace paralegals, personal assistants, translators and others who handle rote tasks. “It takes away the drudge work,” he said. “It might take away more than that.”
Down the road, he is worried that future versions of the technology pose a threat to humanity because they often learn unexpected behavior from the vast amounts of data they analyze. This becomes an issue, he said, as individuals and companies allow A.I. systems not only to generate their own computer code but actually run that code on their own. And he fears a day when truly autonomous weapons — those killer robots — become reality.
“The idea that this stuff could actually get smarter than people — a few people believed that,” he said. “But most people thought it was way off. And I thought it was way off. I thought it was 30 to 50 years or even longer away. Obviously, I no longer think that.”
Many other experts, including many of his students and colleagues, say this threat is hypothetical. But Dr. Hinton believes that the race between Google and Microsoft and others will escalate into a global race that will not stop without some sort of global regulation.
But that may be impossible, he said. Unlike with nuclear weapons, he said, there is no way of knowing whether companies or countries are working on the technology in secret. The best hope is for the world’s leading scientists to collaborate on ways of controlling the technology. “I don’t think they should scale this up more until they have understood whether they can control it,” he said.
Dr. Hinton said that when people used to ask him how he could work on technology that was potentially dangerous, he would paraphrase Robert Oppenheimer, who led the U.S. effort to build the atomic bomb: “When you see something that is technically sweet, you go ahead and do it.”
He does not say that anymore.