[NYT]How the Shoggoth Meme Has Come to Symbolize the State of A.I.
“오, 저것은 쇼고트입니다.”라고 그가 설명했습니다. “그것은 A에서 가장 중요한 밈입니다.저는.”
그리고 그것으로, 우리의 계획은 공식적으로 무산되었습니다. 챗봇과 컴퓨팅 클러스터는 잊어버려요. 저는 쇼고트에 대한 모든 것, 그것이 무엇을 의미하는지, 그리고 왜 A에 있는 사람들에 대해 알아야 했습니다.I. 세상은 그것에 대해 이야기하고 있었습니다.
임원은 쇼고트가 인공지능 종사자들 사이에서 어떻게 큰 언어 모델(A의 유형)을 시각적으로 생생하게 은유하는지에 대한 대중적인 참조가 되었다고 설명했습니다.I. ChatGPT와 다른 챗봇)에 전원을 공급하는 시스템은 실제로 작동합니다.
하지만 그것은 단지 부분적인 농담일 뿐이라고 그는 말했습니다. 왜냐하면 그것은 또한 많은 연구원들과 엔지니어들이 그들이 만들고 있는 도구에 대해 가지고 있는 불안감을 암시했기 때문입니다.
그 이후로, 쇼고트는 입소문이 났고, 또는 초온라인 A의 작은 세계에서 가능한 한 입소문이 났습니다.I. 내부자들. 인공지능에서 인기 있는 밈입니다. A에 대한 에세이와 게시판 게시물에서 반복되는 은유인 트위터(현재 삭제된 일론 머스크의 트윗 포함).I. 위험, 그리고 A와의 대화에서 약간의 유용한 속기.I. 안전 전문가들. 인공지능 스타트업인 노벨 AI는 최근 이 밈에 경의를 표하기 위해 컴퓨터 클러스터를 “쇼기”라고 이름 지었다고 말했습니다. 또 다른 A.I. 회사인 Scale AI는 쇼고트를 특징으로 하는 토트백 라인을 디자인했습니다.
쇼고트는 공상 과학 소설 작가 H.P. 러브크래프트가 1936년 소설 “광기의 산에서”에서 소개한 허구의 생물입니다 러브크래프트의 말에 따르면, 쇼고트는 무지개 빛깔의 검은 기름으로 만들어진 거대하고 방울처럼 생긴 괴물로 촉수와 눈으로 덮여 있었습니다.
쇼고트는 A에 상륙했습니다.I. ChatGPT가 출시된 지 한 달 후인 12월, 트위터 사용자 @TetraspaceWest가 GPT-3(ChatGPT의 전신인 OpenAI 언어 모델)에 대한 트윗에 두 개의 손으로 그린 Shogoth(첫 번째 레이블 “GPT-3” 및 두 번째 레이블 “GPT-3 + RLHF”) 이미지로 응답했습니다 두 번째 쇼고트는 촉수 중 하나에 앉아 웃는 얼굴 마스크를 가지고 있었습니다.
간단히 말해서, 그 농담은 A를 막기 위해서였습니다.I. 언어 모델들은 무섭고 위험한 방식으로 행동하는 것을 피한다, A.I. 회사들은 그들이 예의 바르고 무해하게 행동하도록 훈련시켜야 했습니다. 이것을 하는 한 가지 인기 있는 방법은 “인간 피드백으로부터의 학습 강화” 또는 R.L.H.F라고 불리는 것인데, 이는 인간에게 챗봇 응답을 점수화하도록 요청하고 그 점수를 A로 피드백하는 과정을 포함합니다.I. 모델.
대부분의 인공지능 연구자들은 R.L.H.F.를 사용하여 훈련된 모델이 R.L.H.F.를 사용하지 않은 모델보다 더 잘 행동한다는 것에 동의합니다. 하지만 어떤 사람들은 언어 모델을 이런 식으로 미세 조정한다고 해서 기본 모델이 덜 이상하고 이해할 수 없게 되는 것은 아니라고 주장합니다. 그들이 보기에, 그것은 단지 신비한 짐승의 아래를 가리는 가냘프고 친근한 가면일 뿐입니다.
@이 밈의 제작자인 테트라스페이스 웨스트는 트위터 메시지에서 쇼고스가 “인간이 이해하지 못하는 방식으로 생각하는 것을 나타내며 그것은 인간이 생각하는 방식과 완전히 다르다”고 말했습니다
A를 비교하는 것.I. 쇼고트에 대한 언어 모델 @TetraspaceWest는 그것이 악하거나 지각이 있다는 것을 반드시 암시하는 것은 아니며, 단지 그것의 본질을 알 수 없을 수도 있다고 말했습니다.
“저는 또한 러브크래프트의 가장 강력한 실체가 어떻게 위험한지에 대해 생각했습니다. 그들이 인간을 싫어하기 때문이 아니라, 그들이 무관심하고 그들의 우선순위가 우리에게 완전히 이질적이고 인간을 포함하지 않기 때문입니다. 이것이 제가 생각하는 미래의 강력한 A에 대해 사실일 것입니다.저는.”
쇼고트 이미지가 A로 인기를 끌었습니다.I. 챗봇은 인기를 끌었고 사용자들은 챗봇 중 일부가 제작자가 의도하지 않은 이상하고 설명할 수 없는 일을 하는 것처럼 보인다는 것을 알아차리기 시작했습니다. 지난 2월 빙의 챗봇이 정신을 잃고 내 결혼생활을 파탄내려고 했을 때, A.I. 제가 아는 연구원이 “쇼고트를 스치는 것”을 축하해 주었습니다 동료 A.I. 기자는 마이크로소프트가 빙을 미세 조정할 때 웃는 얼굴 마스크를 쓰는 것을 잊었다고 농담했습니다.
결국, 인공지능 애호가들은 은유를 확장했습니다. 2월에 트위터 사용자 @anthrupad는 “R.L.H.F.”라는 라벨이 붙은 웃는 얼굴 외에도 “감독 미세 조정”이라는 라벨이 붙은 좀 더 인간적인 얼굴을 가진 Shoggoth 버전을 만들었습니다. (농담을 이해하기 위해서는 컴퓨터 과학 학위가 필요하지만, 그것은 일반 A의 차이에 대한 리프입니다.I. 언어 모델 및 챗봇과 같은 보다 전문적인 애플리케이션.)
오늘, 당신이 A에서 쇼고에 대한 언급을 듣는다면.I. 공동체, 그것은 이 시스템들의 이상함에 대한 눈짓일지도 모릅니다. 프로세스의 블랙박스 특성, 인간의 논리를 거스르는 것처럼 보이는 방식입니다. 아니면 강력한 A의 농담이고 시각적인 속기일 수도 있습니다.I. 의심스러울 정도로 좋아 보이는 시스템. A면.I. 쇼고트에 대해 이야기하는 안전 연구원, 아마도 그 사람은 A를 예방하는 것에 열정적일 것입니다.I. 시스템은 쇼고트와 같은 본성을 보여줍니다.
어쨌든, 쇼고트는 A에 대한 가장 기괴한 사실 중 하나를 요약하는 강력한 은유입니다.I. 세계는, 이 기술을 연구하는 많은 사람들이 자신들의 창조물에 다소 미혹되어 있다는 것입니다. 그들은 A의 내부 작동을 완전히 이해하지 못합니다.I. 언어 모델, 새로운 기능을 습득하는 방법 또는 때때로 예측할 수 없는 행동을 하는 이유. 그들은 A가 맞는지 완전히 확신하지 못합니다.I.는 순선이 되거나 순악이 될 것입니다. 그리고 그들 중 몇몇은 아직 공공 소비를 위해 소독되지 않은 이 기술의 버전을 가지고 놀게 되었습니다. 진짜, 가면을 쓰지 않은 쇼고트입니다.
그것은 A입니다.I. 내부자들은 그들의 창작물을 러브크래프트적 공포라고 부르는데, 심지어 농담으로도 역사적 기준으로는 이례적입니다. (이렇게 표현하면 15년 전, 마크 주커버그는 페이스북을 Cthulhu와 비교하지 않았습니다.)
그리고 그것은 A에서 무슨 일이 일어나고 있는지에 대한 개념을 강화합니다.I. 오늘날 일부 참가자들은 소프트웨어 개발 프로세스라기보다는 소환하는 행위에 가깝다고 생각합니다. 그들은 얼룩덜룩한 외계인 쇼고트를 창조하고, 그들을 더 크고 더 강력하게 만들고, 그 무서운 부분을 덮을 만큼 충분히 웃는 얼굴들이 있기를 바라고 있습니다.
A few months ago, while meeting with an A.I. executive in San Francisco, I spotted a strange sticker on his laptop. The sticker depicted a cartoon of a menacing, octopus-like creature with many eyes and a yellow smiley-face attached to one of its tentacles. I asked what it was.
“Oh, that’s the Shoggoth,” he explained. “It’s the most important meme in A.I.”
And with that, our agenda was officially derailed. Forget about chatbots and compute clusters — I needed to know everything about the Shoggoth, what it meant and why people in the A.I. world were talking about it.
The executive explained that the Shoggoth had become a popular reference among workers in artificial intelligence, as a vivid visual metaphor for how a large language model (the type of A.I. system that powers ChatGPT and other chatbots) actually works.
But it was only partly a joke, he said, because it also hinted at the anxieties many researchers and engineers have about the tools they’re building.
Since then, the Shoggoth has gone viral, or as viral as it’s possible to go in the small world of hyper-online A.I. insiders. It’s a popular meme on A.I. Twitter (including a now-deleted tweet by Elon Musk), a recurring metaphor in essays and message board posts about A.I. risk, and a bit of useful shorthand in conversations with A.I. safety experts. One A.I. start-up, NovelAI, said it recently named a cluster of computers “Shoggy” in homage to the meme. Another A.I. company, Scale AI, designed a line of tote bags featuring the Shoggoth.
Shoggoths are fictional creatures, introduced by the science fiction author H.P. Lovecraft in his 1936 novella “At the Mountains of Madness.” In Lovecraft’s telling, Shoggoths were massive, blob-like monsters made out of iridescent black goo, covered in tentacles and eyes.
Shoggoths landed in the A.I. world in December, a month after ChatGPT’s release, when Twitter user @TetraspaceWest replied to a tweet about GPT-3 (an OpenAI language model that was ChatGPT’s predecessor) with an image of two hand-drawn Shoggoths — the first labeled “GPT-3” and the second labeled “GPT-3 + RLHF.” The second Shoggoth had, perched on one of its tentacles, a smiley-face mask.
In a nutshell, the joke was that in order to prevent A.I. language models from behaving in scary and dangerous ways, A.I. companies have had to train them to act polite and harmless. One popular way to do this is called “reinforcement learning from human feedback,” or R.L.H.F., a process that involves asking humans to score chatbot responses, and feeding those scores back into the A.I. model.
Most A.I. researchers agree that models trained using R.L.H.F. are better behaved than models without it. But some argue that fine-tuning a language model this way doesn’t actually make the underlying model less weird and inscrutable. In their view, it’s just a flimsy, friendly mask that obscures the mysterious beast underneath.
@TetraspaceWest, the meme’s creator, told me in a Twitter message that the Shoggoth “represents something that thinks in a way that humans don’t understand and that’s totally different from the way that humans think.”
Comparing an A.I. language model to a Shoggoth, @TetraspaceWest said, wasn’t necessarily implying that it was evil or sentient, just that its true nature might be unknowable.
“I was also thinking about how Lovecraft’s most powerful entities are dangerous — not because they don’t like humans, but because they’re indifferent and their priorities are totally alien to us and don’t involve humans, which is what I think will be true about possible future powerful A.I.”
The Shoggoth image caught on, as A.I. chatbots grew popular and users began to notice that some of them seemed to be doing strange, inexplicable things their creators hadn’t intended. In February, when Bing’s chatbot became unhinged and tried to break up my marriage, an A.I. researcher I know congratulated me on “glimpsing the Shoggoth.” A fellow A.I. journalist joked that when it came to fine-tuning Bing, Microsoft had forgotten to put on its smiley-face mask.
Eventually, A.I. enthusiasts extended the metaphor. In February, Twitter user @anthrupad created a version of a Shoggoth that had, in addition to a smiley-face labeled “R.L.H.F.,” a more humanlike face labeled “supervised fine-tuning.” (You practically need a computer science degree to get the joke, but it’s a riff on the difference between general A.I. language models and more specialized applications like chatbots.)
Today, if you hear mentions of the Shoggoth in the A.I. community, it may be a wink at the strangeness of these systems — the black-box nature of their processes, the way they seem to defy human logic. Or maybe it’s an in-joke, visual shorthand for powerful A.I. systems that seem suspiciously nice. If it’s an A.I. safety researcher talking about the Shoggoth, maybe that person is passionate about preventing A.I. systems from displaying their true, Shoggoth-like nature.
In any case, the Shoggoth is a potent metaphor that encapsulates one of the most bizarre facts about the A.I. world, which is that many of the people working on this technology are somewhat mystified by their own creations. They don’t fully understand the inner workings of A.I. language models, how they acquire new capabilities or why they behave unpredictably at times. They aren’t totally sure if A.I. is going to be net-good or net-bad for the world. And some of them have gotten to play around with the versions of this technology that haven’t yet been sanitized for public consumption — the real, unmasked Shoggoths.
That some A.I. insiders refer to their creations as Lovecraftian horrors, even as a joke, is unusual by historical standards. (Put it this way: Fifteen years ago, Mark Zuckerberg wasn’t going around comparing Facebook to Cthulhu.)
And it reinforces the notion that what’s happening in A.I. today feels, to some of its participants, more like an act of summoning than a software development process. They are creating the blobby, alien Shoggoths, making them bigger and more powerful, and hoping that there are enough smiley faces to cover the scary parts.