[NYT]China Says Chatbots Must Toe the Party Line
중국 사이버스페이스청은 이번 달 소위 생성 인공지능에 대한 규칙 초안을 발표했습니다. ChatGPT 뒤에 있는 것과 같은 소프트웨어 시스템은 사용자의 질문과 프롬프트에 반응하여 텍스트와 그림을 만들 수 있습니다.
규정에 따르면, 웹사이트와 앱이 중국의 지도자들을 모욕하거나 금지된 역사를 재탕하는 자료를 게시하는 것을 피해야 하는 것처럼, 기업들은 중국 공산당의 엄격한 검열 규칙을 따라야 합니다. A의 내용.I. 시스템은 “사회주의적 핵심 가치”를 반영하고 “국가 권력” 또는 국가 통합을 저해하는 정보를 피해야 합니다.
기업들은 또한 챗봇이 진실하고 지적 재산권을 존중하는 단어와 그림을 만들도록 해야 하며, 챗봇 뒤의 소프트웨어 두뇌인 알고리즘을 규제 기관에 등록해야 합니다.
이 규칙은 최종적인 것이 아니며, 규제 당국은 이를 계속 수정할 수도 있지만, 전문가들은 중국에서 인공지능 서비스를 구축하는 엔지니어들이 이미 그들의 제품에 이 명령을 통합하는 방법을 찾고 있다고 말했습니다.
전 세계적으로, 정부는 인공지능이 만든 경고에서 양성까지 다양한 결과를 가진 챗봇의 힘에 경악해 왔습니다. 인공지능은 대학 시험에서 우수한 성적을 내고, 부풀어 오른 코트를 입은 프란치스코 교황의 가짜 사진을 만드는 데 사용되어 왔습니다.
마이크로소프트로부터 130억 달러를 지원 받은 미국 회사 OpenAI가 개발한 ChatGPT는 실리콘 밸리가 비디오 게임과 광고와 같은 새로운 분야에 기본 기술을 적용하도록 자극했습니다. 벤처 캐피털 회사인 세쿼이아 캐피털은 A를 추정합니다.I. 기업은 결국 “조 달러”의 경제적 가치를 창출할 수 있습니다.
중국에서는 투자자들과 기업가들이 따라잡기 위해 경쟁하고 있습니다. 중국 인공지능 기업들의 주가가 급등했습니다. 가장 최근의 전자 상거래 거대 기업인 알리바바, 얼굴 인식 소프트웨어를 만드는 센스타임, 검색 엔진 바이두를 포함한 중국의 가장 큰 기술 회사들 중 일부에서 깜짝 놀랄만한 발표가 있었습니다. OpenAI의 기술에 대한 중국의 대안을 개발하는 적어도 두 개의 스타트업이 수백만 달러를 모았습니다.
중국에서는 ChatGPT를 사용할 수 없습니다. 하지만 점점 더 많은 자국산 대안에 직면한 중국은 챗봇을 규제하는 방법을 여전히 고려 중인 다른 나라들보다 앞서 인공지능에 대한 레드라인을 빠르게 공개했습니다.
베이징에 기반을 둔 컨설팅 회사인 Trivium China의 기술 정책 책임자인 Kendra Schaefer는 이 규칙이 규제에 대한 중국의 “빨리 움직이고 깨지는” 접근 방식을 보여준다고 말했습니다.
그녀는 “양쪽이 다툴 수 있는 양당 체제가 없기 때문에, 그들은 ‘좋아요, 우리는 우리가 이것을 해야 한다는 것을 알고 있고, 우리는 나중에 그것을 수정할 것입니다’라고 말할 수 있습니다,”라고 덧붙였습니다.
챗봇은 인터넷의 큰 영역에 대해 교육을 받고, 개발자들은 그들이 가끔 뱉는 것의 부정확성과 놀라움에 대해 고심하고 있습니다. 표면적으로, 중국의 규칙은 중국 기술 회사들이 달성하지 못한 챗봇에 대한 기술적 통제 수준을 요구합니다. 마이크로소프트와 같은 회사들도 여전히 유해한 반응을 제거하기 위해 챗봇을 미세 조정하고 있습니다. 중국은 훨씬 더 높은 기준을 가지고 있기 때문에 일부 챗봇은 이미 종료되었고 다른 챗봇은 제한된 수의 사용자만 사용할 수 있습니다.
전문가들은 A를 훈련시키는 것이 얼마나 어려울지에 대해 의견이 분분합니다.I. 일관되게 사실에 입각한 시스템. 어떤 사람들은 기업들이 종종 광범위하게 퍼져 있고, 끊임없이 변화하고 심지어 천안문 광장 대학살의 날인 1989년 6월 4일과 같은 특정 단어와 날짜에 대한 검열을 요구하는 중국 검열 규칙의 대부분을 설명할 수 있는지 의심합니다. 다른 사람들은 시간이 지남에 따라 충분한 작업을 통해 기계가 진실과 특정 가치 시스템, 심지어 정치적 시스템과 일치할 수 있다고 믿습니다.
분석가들은 중국의 기술 회사들과 협의한 후에 이 규칙들이 변경될 것으로 예상합니다. 규제 기관은 규제를 완화하여 규정이 기술 개발을 완전히 저해하지 않도록 할 수 있습니다.
중국은 인터넷을 검열하는 오랜 역사를 가지고 있습니다. 2000년대 내내, 그 나라는 웹을 통해 세계에서 가장 강력한 정보망을 구축했습니다. 그것은 구글과 페이스북과 같은 준수하지 않는 서구 기업들을 겁먹게 했습니다. 인터넷 활동을 감시하기 위해 수백만 명의 직원을 고용했습니다.
그러는 동안, 규칙을 준수해야 했던 중국의 기술 회사들은 정치적 통제가 성장과 혁신을 저해할 것이라고 예측한 서구 비평가들을 무시하고 번창했습니다. 얼굴 인식 및 휴대 전화와 같은 기술이 발전함에 따라 기업들은 국가가 이를 활용하여 감시 상태를 조성하도록 지원했습니다.
현재 A.I. 파동은 공산당에 새로운 위험을 제시한다고 중국 A의 전문가인 Matt Sheehan은 말했습니다.I. 그리고 카네기 국제 평화 재단의 동료.
말도 안 되거나 거짓인 진술을 하는 챗봇의 예측 불가능성, 즉 A입니다.I. 연구원들이 환각이라고 부르는 것은 온라인에서 말하는 것을 관리하려는 당의 집착과 배치된다고 쉬한 씨는 말했습니다.
“세대 인공지능은 당의 최고 목표 중 두 가지인 정보 통제와 인공지능의 리더십에 긴장감을 불어넣었습니다.”라고 그가 덧붙였습니다.
전문가들은 중국의 새로운 규제가 정치에 관한 것만은 아니라고 말했습니다. 예를 들어, 그들은 A가 속한 데이터의 개인과 작성자를 위한 개인 정보와 지적 재산권을 보호하는 것을 목표로 합니다.I. 모델들은 전 세계적인 관심사인 훈련을 받았습니다.
지난 2월, 이미지 데이터베이스 회사인 게티 이미지스는 인공지능 스타트업 스테이블 디퓨전을 1,200만 장의 워터마크 사진에 대한 이미지 생성 시스템을 교육한 혐의로 고소했는데, 게티는 이로 인해 이미지의 가치가 희석되었다고 주장했습니다.
중국은 A에 대한 법적 문제를 해결하기 위해 더 광범위한 노력을 기울이고 있습니다.I. 기업의 기본 데이터 및 콘텐츠 사용. 지난 3월, 주요 제도 개편의 일환으로 베이징은 국가 데이터국을 설립하여 데이터를 소유, 구입 및 판매하는 것이 무엇을 의미하는지를 더 잘 정의하기 위한 노력을 기울였습니다. 주정부 기관은 또한 그러한 모델을 교육하는 데 필요한 데이터 세트를 구축하는 회사를 지원할 것입니다.
“그들은 이제 재산 데이터의 종류와 누가 그것을 사용하고 통제할 권리가 있는지를 결정하고 있습니다,”라고 중국의 A에 광범위하게 글을 쓴 셰퍼 씨가 말했습니다.I. 규정 및 이니셔티브를 “변혁적”이라고 불렀습니다
그럼에도 불구하고, 중국의 새로운 가드레일은 타이밍이 좋지 않을 수 있습니다. 그 나라는 인공지능을 포함한 기술 경쟁력을 약화시킬 위협이 있는 반도체에 대한 치열한 경쟁과 제재에 직면해 있습니다.
중국인 A에 대한 희망.I. 2월 초에 Xu Liang이 A일 때 높이 뛰었습니다.I. 엔지니어 및 기업가는 모바일 앱으로 ChatGPT에 대한 중국의 초기 답변 중 하나를 발표했습니다. Xu씨는 Chat Yuan이라는 앱이 첫 시간 동안 10,000건 이상의 다운로드를 얻었다고 말했습니다.
당 노선과 채트위안의 반응 사이에 현저한 차이가 있다는 언론 보도가 곧 표면화되었습니다. 응답자들은 중국 경제에 대한 암울한 진단을 제시하고 우크라이나에서의 러시아 전쟁을 “침략 전쟁”으로 묘사했으며, 이는 당의 친러시아 입장과 상충됩니다. 며칠 후, 당국은 앱을 종료했습니다.
쉬 씨는 더 “애국적인” 로봇을 만들기 위한 조치를 추가하고 있다고 말했습니다. 여기에는 중요한 키워드를 걸러내고 문제가 있는 답변에 플래그를 표시하는 데 도움을 줄 수 있는 수동 검토자를 더 고용하는 것이 포함됩니다. 그는 심지어 필터링할 “잘못된 관점”을 감지할 수 있는 별도의 모델을 훈련하고 있습니다.
하지만, 언제 쉬 씨의 로봇이 당국을 만족시킬지는 확실하지 않습니다. 스크린샷에 따르면, 그 앱은 처음에 2월 13일에 재개되도록 설정되었지만, 금요일 현재 여전히 다운 상태입니다.
“문제 해결이 완료되면 서비스가 다시 시작됩니다.”라고 표시됩니다.
Five months after ChatGPT set off an investment frenzy over artificial intelligence, Beijing is moving to rein in China’s chatbots, a show of the government’s resolve to keep tight regulatory control over technology that could define an era.
The Cyberspace Administration of China unveiled draft rules this month for so-called generative artificial intelligence — the software systems, like the one behind ChatGPT, that can formulate text and pictures in response to a user’s questions and prompts.
According to the regulations, companies must heed the Chinese Communist Party’s strict censorship rules, just as websites and apps have to avoid publishing material that besmirches China’s leaders or rehashes forbidden history. The content of A.I. systems will need to reflect “socialist core values” and avoid information that undermines “state power” or national unity.
Companies will also have to make sure their chatbots create words and pictures that are truthful and respect intellectual property, and will be required to register their algorithms, the software brains behind chatbots, with regulators.
The rules are not final, and regulators may continue to modify them, but experts said engineers building artificial intelligence services in China were already figuring out how to incorporate the edicts into their products.
Around the world, governments have been wowed by the power of chatbots with the A.I.-generated results ranging from alarming to benign. Artificial intelligence has been used to ace college exams and create a fake photo of Pope Francis in a puffy coat.
ChatGPT, developed by the U.S. company OpenAI, which is backed by some $13 billion from Microsoft, has spurred Silicon Valley to apply the underlying technology to new areas like video games and advertising. The venture capital firm Sequoia Capital estimates that A.I. businesses could eventually produce “trillions of dollars” in economic value.
In China, investors and entrepreneurs are racing to catch up. Shares of Chinese artificial intelligence firms have soared. Splashy announcements have been made by some of China’s biggest tech companies, including most recently the e-commerce giant Alibaba; SenseTime, which makes facial recognition software; and the search engine Baidu. At least two start-ups developing Chinese alternatives to OpenAI’s technology have raised millions of dollars.
ChatGPT is unavailable in China. But faced with a growing number of homegrown alternatives, China has swiftly unveiled its red lines for artificial intelligence, ahead of other countries that are still considering how to regulate chatbots.
The rules showcase China’s “move fast and break things” approach to regulation, said Kendra Schaefer, head of tech policy at Trivium China, a Beijing-based consulting firm.
“Because you don’t have a two-party system where both sides argue, they can just say, ‘OK, we know we need to do this, and we’ll revise it later,’” she added.
Chatbots are trained on large swaths of the internet, and developers are grappling with the inaccuracies and surprises of what they sometimes spit out. On their face, China’s rules require a level of technical control over chatbots that Chinese tech companies have not achieved. Even companies like Microsoft are still fine-tuning their chatbots to weed out harmful responses. China has a much higher bar, which is why some chatbots have already been shut down and others are available only to a limited number of users.
Experts are divided on how difficult it will be to train A.I. systems to be consistently factual. Some doubt that companies can account for the gamut of Chinese censorship rules, which are often sweeping, are ever-changing and even require censorship of specific words and dates like June 4, 1989, the day of the Tiananmen Square massacre. Others believe that over time, and with enough work, the machines can be aligned with truth and specific values systems, even political ones.
Analysts expect the rules to undergo changes after consultation with China’s tech companies. Regulators could soften their enforcement so the rules don’t wholly undermine development of the technology.
China has a long history of censoring the internet. Throughout the 2000s, the country has constructed the world’s most powerful information dragnet over the web. It scared away noncompliant Western companies like Google and Facebook. It hired millions of workers to monitor internet activity.
All the while, China’s tech companies, which had to comply with the rules, flourished, defying Western critics who predicted that political control would undercut growth and innovation. As technologies such as facial recognition and mobile phones arose, companies helped the state harness them to create a surveillance state.
The current A.I. wave presents new risks for the Communist Party, said Matt Sheehan, an expert on Chinese A.I. and a fellow at the Carnegie Endowment for International Peace.
The unpredictability of chatbots, which will make statements that are nonsensical or false — what A.I. researchers call hallucination — runs counter to the party’s obsession with managing what is said online, Mr. Sheehan said.
“Generative artificial intelligence put into tension two of the top goals of the party: the control of information and leadership in artificial intelligence,” he added.
China’s new regulations are not entirely about politics, experts said. For example, they aim to protect privacy and intellectual property for individuals and creators of the data upon which A.I. models are trained, a topic of worldwide concern.
In February, Getty Images, the image database company, sued the artificial intelligence start-up Stable Diffusion for training its image-generating system on 12 million watermarked photos, which Getty claimed diluted the value of its images.
China is making a broader push to address legal questions about A.I. companies’ use of underlying data and content. In March, as part of a major institutional overhaul, Beijing established the National Data Bureau, an effort to better define what it means to own, buy and sell data. The state body would also assist companies with building the data sets necessary to train such models.
“They are now deciding what kind of property data is and who has the rights to use it and control it,” said Ms. Schaefer, who has written extensively on China’s A.I. regulations and called the initiative “transformative.”
Still, China’s new guardrails may be ill timed. The country is facing intensifying competition and sanctions on semiconductors that threaten to undermine its competitiveness in technology, including artificial intelligence.
Hopes for Chinese A.I. ran high in early February when Xu Liang, an A.I. engineer and entrepreneur, released one of China’s earliest answers to ChatGPT as a mobile app. The app, ChatYuan, garnered over 10,000 downloads in the first hour, Mr. Xu said.
Media reports of marked differences between the party line and ChatYuan’s responses soon surfaced. Responses offered a bleak diagnosis of the Chinese economy and described the Russian war in Ukraine as a “war of aggression,” at odds with the party’s more pro-Russia stance. Days later, the authorities shut down the app.
Mr. Xu said he was adding measures to create a more “patriotic” bot. They include filtering out sensitive keywords and hiring more manual reviewers who can help him flag problematic answers. He is even training a separate model that can detect “incorrect viewpoints,” which he will filter.
Still, it is not clear when Mr. Xu’s bot will ever satisfy the authorities. The app was initially set to resume on Feb. 13, according to screenshots, but as of Friday it was still down.
“Service will resume after troubleshooting is complete,” it read.