[NYT]The Technology Facebook and Google Didn’t Dare Release
그날 촬영된 비디오에 찍힌 것처럼, 방에 있던 소수의 남자들은 흥분한 나머지 서로 웃으며 말하고 있었고, 그들 중 한 명은 조용히 해달라고 요청했습니다. 방은 조용했고 데모가 진행 중이었습니다.
레이반드 씨는 테이블 건너편에 있는 남자 쪽으로 돌아섰습니다. 둥글고 검고 눈을 깜빡이지 않는 이 스마트폰의 카메라 렌즈는 마치 사이클롭스의 눈처럼 레이반드 씨의 이마 위를 맴돌았습니다. 2초 후, 로봇 여자 목소리가 “잭 하워드”라고 선언했습니다
“바로 저예요.”라고 기계 엔지니어인 하워드 씨가 확인했습니다.
기술 시연을 본 한 직원이 장난인 줄 알았습니다. 하지만 전화기가 정확하게 이름을 부르기 시작했을 때, 그는 디스토피아적인 영화에서 나온 것처럼 소름끼치는 것을 발견했습니다.
사람을 식별하는 모자폰은 시력 문제가 있거나 얼굴을 실명한 사람들에게 신의 선물이 될 것이지만, 위험했습니다. 사람들이 사진 속에서 친구들에게 태그를 붙이는 것을 돕기 위해 페이스북이 이전에 배포한 안면 인식 기술은 프라이버시 옹호자들의 항의를 야기했고, 2015년 일리노이주에서 집단 소송으로 이어졌고, 결국 회사는 6억 5천만 달러의 손실을 입었습니다.
레이반드 씨의 머릿속에 그와 같은 기술이 자리잡고 있기 때문에 페이스북은 사용자들이 동료의 이름을 잊어버리는 것을 막을 수 있고, 칵테일 파티에서 아는 사람이 아이들이 있다는 것을 상기시켜 주거나, 사람들로 붐비는 회의에서 누군가를 찾는 것을 도울 수 있습니다. 그러나 6년이 지난 지금 메타로 알려진 회사는 그 제품의 버전을 출시하지 않았고 레이반드 씨는 비전 프로 증강 현실 안경 작업을 위해 애플로 떠났습니다.
최근 몇 년 동안 스타트업인 클리어뷰 AI와 핌아이즈는 퍼블릭 웹(PimEyes)에서 수백만 장의 사진과 짝을 이룬 얼굴 검색 엔진을 공개함으로써 대중이 생각했던 것의 경계를 허물었습니다. Clearview AI의 경우에는 경찰이, PimEyes의 경우에는 일반 대중이 사용할 수 있는 이러한 도구를 사용하면 누군가의 스냅샷을 사용하여 해당 얼굴이 나타나는 다른 온라인 사진을 찾을 수 있으며, 이름, 소셜 미디어 프로필 또는 위험한 사진과 같이 사람이 결코 공개적으로 연결되고 싶지 않은 정보를 잠재적으로 드러낼 수 있습니다.
이 스타트업들이 한 일은 기술적인 돌파구가 아니라 윤리적인 것이었습니다. 거대 기술 기업들은 수년 전에 알려지지 않은 사람들의 얼굴을 인식할 수 있는 능력을 개발했지만, 모르는 사람의 얼굴에 이름을 붙이는 가장 극단적인 버전은 널리 사용하기에는 너무 위험하다고 판단하여 이 기술을 사용하지 않기로 결정했습니다.
금기가 깨졌기 때문에, 얼굴 인식 기술은 어디에나 있을 수 있습니다. 현재 경찰이 범죄를 해결하기 위해 사용하고 있고, 시민들을 감시하기 위해 권위주의적인 정부가 사용하고 있으며, 적을 막기 위해 기업들을 감시하고 있는 그것은 곧 낯선 사람이 없는 세상을 안내하는 우리 모두의 손 안에 있는 하나의 도구가 될 수도 있습니다.
‘우리는 멈추기로 결정했습니다’ 2011년 초, 구글 엔지니어는 누군가의 얼굴을 구글링하고 그들의 다른 온라인 사진을 불러오는 도구를 연구해왔다고 밝혔습니다. 몇 달 후, 구글의 회장인 에릭 슈미트는 무대 위의 인터뷰에서 구글이 “그 기술을 만들었고, 우리는 그것을 보류했다”고 말했습니다
슈미트 씨는 “내가 아는 한 구글이 만든 유일한 기술이고, 그것을 보고 나서 우리는 중단하기로 결정했습니다”라고 말했습니다.
이 기술 대기업들은 또한 이 기술을 제공한 가장 진보된 스타트업들을 영입함으로써 일반적인 유통을 막는 데 도움을 주었습니다. 2010년, 애플은 폴라 로즈라고 불리는 유망한 스웨덴의 얼굴 인식 회사를 인수했습니다. 2011년, 구글은 피트 팻이라고 불리는 연방 기관들에게 인기 있는 미국의 얼굴 인식 회사를 인수했습니다. 그리고 2012년에 페이스북은 이스라엘 회사인 Face.com 을 인수했습니다. 각각의 경우, 새 주인들은 인수한 회사들의 외부인에 대한 서비스를 중단했습니다. 실리콘 밸리의 거물급 인사들은 이 기술이 어떻게 사용될 것인지 여부에 대한 사실상의 문지기였습니다.
페이스북, 구글 그리고 애플은 그들이 상대적으로 호의적인 방법이라고 생각했던 것에 얼굴 인식 기술을 배치했습니다: 스마트폰의 잠금을 해제하는 보안 도구, 사진에 알려진 친구들을 태그하는 더 효율적인 방법, 그리고 그 안에 있는 사람들의 얼굴에 의해 스마트폰 사진을 분류하는 조직적인 도구.
그러나 지난 몇 년 동안 Clearview AI와 PimEyes와 같은 더 작고 더 공격적인 회사들에 의해 이 문들은 짓밟혔습니다. 이러한 변화를 가능하게 한 것은 현재 대부분의 인공 지능 소프트웨어를 뒷받침하는 신경망 기술의 오픈 소스 특성이었습니다.
얼굴 인식 기술의 경로를 이해하는 것은 이미지 및 텍스트 생성 도구와 같은 인공지능의 다른 발전과 함께 나타날 것을 탐색하는 데 도움이 될 것입니다. 그들이 할 수 있는 것과 할 수 없는 것을 결정하는 힘은 일반 대중이 받아들일 수 있다고 생각하는 것에 주의를 기울이지 않을 수 있는 약간의 기술 지식을 가진 사람에 의해 점점 더 결정될 것입니다.
‘거인의 어깨에 서다’어떻게 해서 맨하탄 보도에서 누군가가 “뜨거운 아빠”를 발견하고 핌아이즈를 이용해 그가 누구인지, 어디서 일하는지 알아낼 수 있었을까요? 간단한 답은 온라인에서 공유되는 자유 코드, 다양한 공개 사진, 이 모든 것을 어떻게 정리할 것인지 설명하는 학술 논문, 그리고 사생활을 지배하는 법에 대한 편협한 태도의 조합입니다.
회사의 기술 개발을 주도한 클리어뷰 AI 공동 창업자 호안톤댓은 생체 인식 분야에서 특별한 배경이 없었습니다. 클리어뷰 AI 이전에는 페이스북 퀴즈나 아이폰 게임, ‘트럼프 헤어’ 같은 우스꽝스러운 앱을 만들어 사진 속 인물이 전직 대통령처럼 코우핑된 것처럼 보이게 했습니다.
획기적이고 수익성이 높은 앱을 개발하기 위한 자신의 노력으로, 톤 댓 씨는 카네기 멜론 대학의 한 단체가 만든 “얼굴 인식 라이브러리”인 오픈페이스와 같은 무료 온라인 리소스를 이용하게 되었습니다. GitHub에서 코드 라이브러리를 사용할 수 있었으며, “책임감 있게 사용하십시오!”라는 경고가 있었습니다
성명서에는 “우리는 사생활과 보안을 침해하는 애플리케이션에 이 프로젝트를 사용하는 것을 지원하지 않습니다.”라고 적혀 있습니다. “우리는 이것을 인지 장애가 있는 사용자들이 자신의 주변 세계를 감지하고 이해할 수 있도록 돕기 위해 사용하고 있습니다.”
그것은 고귀한 요청이었지만 전혀 시행할 수 없었습니다.
톤씨는 오픈페이스 코드를 작동시켰지만 완벽하지는 않았어요. 그래서 그는 계속 검색을 했고, 학술 문헌과 코드 저장소를 돌아다니며 무엇이 효과가 있는지 이것저것 시험해 보았습니다. 그는 마치 과수원을 거닐며 수십 년에 걸친 연구의 열매를 따고, 따기에 무르익었고, 영광스럽게도 자유로워진 사람과 같았습니다.
그는 “처음부터 만들어야 했다면 할 수 없었을 것”이라며 ‘인공지능의 대부’ 제프리 힌튼 등 컴퓨터 비전과 인공지능이 발달한 일부 연구자들의 이름을 떨궜다. “나는 거인들의 어깨 위에 서 있었다.”
톤씨, 그건 아직도 건축중입니다. Clearview는 증강현실 안경과 함께 작동하는 앱의 버전을 개발했는데, 이는 페이스북 엔지니어링 팀이 몇 년 전에 조작했던 얼굴인식 모자를 보다 완벽하게 구현한 것입니다.
익명성의 끝Vuzix라는 회사가 만든 999달러짜리 증강현실 안경은 착용자를 300억 개의 얼굴을 가진 Clearview의 데이터베이스에 연결합니다. 최대 10피트 떨어진 곳에 있는 사람의 신원을 확인할 수 있는 클리어뷰의 AR 앱은 아직 공개되지 않았지만, 공군은 군사 기지에서 사용할 수 있는 자금을 제공했습니다.
어느 가을 오후, 톤 씨는 맨해튼 어퍼 웨스트 사이드에 있는 대변인의 아파트에서 안경을 쓰고 저를 향해 쳐다보는 모습을 보여주었습니다.
“오, 176장의 사진”이라고 그는 말했습니다. 아스펜 아이디어 페스티벌. 카슈미르 언덕”이라고 그는 떠오른 사진 중 하나의 이미지 캡션에서 읽었습니다.
그리고는 나에게 안경을 건네줬습니다. 신었어요. 그들은 투박해 보였지만, 가볍고 자연스럽게 건강에 좋았습니다. Ton-That씨는 다른 증강현실 안경을 써보았지만, 이것들이 가장 좋은 성능을 보였다고 말했습니다. “새로운 버전이 출시될 예정입니다.”라고 그는 말했습니다. “그리고 그들은 더 멋지고 힙스터하게 보일 것입니다.”
안경 사이로 톤댓 씨를 보니 얼굴 주변에 초록색 원이 나타났습니다. 오른쪽 관자놀이에 터치 패드를 두드렸습니다. 안경 오른쪽 렌즈에만 보이는 사각형 디스플레이에 “검색 중…”이라는 메시지가 떴습니다
그리고 광장은 그의 사진들로 가득차 있고, 각각의 사진 밑에 자막이 있습니다. 저는 터치 패드를 이용해서 그것들을 훑어 보았습니다. Clearview CEO, Hoan Ton-That; 라고 쓰인 것을 선택했습니다. 그 안에는 Clearview의 웹사이트에서 온 것임을 보여주는 링크가 포함되어 있었습니다.
그의 대변인을 보고 얼굴을 뒤지더니 언급하지 말라고 한 고객이 있는 사진을 포함해 49장의 사진이 올라왔습니다. 이것은 세상이 이 기술을 받아들이도록 하는 것이 직업인 사람에게도, 누군가의 얼굴을 검색하는 것이 얼마나 거슬릴 수 있는지를 무심코 드러냈습니다.
저는 안경이 제가 모르는 사람들에게 어떻게 작용하는지 보기 위해 밖으로 가져가고 싶었지만, 톤 씨는 안경이 와이파이 연결이 필요해서, 누군가가 그를 알아보고 즉시 그 안경이 무엇이고 무엇을 할 수 있는지 깨닫게 될 수도 있기 때문에 우리가 할 수 없다고 말했습니다.
그럴 줄은 알았지만 저를 놀라게 하지는 않았습니다. 이와 같은 도구를 소유한 사람들은 그렇지 않은 사람들에 대해 어쩔 수 없이 권력을 갖게 될 것이 분명했습니다. 하지만 마법이 성공적으로 행해지는 것처럼, 효과를 보는 데에는 어떤 스릴이 있었습니다.
잃어버린 기회?메타는 수년간 자체 증강현실 안경을 개발해 왔습니다. 2021년 초 내부 회의에서 회사의 최고 기술 책임자인 Andrew Bosworth는 안면 인식 기능을 갖추고 싶다고 말했습니다.
내부 회의의 녹음에서, 보스워스는 증강 현실 안경에서 얼굴 인식을 제외하는 것은 인간의 기억력을 향상시키는 잃어버린 기회라고 말했습니다. 그는 당신이 아는 사람을 만나면서도 그들의 이름을 기억하지 못했던 보편적인 경험에 대해 이야기했습니다.
“우리는 그들에게 작은 이름표를 붙여줄 수 있습니다.”라고 그는 짧은 웃음을 지으며 녹음에서 말했습니다. “할 수 있습니다. 우리에겐 그런 능력이 있습니다.”
그러나 그는 그러한 도구를 제공하는 것의 합법성에 대해 우려를 표명했습니다. 버즈피드는 당시 자신의 발언을 보도했습니다. 이에 대해 보즈워스 대표는 안면인식이 “엄청난 논란이 되고 있다”며 안면인식에 대한 광범위한 접근을 허용하는 것은 “대중들과 함께 할 필요가 있는 토론”이라고 말했습니다
메타의 증강현실 안경이 아직 개발 중인 동안, 그 회사는 페이스북에 친구들을 사진에 태그하기 위해 배치된 안면 인식 시스템을 중단하고 사용자들에게 만든 10억개 이상의 얼굴 인쇄물을 삭제했습니다.
그런 시스템을 다시 켜는 것은 충분히 쉬울 것입니다. 제가 메타 대변인에게 보스워스 씨의 발언과 언젠가 증강현실 안경에 안면인식 기능을 탑재할 수 있을지에 대해 물어봤을 때, 그는 그 가능성을 배제하지 않을 것입니다.
One afternoon in early 2017, at Facebook’s headquarters in Menlo Park, Calif., an engineer named Tommer Leyvand sat in a conference room with a smartphone standing on the brim of his baseball cap. Rubber bands helped anchor it in place with the camera facing out. The absurd hat-phone, a particularly uncool version of the future, contained a secret tool known only to a small group of employees. What it could do was remarkable.
The handful of men in the room were laughing and speaking over one another in excitement, as captured in a video taken that day, until one of them asked for quiet. The room went silent; the demo was underway.
Mr. Leyvand turned toward a man across the table from him. The smartphone’s camera lens — round, black, unblinking — hovered above Mr. Leyvand’s forehead like a Cyclops eye as it took in the face before it. Two seconds later, a robotic female voice declared, “Zach Howard.”
“That’s me,” confirmed Mr. Howard, a mechanical engineer.
An employee who saw the tech demonstration thought it was supposed to be a joke. But when the phone started correctly calling out names, he found it creepy, like something out of a dystopian movie.
The person-identifying hat-phone would be a godsend for someone with vision problems or face blindness, but it was risky. Facebook’s previous deployment of facial recognition technology, to help people tag friends in photos, had caused an outcry from privacy advocates and led to a class-action lawsuit in Illinois in 2015 that ultimately cost the company $650 million.
With technology like that on Mr. Leyvand’s head, Facebook could prevent users from ever forgetting a colleague’s name, give a reminder at a cocktail party that an acquaintance had kids to ask about or help find someone at a crowded conference. However, six years later, the company now known as Meta has not released a version of that product and Mr. Leyvand has departed for Apple to work on its Vision Pro augmented reality glasses.
In recent years, the start-ups Clearview AI and PimEyes have pushed the boundaries of what the public thought was possible by releasing face search engines paired with millions of photos from the public web (PimEyes) or even billions (Clearview). With these tools, available to the police in the case of Clearview AI and the public at large in the case of PimEyes, a snapshot of someone can be used to find other online photos where that face appears, potentially revealing a name, social media profiles or information a person would never want to be linked to publicly, such as risqué photos.
What these start-ups had done wasn’t a technological breakthrough; it was an ethical one. Tech giants had developed the ability to recognize unknown people’s faces years earlier, but had chosen to hold the technology back, deciding that the most extreme version — putting a name to a stranger’s face — was too dangerous to make widely available.
Now that the taboo has been broken, facial recognition technology could become ubiquitous. Currently used by the police to solve crimes, authoritarian governments to monitor their citizens and businesses to keep out their enemies, it may soon be a tool in all our hands, an app on our phone — or in augmented reality glasses — that would usher in a world with no strangers.
‘We decided to stop’
As early as 2011, a Google engineer revealed he had been working on a tool to Google someone’s face and bring up other online photos of them. Months later, Google’s chairman, Eric Schmidt, said in an onstage interview that Google “built that technology, and we withheld it.”
“As far as I know, it’s the only technology that Google built and, after looking at it, we decided to stop,” Mr. Schmidt said.
Advertently or not, the tech giants also helped hold the technology back from general circulation by snapping up the most advanced start-ups that offered it. In 2010, Apple bought a promising Swedish facial recognition company called Polar Rose. In 2011, Google acquired a U.S. face recognition company popular with federal agencies called PittPatt. And in 2012, Facebook purchased the Israeli company Face.com. In each case, the new owners shut down the acquired companies’ services to outsiders. The Silicon Valley heavyweights were the de facto gatekeepers for how and whether the tech would be used.
Facebook, Google and Apple deployed facial recognition technology in what they considered to be relatively benign ways: as a security tool to unlock a smartphone, a more efficient way to tag known friends in photos and an organizational tool to categorize smartphone photos by the faces of the people in them.
In the last few years, though, the gates have been trampled by smaller, more aggressive companies, such as Clearview AI and PimEyes. What allowed the shift was the open-source nature of neural network technology, which now underpins most artificial intelligence software.
Understanding the path of facial recognition technology will help us navigate what is to come with other advancements in A.I., such as image- and text-generation tools. The power to decide what they can and can’t do will increasingly be determined by anyone with a bit of tech savvy, who may not pay heed to what the general public considers acceptable.
‘Standing on the shoulders of giants’
How did we get to this point where someone can spot a “hot dad” on a Manhattan sidewalk and then use PimEyes to try to find out who he is and where he works? The short answer is a combination of free code shared online, a vast array of public photos, academic papers explaining how to put it all together and a cavalier attitude toward laws governing privacy.
The Clearview AI co-founder Hoan Ton-That, who led his company’s technological development, had no special background in biometrics. Before Clearview AI, he made Facebook quizzes, iPhone games and silly apps, such as “Trump Hair” to make a person in a photo appear to be coifed like the former president.
In his quest to create a groundbreaking and more lucrative app, Mr. Ton-That turned to free online resources, such as OpenFace — a “face recognition library” created by a group at Carnegie Mellon University. The code library was available on GitHub, with a warning: “Please use responsibly!”
“We do not support the use of this project in applications that violate privacy and security,” read the statement. “We are using this to help cognitively impaired users sense and understand the world around them.”
It was a noble request but completely unenforceable.
Mr. Ton-That got the OpenFace code up and running, but it wasn’t perfect, so he kept searching, wandering through the academic literature and code repositories, trying out this and that to see what worked. He was like a person walking through an orchard, sampling the fruit of decades of research, ripe for the picking and gloriously free.
“I couldn’t have done it if I had to build it from scratch,” he said, name-dropping some of the researchers who had advanced computer vision and artificial intelligence, including Geoffrey Hinton, “the godfather of A.I.” “I was standing on the shoulders of giants.”
Mr. Ton-That is still building. Clearview has developed a version of its app that works with augmented reality glasses, a more fully formed realization of the face-calling hat that the Facebook engineering team had rigged up years earlier.
The end of anonymity
The $999 pair of augmented reality glasses, made by a company called Vuzix, connects the wearer to Clearview’s database of 30 billion faces. Clearview’s A.R. app, which can identity someone up to 10 feet away, is not yet publicly available, but the Air Force has provided funding for its possible use at military bases.
On a fall afternoon, Mr. Ton-That demonstrated the glasses for me at his spokeswoman’s apartment on the Upper West Side of Manhattan, putting them on and looking toward me.
“Ooooh, 176 photos,” he said. “Aspen Ideas Festival. Kashmir Hill,” he read from the image caption on one of the photos that came up.
Then he handed the glasses to me. I put them on. Though they looked clunky, they were lightweight and fit naturally. Mr. Ton-That said he had tried out other augmented reality glasses, but these had performed best. “They’ve got a new version coming,” he said. “And they’ll look cooler, more hipster.”
When I looked at Mr. Ton-That through the glasses, a green circle appeared around his face. I tapped a touch pad at my right temple. A message came up on a square display that only I could see on the right lens of the glasses: “Searching …”
And then the square filled with photos of him, a caption beneath each one. I scrolled through them using the touch pad. I tapped to select one that read “Clearview CEO, Hoan Ton-That;” it included a link that showed me that it had come from Clearview’s website.
I looked at his spokeswoman, searched her face, and 49 photos came up, including one with a client that she asked me not to mention. This casually revealed just how intrusive a search of someone’s face can be, even for a person whose job is to get the world to embrace this technology.
I wanted to take the glasses outside to see how they worked on people I didn’t actually know, but Mr. Ton-That said we couldn’t, both because the glasses required a Wi-Fi connection and because someone might recognize him and realize immediately what the glasses were and what they could do.
It didn’t frighten me, though I knew it should. It was clear that people who own a tool like this will inevitably have power over those who don’t. But there was a certain thrill in seeing it work, like a magic trick successfully performed.
A lost opportunity?
Meta has been working for years on its own augmented reality glasses. In an internal meeting in early 2021, the company’s chief technology officer, Andrew Bosworth, said he would love to equip them with facial recognition capabilities.
In a recording of the internal meeting, Mr. Bosworth said that leaving facial recognition out of augmented reality glasses was a lost opportunity for enhancing human memory. He talked about the universal experience of going to a dinner party and seeing someone you know but failing to recall their name.
“We could put a little name tag on them,” he said in the recording, with a short chuckle. “We could. We have that ability.”
But he expressed concern about the legality of offering such a tool. Buzzfeed reported on his remarks at the time. In response, Mr. Bosworth said that face recognition was “hugely controversial” and that granting broad access to it was “a debate we need to have with the public.”
While Meta’s augmented reality glasses are still in development, the company shut down the facial recognition system deployed on Facebook to tag friends in photos and deleted the more than one billion face prints it had created of its users.
It would be easy enough to turn such a system back on. When I asked a Meta spokesman about Mr. Bosworth’s comments and whether the company might put facial recognition into its augmented reality glasses one day, he would not rule out the possibility.