Attention Is All You Need

Google invented the architecture behind every major AI model, watched its researchers leave to build rivals, lost $100 billion in a day, and then — quietly — came back.

Attention Is All You Need

구글은 모든 주요 AI 모델의 기반 아키텍처를 발명했고, 연구원들이 떠나 경쟁사를 세우는 걸 지켜봤고, 하루 만에 1,000억 달러를 잃었고, 그러고 나서 — 조용히 — 돌아왔다.

On June 12, 2017, eight researchers at Google published a paper called "Attention Is All You Need." It proposed a new architecture for processing sequences of data — translation, mostly — built entirely on a mechanism called self-attention. The model had 100 million parameters. They trained it on eight GPUs in three and a half days.

The paper has since been cited more than 173,000 times, placing it among the ten most cited papers of the 21st century. The architecture it introduced — the Transformer — is the foundation of GPT, Claude, Llama, Gemini, and virtually every large language model in operation. The T in GPT stands for Transformer. The paper's conclusion noted areas for future work.

All eight authors left Google.

2017년 6월 12일, 구글 연구원 8명이 "Attention Is All You Need"라는 논문을 공개했다. 셀프 어텐션이라는 메커니즘만으로 시퀀스 데이터를 — 주로 번역을 — 처리하는 새로운 아키텍처를 제안했다. 파라미터 1억 개. GPU 8대로 3일 반 만에 훈련했다.

이 논문은 현재까지 17만 3,000회 이상 인용되었고, 21세기에 가장 많이 인용된 논문 10편에 들어간다. 이 논문이 도입한 아키텍처 — 트랜스포머 — 는 GPT, Claude, Llama, Gemini, 그리고 현재 작동하는 거의 모든 대형 언어 모델의 기반이다. GPT의 T가 Transformer다. 논문의 결론에는 향후 연구 방향도 남겨져 있었다.

저자 8명 전원이 구글을 떠났다.

What happened next

그 뒤에 일어난 일

Noam Shazeer left in 2021 and co-founded Character.AI. The others followed — to Cohere, Sakana AI, Essential AI, Adept, NEAR Protocol, and other ventures. Six of the eight became startup founders. The companies they built collectively raised billions in funding.

On November 30, 2022, OpenAI released ChatGPT. Five days, one million users. Within weeks, Google's management declared a "code red" — a companywide emergency. Sundar Pichai redirected teams. Larry Page and Sergey Brin, who had stepped away from daily operations years earlier, returned to review code.

On February 6, 2023, Google posted a promotional video for Bard, its answer to ChatGPT. The chatbot was asked what new discoveries from the James Webb Space Telescope a parent could share with a nine-year-old. Bard responded that the telescope had taken the first pictures of a planet outside our solar system. That was wrong — the European Southern Observatory's Very Large Telescope had done so in 2004. The error was spotted within hours. Two days later, Alphabet's stock fell nearly eight percent, erasing $100 billion in market value in a single session.

The inventors had left. The invention was in the hands of competitors. And the demo was wrong.

노암 샤지어는 2021년에 떠나 Character.AI를 공동 창업했다. 나머지도 뒤따랐다 — Cohere, Sakana AI, Essential AI, Adept, NEAR Protocol 등. 8명 중 6명이 스타트업 창업자가 됐다. 이들이 세운 회사들의 합산 펀딩은 수십억 달러를 넘었다.

2022년 11월 30일, OpenAI가 ChatGPT를 출시했다. 5일 만에 100만 사용자. 몇 주 안에 구글 경영진은 "코드 레드"를 발령했다 — 전사적 비상. 순다르 피차이가 부서를 재배치했다. 수년 전 일상 경영에서 물러났던 래리 페이지와 세르게이 브린이 코드 리뷰를 위해 복귀했다.

2023년 2월 6일, 구글은 자사 챗봇 Bard의 홍보 영상을 올렸다. 제임스 웹 우주망원경의 새로운 발견을 아홉 살 아이에게 어떻게 알려줄 수 있냐는 질문에, Bard는 이 망원경이 태양계 밖 행성의 최초 사진을 찍었다고 답했다. 틀렸다 — 유럽 남부 천문대의 초거대 망원경이 2004년에 이미 해낸 일이었다. 오류는 몇 시간 만에 발견됐다. 이틀 후 알파벳 주가가 8% 가까이 하락하며, 하루 만에 시가총액 1,000억 달러가 증발했다.

발명자들은 떠났다. 발명은 경쟁자의 손에 있었다. 그리고 데모는 틀렸다.

What stayed

남아 있던 것

What left Google after the Transformer paper was dramatic. What stayed was not. It was just there, the way it had always been.

Search — four billion users, eight and a half billion queries a day. YouTube — over two billion monthly users, twenty billion videos, the world's largest archive of moving images with synchronized audio and captions. Android — seventy-one percent of the world's mobile devices. Chrome — nearly four billion users, seventy percent of browser traffic. Gmail — 1.8 billion accounts. Maps — over two billion monthly users. Photos — five billion downloads. Workspace — 2.6 billion monthly users across Gmail, Calendar, Drive, Docs, Sheets, and Slides.

Seven products with more than two billion users each.

Every one of them was built before the Transformer paper. YouTube launched in 2005. Gmail in 2004. Maps in 2005. Android was acquired in 2005. Chrome shipped in 2008. Photos spun out of Google+ in 2015. They were built so people could search for things, watch things, take pictures of things, find directions, send emails, and write documents.

None of them were built for AI. But when AI arrived and needed data — real data, at scale, reflecting how humans actually behave — the list of places to find it was short. YouTube holds the world's most diverse collection of video, audio, and language in context. Photos holds what people actually see in their daily lives, not what they curate for social media. Search holds decades of intent — billions of records of what people wanted, phrased in their own words. And Android and Chrome hold the distribution channels: the screens where two-thirds of humanity already spends its time.

트랜스포머 논문 이후 구글에서 떠난 것은 극적이었다. 남아 있던 것은 그렇지 않았다. 그냥 거기 있었다, 늘 그랬듯이.

Search — 40억 사용자, 하루 85억 건의 검색. YouTube — 월간 20억 명 이상, 200억 개의 영상, 세계 최대의 영상·오디오·자막 아카이브. Android — 전 세계 모바일 기기의 71%. Chrome — 약 40억 사용자, 브라우저 트래픽의 70%. Gmail — 18억 계정. Maps — 월간 20억 명 이상. Photos — 50억 다운로드. Workspace — Gmail, 캘린더, 드라이브, 독스, 시트, 슬라이드 합산 월간 26억 명.

20억 이상의 사용자를 가진 제품이 7개다.

전부 트랜스포머 논문 이전에 만들어진 것이다. YouTube는 2005년, Gmail은 2004년, Maps는 2005년, Android는 2005년에 인수됐고, Chrome은 2008년에 출시됐다. Photos는 2015년에 Google+에서 분리됐다. 사람들이 무언가를 검색하고, 보고, 사진을 찍고, 길을 찾고, 이메일을 보내고, 문서를 쓸 수 있도록 만들어진 것들이다.

AI를 위해 만든 것은 하나도 없었다. 하지만 AI가 등장해서 데이터가 필요해졌을 때 — 진짜 데이터, 대규모로, 인간이 실제로 어떻게 행동하는지를 반영하는 — 그걸 구할 수 있는 곳의 목록은 짧았다. YouTube에는 세계에서 가장 다양한 영상·오디오·맥락 속 언어가 있었다. Photos에는 사람들이 실제로 보는 일상이 — 소셜 미디어에 올리려 다듬은 것이 아니라 — 담겨 있었다. Search에는 수십 년간의 의도가 — 사람들이 무엇을 원했는지, 본인의 언어로 표현한 수십억 건의 기록이 — 쌓여 있었다. 그리고 Android와 Chrome에는 배포 채널이 있었다. 인류의 3분의 2가 이미 시간을 보내는 그 화면들.

What opened, and what closed

열린 것과 닫힌 것

In 2017, Google opened the Transformer. It published the paper, released the code, and let anyone use the architecture. That was the academic norm. It was not a strategic calculation. It was what researchers did.

The result was that every major AI lab in the world built on Google's invention. OpenAI built GPT. Anthropic built Claude. Meta built Llama. The Transformer became the substrate of an industry that Google's competitors now dominate in consumer perception.

Starting in 2024, Google closed the data.

In December 2024, YouTube introduced an opt-in system for third-party AI training. By default, the setting is off. If an outside company wants to train on YouTube videos, creators must explicitly allow it. Unauthorized scraping is prohibited. At the same time, Google itself continued to use YouTube content to train its own models — Gemini, Veo — under updated terms of service that grant the company broad rights over uploaded material. The door was shut to others. It remained open from the inside.

AI Overviews, launched across Google Search, began answering queries directly — absorbing the traffic that would have gone to external websites. The platforms discussed in the third installment of this series, Reddit and Stack Overflow, felt this acutely. Gemini was integrated into Workspace, Android, Chrome, and Photos — not as a separate app to download, but as a layer inside products that billions of people already used.

The architecture was given away. The ecosystem was not.

2017년, 구글은 트랜스포머를 열었다. 논문을 공개하고, 코드를 공유하고, 누구든 이 아키텍처를 쓸 수 있게 했다. 학술적 관행이었다. 전략적 계산이 아니었다. 연구자들이 하는 일이었을 뿐이다.

결과적으로 전 세계 주요 AI 연구소가 구글의 발명 위에 세워졌다. OpenAI는 GPT를 만들었고, Anthropic은 Claude를, Meta는 Llama를 만들었다. 트랜스포머는 하나의 산업의 기반이 됐다 — 소비자 인식에서는 구글의 경쟁자들이 지배하는 산업의.

2024년부터, 구글은 데이터를 닫았다.

2024년 12월, YouTube는 서드파티 AI 학습을 위한 옵트인 시스템을 도입했다. 기본 설정은 꺼짐이다. 외부 회사가 YouTube 영상으로 학습하려면 크리에이터가 명시적으로 허용해야 한다. 무단 스크래핑은 금지됐다. 동시에 구글 자체는 업데이트된 서비스 약관에 따라 YouTube 콘텐츠로 자사 모델 — Gemini, Veo — 을 계속 학습시켰다. 문은 남들에게 닫혔다. 안에서는 열려 있었다.

구글 검색 전반에 걸쳐 출시된 AI Overviews는 쿼리에 직접 답하기 시작했다 — 외부 웹사이트로 향하던 트래픽을 흡수하면서. 이 시리즈 3편에서 다룬 Reddit과 Stack Overflow가 이를 뼈저리게 느꼈다. Gemini는 Workspace, Android, Chrome, Photos 안에 통합됐다 — 별도로 다운로드해야 하는 앱이 아니라, 수십억 명이 이미 사용하는 제품 안의 한 겹으로.

아키텍처는 내줬다. 생태계는 내주지 않았다.

Two code reds

두 번의 코드 레드

December 2022. ChatGPT launched. Google declared a code red. The founders returned. Teams were reshuffled. Prototypes were rushed. The consensus: Google was being disrupted by its own invention.

December 2025. Google released Gemini 3 — what it called its fastest-ever deployment into Search, reaching billions of users on day one. Gemini's monthly active users grew from 350 million in the spring to 650 million by autumn to 750 million by year's end. AI Overviews reached two billion monthly users inside Search. In the same month, Salesforce CEO Marc Benioff posted on X that after three years of daily ChatGPT use, he was switching to Gemini. "The leap is insane," he wrote. "It feels like the world just changed, again."

On December 1, 2025, Sam Altman sent an internal memo to OpenAI employees. He warned of "rough vibes" and "temporary economic headwinds." He acknowledged that "Google has been doing excellent work recently in every aspect." He declared a "code red" — the same phrase, almost the same week, exactly three years later.

Between those two Decembers, something else happened. In August 2024, Google paid $2.7 billion to bring Noam Shazeer back. Shazeer — one of the eight Transformer authors, the one who had left in 2021 because Google refused to release the chatbot he had built — returned to DeepMind and took a lead role on Gemini. Former Google CEO Eric Schmidt had once said of him: "If there's anybody I can think of in the world who's likely to do it, it's going to be him." Google spent $2.7 billion to find out.

On January 12, 2026, Apple announced that the next generation of its foundation models — including a rebuilt Siri — would be based on Google's Gemini. A multiyear deal, reportedly worth around $1 billion per year. The same day, Alphabet's market capitalization crossed $4 trillion for the first time, making it the fourth company ever to reach that level, after Nvidia, Microsoft, and Apple.

Three years earlier, $100 billion had vanished in a day. Now $4 trillion.

2022년 12월. ChatGPT가 출시됐다. 구글은 코드 레드를 발령했다. 창업자들이 복귀했다. 팀이 재편됐다. 프로토타입이 급조됐다. 분위기는 한 방향이었다: 구글이 자기가 만든 기술에 무너지고 있다.

2025년 12월. 구글이 Gemini 3을 출시했다 — 역사상 가장 빠른 검색 배포라고 불렀다. 첫날부터 수십억 명에게 도달했다. Gemini 월간 활성 사용자는 봄 3.5억에서 가을 6.5억, 연말 7.5억으로 늘었다. AI Overviews는 검색 안에서 월간 20억 사용자에 도달했다. 같은 달, 세일즈포스 CEO 마크 베니오프가 X에 글을 올렸다. 3년간 매일 ChatGPT를 썼지만 Gemini로 갈아탄다고. "도약이 미쳤다. 세상이 또 바뀐 느낌"이라고 썼다.

2025년 12월 1일, 샘 올트먼이 OpenAI 직원들에게 내부 메모를 보냈다. "rough vibes"와 "일시적인 경제적 역풍"을 경고했다. "구글이 최근 모든 면에서 탁월한 일을 하고 있다"고 인정했다. "코드 레드"를 선언했다 — 같은 표현, 거의 같은 주, 정확히 3년 뒤.

두 번의 12월 사이에, 다른 일이 하나 있었다. 2024년 8월, 구글은 27억 달러를 들여 노암 샤지어를 데려왔다. 트랜스포머 논문 저자 8명 중 한 명 — 자기가 만든 챗봇의 출시를 구글이 거부하자 2021년에 떠난 사람 — 이 DeepMind로 복귀해 Gemini 프로젝트의 핵심 역할을 맡았다. 전 구글 CEO 에릭 슈미트는 한때 그에 대해 이렇게 말한 적이 있다: "세상에서 그걸 해낼 사람이 있다면, 그 사람일 것이다." 구글은 27억 달러를 들여 확인해봤다.

2026년 1월 12일, 애플이 발표했다. 차세대 파운데이션 모델 — 새로 만드는 시리 포함 — 의 기반을 구글의 Gemini로 한다고. 연간 약 10억 달러 규모의 다년 계약이었다. 같은 날, 알파벳 시가총액이 4조 달러를 처음으로 넘겼다. Nvidia, Microsoft, Apple에 이어 역사상 네 번째로 그 선을 넘은 기업이 됐다.

3년 전에는 1,000억 달러가 하루에 사라졌다. 이제 4조 달러.

What was built facing humans

사람을 향해 만든 것

Google was not the only company where this happened. Across the previous five installments of this series, a pattern kept appearing — in companies much smaller, much less certain of survival, and much less aware of what they were building.

Brave built a search index so people could search without being tracked. It became the only independent search index available to AI companies.

Telegram opened a Bot API so people could communicate freely. It became the gathering place for AI agents.

Reddit let people argue in public so communities could self-govern. The archives became training data for the models.

Palantir sent engineers to live inside organizations so people could understand their own data. The method became the template for deploying AI in the field.

Anthropic drew two lines in a usage policy so its technology would not be used for mass surveillance or autonomous killing. The lines became the most effective brand signal the company ever produced.

And Google — over twenty years, across seven products, for four billion people — built the infrastructure for searching, watching, photographing, navigating, emailing, and working. When AI needed to know what humans do, how they speak, what they look at, and where they go, the answer was already there. It had been there the whole time.

What was built facing humans is what AI finds most irreplaceable.

This was never a strategy. Brave did not build its index for Perplexity. Telegram did not open its API for xAI. Reddit's moderators did not curate threads for OpenAI's training runs. Palantir's forward-deployed engineers did not spend a decade building ontologies so that AI agents could use them. The value was not planned. It was a byproduct of something else — a conviction, a habit, a stubbornness that happened to leave behind exactly what the next era required.

Not every conviction was rewarded. Stack Overflow maintained its quality standards and watched its community dissolve. Wikipedia held to its nonprofit principles and cannot capture the value it creates. Signal built the most private messenger and has no bot ecosystem. DuckDuckGo chose privacy but borrowed someone else's index. The pattern is not automatic. But where it held, it held because the thing that made the company unusual was the thing that could not be bought on short notice.

구글만 그런 것이 아니었다. 이 시리즈의 앞선 다섯 편에 걸쳐, 하나의 패턴이 반복해서 나타났다 — 훨씬 작고, 생존이 훨씬 불확실하고, 자기가 무엇을 만들고 있는지 훨씬 모르던 회사들에서.

Brave는 사람들이 추적당하지 않고 검색할 수 있도록 검색 인덱스를 만들었다. AI 회사들이 사용할 수 있는 유일한 독립 검색 인덱스가 됐다.

Telegram은 사람들이 자유롭게 소통할 수 있도록 Bot API를 열었다. AI 에이전트가 모이는 장소가 됐다.

Reddit은 사람들이 공개적으로 논쟁하고 커뮤니티가 자치할 수 있게 했다. 그 아카이브가 모델의 학습 데이터로 쓰이게 됐다.

Palantir는 사람들이 자기 데이터를 이해할 수 있도록 엔지니어를 조직 안에 보내 살게 했다. 그 방식이 AI 현장 배포의 표준이 됐다.

Anthropic은 자사 기술이 대량 감시나 자율 살상에 쓰이지 않도록 사용 정책에 두 개의 선을 그었다. 그 선이 회사 역사상 가장 효과적인 브랜드 신호로 작동했다.

그리고 구글은 — 20년에 걸쳐, 7개의 제품으로, 40억 명을 위해 — 검색하고, 보고, 찍고, 길을 찾고, 메일을 보내고, 일할 수 있는 인프라를 만들었다. AI가 인간이 무엇을 하는지, 어떻게 말하는지, 무엇을 보는지, 어디로 가는지 알아야 했을 때, 답은 이미 거기 있었다. 처음부터 거기 있었다.

사람을 향해 만든 것이 AI가 가장 대체할 수 없는 것이 되었다.

이건 전략이 아니었다. Brave는 Perplexity를 위해 인덱스를 만들지 않았다. Telegram은 xAI를 위해 API를 열지 않았다. Reddit의 모더레이터들은 OpenAI의 학습 데이터를 위해 스레드를 큐레이션하지 않았다. Palantir의 포워드 디플로이드 엔지니어들은 AI 에이전트가 쓸 수 있게 하려고 10년간 온톨로지를 만든 게 아니었다. 가치는 계획된 것이 아니었다. 다른 무언가의 부산물이었다 — 신념, 습관, 고집이 우연히 다음 시대가 필요로 하는 것을 정확히 남겨놓았을 뿐이다.

모든 신념이 보상받지는 않았다. Stack Overflow는 품질 기준을 고수했고 커뮤니티가 녹아내리는 것을 지켜봤다. Wikipedia는 비영리 원칙을 지켰고 자신이 만드는 가치를 포착하지 못한다. Signal은 가장 안전한 메신저를 만들었지만 봇 생태계가 없다. DuckDuckGo는 프라이버시를 선택했지만 남의 인덱스를 빌렸다. 패턴은 자동이 아니다. 하지만 성립한 곳에서는, 그 회사를 다르게 만든 바로 그것이 돈으로 급히 살 수 없는 것이었기에 성립했다.

What the paper said at the end

논문의 마지막에 적힌 것

The Transformer paper's conclusion listed its authors' plans. They wanted to apply attention-based models to images, audio, and video. They wanted to make generation less sequential. They listed these as goals for future work.

By 2026, every item on that list has been realized. Gemini processes text, images, and audio natively. Veo generates video with synchronized dialogue. Lyria composes music. The multimodal future that eight researchers sketched in a conclusion section is now a product suite.

Seven of the eight authors are somewhere else. One came back, for $2.7 billion. And the products that fulfilled the paper's conclusion were not built on the Transformer alone. They were built on twenty years of infrastructure that predated it — the searches, the videos, the photos, the maps, the emails — all of it made for people, none of it made for this.

트랜스포머 논문의 결론에는 저자들의 계획이 적혀 있었다. 어텐션 기반 모델을 이미지, 오디오, 비디오에 적용하겠다고 했다. 생성의 순차성을 줄이겠다고 했다. 향후 연구의 목표로 남겨뒀다.

2026년, 그 목록의 모든 항목이 실현됐다. Gemini는 텍스트, 이미지, 오디오를 기본으로 처리한다. Veo는 대사가 동기화된 영상을 생성한다. Lyria는 음악을 작곡한다. 8명의 연구원이 결론부에 스케치했던 멀티모달 미래가 제품군이 됐다.

8명 중 7명은 다른 곳에 있다. 1명은 27억 달러와 함께 돌아왔다. 그리고 논문의 결론을 실현한 제품들은 트랜스포머만으로 만들어진 게 아니었다. 그보다 앞서 존재한 20년의 인프라 위에 만들어졌다 — 검색, 영상, 사진, 지도, 이메일 — 전부 사람을 위해 만든 것, 이것을 위해 만든 것은 하나도 없었다.