LLM 병목을 뚫었다는 스타트업 — 희소 어텐션의 승부수
거대 언어 모델의 비용과 속도는 결국 '어텐션'이라는 병목에 걸려 있다. 마이애미의 스타트업 서브쿼드래틱(Subquadratic)이 바로 이 병목을 뚫었다고 주장하며 6월 19일 MIT 테크놀로지 리뷰의 조명을 받았다. 트랜스포머의 표준인 밀집(dense) 어텐션 — 모든 토큰을 다른 모든 토큰과 비교하는 방식 — 을 희소(sparse) 어텐션으로 대체해, 중요한 관계만 골라 처리한다는 것이다. 마침 하드웨어·아키텍처 진영도 각자의 방식으로 토큰 비용을 깎아 내려오는 중이라, 'AI를 싸게 만드는 법'의 지형이 세 갈래로 갈라지고 있다.
"모든 것을 비교하는 대신, 어떤 관계가 중요한지 동적으로 선택한다."Subquadratic (MIT Technology Review 인용)
무슨 일인가
서브쿼드래틱의 모델 'SubQ'가 내세우는 수치는 공격적이다. 기준 테스트에서 FlashAttention 기반 모델보다 56배 빠르고, 한 벤치마크를 처리하는 데 앤트로픽 Opus 4.6이 2,600달러가 드는 것을 8달러로 끝냈다고 주장한다. 컨텍스트 창은 최상위 경쟁작(약 100만 토큰)을 훌쩍 넘는 1,200만 토큰, 경쟁 코딩 평가 LiveCodeBench에서 89.7%, 극한 길이의 '건초 더미 속 바늘' 검색에서 98%를 기록했다. 독립 평가기관 Appen이 속도 향상 상당수를 확인했지만, SubQ가 백지에서 학습된 게 아니라 기존 Qwen 가중치에서 부트스트랩됐고 공개 접근이 제한적이라는 점에서 회의론도 남아 있다.
여러 시각
'AI를 싸게 만든다'는 목표에 세 진영이 서로 다른 층위로 달려든다.
- VentureBeat(Blackwell 인프라) — 알고리즘이 아니라 하드웨어·소프트웨어 스택에서 답을 찾는다. 엔비디아 Blackwell에 최적화 스택과 오픈소스 모델을 결합해 토큰당 비용을 4~10배 낮췄고, "하드웨어는 방정식의 절반일 뿐"이라며 소프트웨어 전환의 몫을 강조한다.
- VentureBeat(DeepSeek V4 아키텍처) — 모델 아키텍처 자체를 급진적으로 바꾼다. 초희소 MoE 설계로 100만 토큰 컨텍스트를 단 5.48GB HBM에 담아, 서구식 표준 구조가 89GB를 쓰는 것과 대비된다. 비용의 '해자'를 아키텍처로 무너뜨리는 접근이다.
왜 중요한가
이 세 갈래는 경쟁이 아니라 곱셈으로 쌓인다. 어텐션 알고리즘(SubQ), 추론 하드웨어(Blackwell), 모델 아키텍처(DeepSeek)에서의 절감이 겹치면 토큰당 비용은 계단식이 아니라 급락하는 곡선을 그린다. 비용이 이렇게 무너지면 지금은 '너무 비싸서' 접었던 제품 — 문서 전체를 통째로 넣는 초장문 컨텍스트, 실시간 에이전트 루프 — 이 갑자기 경제성을 얻는다. 다만 SubQ의 부트스트랩 논란이 보여주듯, 화려한 벤치마크와 재현 가능한 실제 성능 사이의 간극은 늘 검증의 대상이다.
실무 적용
- 모델 선택을 성능 벤치마크뿐 아니라 '유효 토큰당 비용'으로 평가한다 — 컨텍스트 길이·처리 속도·요금을 함께 놓고 본다.
- 초장문 컨텍스트가 싸질 것을 전제로, 지금은 잘라 넣던 프롬프트 설계를 '전체를 넣는' 방향으로 재검토할 여지를 남긴다.
- '56배', '1/300 비용' 같은 벤더 수치는 독립 평가와 재현 조건(어떤 기준선 대비인지)을 확인한 뒤에만 아키텍처 결정에 반영한다.
Kenny의 관점
AI 제품을 만드는 입장에서 이 경쟁의 진짜 수혜는 '더 똑똑한 모델'이 아니라 '더 싼 토큰'이다. 비용이 한 자릿수로 떨어질 때마다, 데모에서만 가능하던 경험이 프로덕션 예산 안으로 들어온다 — 그게 AX의 판을 넓힌다. 동시에 나는 SubQ의 부트스트랩 논란을 QA의 언어로 읽는다: 벤치마크는 주장이고, 재현 조건이 증거다. 벤더의 배수(倍數)에 설계를 걸기 전에 '무엇 대비, 어떤 조건에서'를 묻는 습관이, 비용 곡선을 진짜 내 제품의 경쟁력으로 바꾸는 분기점이다.
출처
이 글은 아래 원문을 바탕으로 Kenny가 한국어로 요약·정리한 큐레이션입니다.
원문 보기 — MIT Technology Review ↗