1.76시간에서 1.6초로, AI 학습에 무슨 일이 있었을까
‘열흘 만에 4,000배.’ Q Labs가 연 공개 실험 Noise의 기록입니다. 참가자들은 같은 작은 언어모델을 정해진 성능까지 얼마나 빨리 학습시킬 수 있는지 겨뤘습니다. 한 가지 특별한 규칙이 있었습니다. 지금 AI 학습에 널리 쓰는 ‘역전파’를 사용하면 안 된다는 것입니다.
역전파는 AI가 낸 답의 오차를 계산한 뒤, 계산 과정을 거꾸로 따라가며 어떤 가중치를 얼마나 고쳐야 할지 구하는 방법입니다. 지금의 딥러닝을 학습시키는 대표적인 방식이죠. Q Labs의 출발점인 Dust는 모델 내부의 중간 계산값을 조금씩 바꿔 보고, 어느 변화가 예측을 개선했는지로 학습 방향을 추정합니다. 여러 변화를 병렬로 시험하는 방식입니다.
기록이 나온 조건은 매개변수 3,770만 개의 GPT, FineWeb 학습 데이터 1,000만 토큰, H100 GPU 8장입니다. 목표는 다음 토큰을 예측할 때의 오차를 나타내는 ‘검증 손실’을 4.2까지 낮추는 것. 처음 약 1시간 46분이 걸리던 기록이 커뮤니티의 개선을 거쳐 1.6초가 됐습니다. 이 초기 기록과 마지막 기록의 차이가 약 4,000배입니다.
기록표에는 여러 개발자의 이름이 등장합니다. 누군가는 학습 방향을 추정하는 방법을 바꾸고, 다른 사람은 GPU가 계산을 처리하는 코드를 다듬었습니다. 후반에는 처음의 Dust와 상당히 다른 방법도 나왔습니다. 여러 사람이 앞선 결과에 손을 보태며 방법 자체를 바꿔 나갔습니다.
따라서 ‘기존 역전파 학습보다 4,000배 빠르다’거나 ‘대형 AI도 1.6초면 만든다’는 뜻은 아닙니다. 별도의 정확도 경쟁에서는 Adam을 쓴 역전파 기준선을 앞선 결과도 나왔지만, Q Labs는 같은 최적화 알고리즘끼리 비교하면 역전파가 여전히 앞선다고 설명합니다. 10월 22일부터는 데이터와 목표를 바꾼 새 경쟁이 진행 중입니다. 큰 모델에서도 통할지는 앞으로 확인할 문제지만, 익숙한 학습 방법 바깥에서 이런 속도로 아이디어가 쌓이고 있다는 점은 눈여겨볼 만합니다.
스타링크가 반값이면, 써볼 만할까요?
위성 인터넷은 신기하지만, 집에 이미 인터넷이 잘 들어온다면 굳이 살 이유를 찾기 어렵습니다. 반대로 휴대폰도 잘 터지지 않는 캠핑장이나 유선 인터넷 설치가 어려운 곳이라면 이야기가 달라집니다. 스타링크가 한국에서 가정용·여행용 하드웨어와 서비스 플랜을 50% 할인하고 있습니다. 공식 안내의 행사 종료일은 11월 28일입니다.
주거용 라이트 · 월 68,000원 → 34,000원
공식 한국 화면에 표시된 할인 시작가입니다. 일부 지역에서만 제공되며, 혼잡 시간대에는 속도가 느려질 수 있습니다.
주거용 · 월 93,000원 → 46,500원
공식 한국 화면에 표시된 할인 시작가입니다. 실제 신청 주소의 제공 여부와 할인 적용 기간은 주문 화면에서 확인해야 합니다.
월 요금 외에 안테나 키트와 설치 환경도 생각해야 합니다. 안테나에는 하늘이 잘 보이는 자리가 필요하고, 전기도 있어야 합니다. 휴대폰에 요금제만 추가하면 어디서든 연결되는 서비스와는 다릅니다. 집에 두고 쓰는 주거용과 여행하며 쓰는 로밍도 별도 플랜입니다.
이번 할인은 평소 인터넷이 잘 안 되는 장소를 떠올리는 사람에게 특히 흥미롭습니다. 시골집에서 영상 통화를 하거나, 캠핑 중 급히 파일 하나를 보내야 할 때처럼요. 위성 통신을 뉴스에서만 보던 사람이 실제로 가격표를 열어볼 만한 계기가 생겼습니다.
AI가 만든 풍경 안에서 걷고, 소리도 듣습니다
AI가 만든 영상에서 마음에 드는 골목을 발견했습니다. 카메라가 그냥 지나치지 않고, 내가 방향을 틀어 그 안으로 들어갈 수 있다면 어떨까요? 10월 27일 공개된 Google DeepMind의 Genie 4는 이런 상호작용을 목표로 하는 월드 모델입니다. 키보드로 시점을 움직이고, 글로 날씨나 등장인물을 바꾸면 그에 맞춰 다음 장면을 만들어냅니다.
이번에는 소리도 함께 생성합니다. 주변의 바람 소리부터 등장인물의 대화까지 장면에 맞춰 달라집니다. 공식 데모에는 호수 위에서 색소폰을 연주하는 사람, 열기구에서 내려다본 빙하 같은 장면이 나옵니다. 영상을 볼 때는 화면만 보지 말고 소리도 켜보세요. 내가 보고 있는 곳에 소리가 붙으니 공간이라는 느낌이 더 선명해집니다.
아직은 선정된 테스터 대상의 연구 프리뷰입니다. 오래 움직이거나 장면을 여러 번 바꾸면 사물과 공간의 일관성이 흔들릴 수 있고, 물리 현상도 항상 정확하지는 않습니다. 다만 완성된 영상을 재생하는 경험에서, 장면 안에 들어가 즉석으로 바꿔 보는 경험까지 왔다는 것만으로도 데모를 볼 이유는 충분합니다.
AI가 들어갈 자리를 더 작게 만드는 사람들
커다란 모델의 성능 경쟁 옆에서는, 휴대폰과 노트북 안에 들어갈 AI를 만드는 일도 계속되고 있습니다. Liquid AI는 10월 27일 LFM3 제품군을 공개했습니다. 글을 다루는 모델뿐 아니라 이미지·음성 등을 처리하는 모델을 같은 기본 구조에서 나눠 만든, 약 20억 매개변수 규모의 모델들입니다.
텍스트 모델 LFM3-1.7B는 4비트로 줄였을 때 가중치가 약 1GB에 들어간다고 합니다. 실제 실행에는 대화 기록 등을 위한 메모리가 더 필요하지만, 모델 자체가 차지하는 공간은 꽤 작습니다. 회사는 메일 분류나 일정 관리처럼 범위가 정해진 일을 예로 들며, 사용 목적에 맞게 조정해 기기 안에서 실행하는 방향을 제시했습니다.
가중치는 공개돼 있고 웹 Playground에서도 써볼 수 있습니다. 작은 기기에서 필요한 일에 맞춰 조정해 쓰는 모델입니다. 평소 쓰는 짧은 문장을 넣어 한국어로 얼마나 자연스럽게 답하는지부터 살펴봐도 좋겠습니다. 익숙한 노트북 안에서 어느 정도까지 해낼 수 있을지 궁금해지는 소식입니다.
1.6초보다 오래 보게 된 것
Noise의 기록표에는 22분, 5분, 47초처럼 점점 짧아지는 시간 옆에 코드를 바꾼 사람들의 이름이 붙어 있습니다. 처음에는 1.6초라는 숫자가 궁금해서 열었는데, 읽다 보니 그 중간 기록들이 더 재미있었습니다.
앞선 사람이 남긴 코드를 받아 고치고, 그 결과를 보고 또 다른 사람이 손을 댑니다. 이 방법이 큰 모델에서도 잘 될지는 아직 모릅니다. 그래도 어디를 바꿨고 얼마나 나아졌는지가 남아 있으니, 다음 사람이 시도할 자리가 보입니다.
이번 주에는 마지막 기록만 보지 않고, 그 사이에 무슨 일이 있었는지도 따라 읽어보면 좋겠습니다. 완성된 제품 발표에서는 보기 어려운 시행착오가 이 표 안에는 꽤 많이 들어 있습니다.