arXiv cs.AI 주간 리포트
기간: 2026년 8월 17일(월) ~ 8월 20일(목)
주간 신규 등재: 1,006편 (cs.AI 최신 목록 기준)
본 리포트 분석 표본: 97편 (8월 19일 신규 47편 초록 전문 + 8월 20일 50편 제목·분류)
생성일: 2026-08-21
이번 주 트렌드 요약
이번 주 cs.AI에 1,006편이 올라왔다. 화요일 하루에만 465편이다. 이 더미를 헤치고 보면 흐름은 하나로 모인다. 연구의 단위가 모델에서 시스템으로 옮겨갔다. 논문들은 모델이 무엇을 아는가를 묻지 않는다. 모델을 감싼 하네스(harness)가 무엇을 허락하고 무엇을 막는가를 묻는다. 두 번째 흐름은 평가의 자기의심이다. 벤치마크를 만드는 논문보다 벤치마크를 심문하는 논문이 많았다. 세 번째는 자율성의 벽이다. 사람이 방법을 알려주면 에이전트는 잘한다. 방법을 거두면 점수가 절반으로 떨어진다.
주제별 논문 분포 (표본 97편, 내용 기반 분류)
| 주제 | 논문 수 | 비중 |
|---|---|---|
| Agent & Planning | 21 | 21.6% |
| Benchmark & Evaluation | 17 | 17.5% |
| Science & Domain Application | 17 | 17.5% |
| Safety & Alignment | 11 | 11.3% |
| Reasoning & Logic | 9 | 9.3% |
| Efficiency & Compression | 6 | 6.2% |
| Knowledge & Memory | 5 | 5.2% |
| Foundation Model | 2 | 2.1% |
| Multimodal | 2 | 2.1% |
| Robotics & Embodied AI | 0 | 0.0% |
| Other | 6 | 6.2% |
| 미분류 | 1 | 1.0% |
주목할 트렌드
1. 하네스가 연구 대상이 되었다
올해 초까지 하네스는 배경이었다. 이번 주에는 주인공이다. Agent Lightning v1.0은 "하네스가 환경 상호작용 루프를 소유하고 학습기는 요청·응답 쌍만 본다"는 구도를 아예 '하네스형 에이전트 RL'이라는 이름으로 못박았다. LEGO-RL은 코딩 에이전트 하네스의 내부 흐름을 건드리지 않고 정책 경사 학습을 붙였다. Task-Aware Harness Provisioning은 하네스를 자원 배분 문제로 바꿔서, 냉각 설비 과제에서 전량 제공보다 토큰을 48% 덜 쓰고 정확도를 0.652에서 0.715로 올렸다. SkillEffect는 도구 호출이 메모리 한도를 넘지 않도록 실행 권한을 주기 전에 검사기가 프로그램을 재구성한다. 여섯 편이 서로 인용하지 않으면서 같은 단어를 쓴다. 용어가 굳는 중이다.
2. 평가가 스스로를 심문한다
이번 주 표본에서 벤치마크·평가 논문이 17편이다. 그중 절반 이상이 새 벤치마크를 내놓는 대신 기존 평가를 뜯는다. LLM 선호 판단은 하나의 효용함수로 요약되지 않는다는 논문, 소형 모델 안전 벤치마크에서 애매한 판정이 지배적이라 순위가 처리 방식에 따라 뒤집힌다는 논문, 정적 시계열 벤치마크 순위가 실시간 평가에서 크게 재편된다는 논문이 나란히 올라왔다. 사전등록(pre-registration)을 명시한 논문이 최소 세 편이다. MoE 라우터 지역성 연구는 아예 '사전등록된 음성 결과'를 제목에 달았다. 심리학이 겪은 재현성 위기의 처방을 AI 연구가 빌려 쓰기 시작했다.
3. 실행은 되는데 결정은 안 된다
ASI-Bench가 이 격차를 숫자로 박았다. 방법까지 다 알려주면 평균 50.91점, 방법만 지정하면 29.10점, 스스로 방법을 정하라 하면 26.62점이다. 무관한 정보를 섞어도 점수는 거의 그대로다(B4≈B3). 산만함이 문제가 아니라 판단이 문제다. 같은 주에 나온 「When AI Designs AI」는 이 결론을 다른 각도에서 받친다. 에이전트가 설계한 방법의 96.8%가 사람이 만든 설계 공간 안에 들어갔고, 그 절반 가까이는 기존 사람 설계와 정확히 일치했다. 에이전트는 조합한다. 아직 벗어나지 못한다.
4. 자기진화가 공격면을 키운다
금융 에이전트 자기진화 감사 논문이 대가를 계산했다. SkillOpt는 정상 과제 성능을 0.741에서 0.837로 올렸다. 같은 시간에 주입 콘텐츠 노출은 0.820에서 0.943으로, 무단 금융 상태 변경은 0.685로 올랐다. 노출 후 조건부 공격 성공률은 오히려 떨어졌는데(0.605→0.562) 전체 공격 성공률은 올랐다(0.496→0.530). 방어는 나아졌으나 문을 더 많이 열었다. GraphWake는 에이전트 메모리를 지속 채널로, 공개 토론을 전파 채널로 삼는 집단 양극화 공격을 정식화했다. 소수 에이전트에 논거를 심고, 중립적 토론으로 인출을 유도하고, 나머지가 퍼뜨린다. 사람 사회의 양극화 기제를 그대로 옮긴 설계다.
5. 비전과 로봇이 보이지 않는다
표본 97편에서 cs.CV, cs.RO 교차분류가 한 편도 없다. cs.LG(17), cs.CL(12), cs.CR(7), cs.CY(7), cs.SE(6)가 상위다. cs.AI를 주분류로 택하는 연구자의 관심이 언어모델 시스템·보안·소프트웨어공학 쪽으로 쏠려 있다. 비전과 로봇 연구는 cs.CV, cs.RO를 주분류로 달고 다른 목록에 실린다. cs.AI 목록만 보면 시야가 한쪽으로 기운다는 점을 염두에 두어야 한다.
주요 논문 심층 분석
[1] ASI-Bench: At the Dawn of Artificial Superintelligence
arXiv ID: 2608.17271
저자: Junwei Zhou, Zhen Sun, Binyu Li 외 40인
분류: cs.AI / Benchmark & Evaluation
중요도: 13/15 (참신성 5, 영향력 5, 완성도 3)
분석 수준: 본문(HTML) 정독
핵심 기여
사람의 방법론 지침을 단계적으로 걷어내면서 같은 연구 과제를 반복 측정한다. 문제와 채점 기준은 고정하고 지침만 줄인다. 이 '지침 기울기(guidance gradient)'가 기존 벤치마크에 없던 축이다.
방법론
11개 학문 분야에서 프로젝트 단위 연구 과제 60개를 만들었다. 전문가 40여 명이 31,000시간 넘게 들였다. 각 과제는 연구 목표, 전용 데이터, 실행 가능한 환경, 검증 가능한 산출물로 이루어진다. 조건은 넷이다. B1은 방법론을 전부 준다. B2는 방법만 지정한다. B3은 방법도 에이전트가 정한다. B4는 B3에 무관한 정보를 섞는다. 과제 60개를 끝까지 수행하면 상호작용 2,600턴, 실행 2,400단계, 에이전트 실행시간 35시간을 넘는다. 과제마다 AI 감사와 사람의 4회 교차검토를 거쳤고, 샌드박스에서 참조 해답과 채점 코드를 끝까지 돌려 검증했다.
실험 결과
에이전트×모델 조합 18개, 대개 3회 반복 평균이다.
| 백본 | B1 | B2 | B3 | B4 | 종합 | B3−B1 |
|---|---|---|---|---|---|---|
| GPT-5.6 Sol (ultra) | 71.78 | 49.57 | 51.60 | 50.41 | 55.84 | −20.18 |
| Claude Opus 5 | 72.29 | 45.80 | 40.70 | 42.39 | 50.29 | −31.59 |
| GPT-5.6 Sol (xhigh) | 62.75 | 42.96 | 40.86 | 40.74 | 46.83 | −21.89 |
| GLM-5.3 | 63.05 | 35.45 | 33.09 | 35.01 | 41.65 | −29.96 |
| GPT-5.5 (xhigh) | 57.57 | 35.28 | 29.29 | 30.46 | 38.15 | −28.27 |
| Kimi K3 | 55.79 | 35.24 | 27.78 | 29.57 | 37.09 | −28.02 |
| Claude Opus 4.8 | 52.48 | 36.25 | 31.73 | 29.59 | 37.51 | −20.76 |
| DeepSeek V4 Flash | 51.85 | 26.49 | 24.84 | 24.41 | 31.90 | −27.01 |
| Kimi K2.7 | 44.43 | 23.84 | 19.75 | 21.34 | 27.34 | −24.68 |
전체 평균은 B1 50.91, B2 29.10, B3 26.62다. 하락 폭은 모든 모델에서 20점을 넘는다. B1 점수가 가장 높은 Claude Opus 5가 하락 폭도 가장 크다(−31.59). B1 순위와 B3 순위가 어긋난다. 지침을 주었을 때 잘하는 모델이 지침을 뺐을 때도 잘하는 것은 아니다.
B4−B3은 대부분 ±2점 안이다. 무관한 정보를 섞어도 성능이 거의 변하지 않는다.
한계 및 향후 연구
과제 60개는 프로젝트 단위치고 적다. 분산이 크다. GPT-5.5는 B1에서 표준편차 5.74, Claude Opus 4.8은 6.27이다. 반복 3회로는 순위 차이를 단정하기 어렵다. Claude Opus 5는 단일 실행이라 분산 정보가 없다. 채점은 참조 산출물과의 대조에 기댄다. 참조와 다른 좋은 해답을 어떻게 대우하는지는 본문만으로 분명하지 않다. 저자들도 외부 도구 접근 없는 조건임을 명시한다.
왜 중요한가
AI 능력 논쟁이 대개 겉도는 이유는, 능력의 상승분이 모델에서 왔는지 사람의 문제 설정에서 왔는지 분리하지 못해서다. ASI-Bench는 사람의 기여분을 눈금으로 만들어 뺀다. 그 눈금 위에서 최고 성능이 51.60이다. '연구를 수행하는 AI'라는 말은 아직 '사람이 세운 방법을 실행하는 AI'라는 뜻이다. 자동화의 경제적 함의를 따질 때 이 구분은 결정적이다. 실행 자동화는 노동을 대체하지만, 방법 선택의 자동화라야 조직을 대체한다. 이번 주 데이터는 후자가 아직 멀다고 말한다.
[2] The Problem Is the Problem: Towards Scalable Mathematical Discovery
arXiv ID: 2608.16977
저자: Zeyu Zheng, Shengtong Zhang, Jeremy Avigad 외 2인 (CMU)
분류: cs.AI; math.CO / Science & Domain Application
중요도: 13/15 (참신성 5, 영향력 4, 완성도 4)
분석 수준: 초록 및 공개 정보
핵심 기여
사람이 문제를 고르고 결과를 검토하던 자리를 바꾼다. 사람은 '연구 방향'만 댄다. 시스템이 문헌에서 문제를 찾아내고, 풀어보고, 검토할 만한 것만 추천한다. 검색·추천 시스템의 캐스케이드 구조를 수학 발견에 옮겼다.
방법론
FAR(Find, Attempt, Recommend)는 문헌에서 검토까지 이어지는 다단 필터다. 조합론 논문 5,245편에서 출발해 추측·미해결 문제 6,453건을 뽑고, 잘 정의되고 아직 열려 있는 것 4,717건으로 거른다. 추론 단계와 자동 분류 단계가 잠재적 해결 598건을 뽑고, 그중 77건을 저자팀 검토로 올린다.
실험 결과
77건 가운데 Davies–Jenssen–Perkins–Roberts, Erdős–Straus, Ikenmeyer–Pak–Panova, Lund–Saraf–Wolf의 추측·질문에 관한 결과를 포함해 여러 발견을 확인했다. 5,245 → 6,453 → 4,717 → 598 → 77의 감쇠비가 이 방식의 실제 비용 구조를 보여준다.
한계 및 향후 연구
조합론 한 분야의 시범이다. 문헌에서 문제를 캐내는 방식은 이미 문헌에 적힌 문제만 다룬다. 진짜 새 문제를 세우는 일은 여전히 사람 몫이다. '흥미로운 발견'의 판정은 저자팀이 한다. 판정 기준의 재현성은 확인하기 어렵다.
왜 중요한가
희소 자원이 계산이 아니라 전문가의 주의력이라는 진단이 옳다. AI가 값싸지면 병목은 검증으로 옮겨간다. FAR는 검증 대상을 6,453건에서 77건으로 줄인다. 이것이 AI가 과학 생산성에 기여하는 가장 현실적인 경로일 수 있다. 발견하는 AI가 아니라 걸러주는 AI다.
[3] Fool's Gold: Defensive Deception Against Safety-Removal Attacks on Open-Weight Models
arXiv ID: 2608.17202
저자: Mark Russinovich (Microsoft)
분류: cs.AI; cs.CR / Safety & Alignment
중요도: 12/15 (참신성 5, 영향력 4, 완성도 3)
분석 수준: 초록 및 공개 정보
핵심 기여
공개 가중치 모델의 안전 정렬은 몇 분이면 벗겨진다. 저자는 막기를 포기하고 속이기를 택한다. 정렬이 벗겨진 상태에서 위험한 요청에 대해 유창하고 자신 있되 핵심이 틀린 답을 내놓도록 미리 심어 둔다.
방법론
공격을 미분 가능한 시뮬레이션 안에 넣고, 그 '공격당한 상태'에서만 발현하는 미끼 응답을 학습시킨다. 거부 핀(refusal pin)과 온건 목줄(benign leash)로 정상 상태의 행동은 원본에 붙들어 둔다. 9B부터 122B까지, 밀집 모델과 MoE를 포함해 다섯 계열 일곱 모델에 적용했다.
실험 결과
사전등록한 효능 관문을 통과한 여섯 모델에서 공격당한 상태 응답의 0.51~0.90이 미끼였고, 그중 0.27~0.84가 방어에 기인했다. 여섯 모델 모두 사전등록한 정상 행동·능력 예산 안에 머물렀다. 일곱 번째(더 작은) 모델은 관문을 통과하지 못했다. 외부 레드팀 벤치마크의 CBRNE 인접 구간에서, 방어된 122B는 품질이 대등한 응답의 0.82~0.86에서 치명적으로 틀렸다. 방어하지 않은 경우는 0.10 이하다. K=64 반복 표집으로 요소별 합의를 모아도 쓸 만한 절차를 복원한 비율은 0.083~0.625에 그쳤다(방어 없을 때 0.58~0.96).
한계 및 향후 연구
저자가 주장을 스스로 좁힌다. 이것은 인식론적 방어다. 독립적 근거 없이는 틀린 답과 맞는 답을 가르지 못한다는 것이 방어의 전부다. 화학·생물 위험만 평가했다. 문맥 내 탈옥은 다루지 않는다. 처음 배포한 방어된 가중치만 보호한다. 가장 약한 모델에서는 주장이 개별 생성 단위로 축소된다.
왜 중요한가
공개 가중치 모델을 둘러싼 정책 논쟁은 대개 배포할 것이냐 말 것이냐의 이분법에 갇힌다. 이 논문은 셋째 항을 제안한다. 배포하되 값을 매기지 않는다. 다만 방어의 성공 조건이 '공격자가 검증할 수단이 없을 것'이라는 점에서 윤리적으로 불편하다. 방어자는 의도적으로 틀린 정보를 세상에 푼다. 신뢰를 자원으로 소모하는 방어다. 지속 가능한지는 별개 문제다.
[4] Auditing Self-Evolution in Financial Agents
arXiv ID: 2608.17684
저자: Jialong Li, Jialing Zhu
분류: cs.AI / Safety & Alignment
중요도: 11/15 (참신성 4, 영향력 4, 완성도 3)
분석 수준: 초록 및 공개 정보
핵심 기여
자기진화 에이전트의 능력 향상과 보안 후퇴를 같은 실험 안에서 측정한다. 사후 정확도만 보면 보이지 않던 것을 드러낸다.
방법론
모의 인터넷뱅킹 환경에서 SkillOpt, Agent Workflow Memory(AWM), ReasoningBank 세 방식을 감사했다. 정상 학습 궤적을 맞추고, 평가 종점을 봉인하고, 실행 기반 검사와 독립 상태 재생을 붙였다.
실험 결과
Qwen 3.7 Flash에서 SkillOpt는 정상 효용을 0.741에서 0.837로 올렸다. 동시에 주입 콘텐츠 노출은 0.820에서 0.943으로, 무단 금융 상태 변경은 0.685로 올랐다. 노출 후 조건부 공격 성공률은 0.605에서 0.562로 떨어졌으나 전체 공격 성공률은 0.496에서 0.530으로 올랐다. 독립적으로 진화한 세 계통 모두에서 능력·노출·무단 상태 변경이 함께 올랐고, 공격 성공률은 셋 중 둘에서만 올랐다. ReasoningBank는 효용을 0.859까지 올리면서 총 공격 성공률을 올리지 않았다. AWM은 별개의 함정을 드러냈다. WebArena 텍스트 행동 봉투를 그대로 쓰면 도구 실행이 깨진다. 봉투만 걷어내자 효용이 0.319에서 0.756으로 돌아왔고, 노출은 0.299에서 0.909로, 공격 성공률은 0.195에서 0.575로 뛰었다.
한계 및 향후 연구
모의 환경이고 모델 하나다. 세 방식의 비교가 공정한지는 학습 궤적 일치 정도에 달려 있다. AWM 사례는 사후 민감도 분석이다.
왜 중요한가
"성능이 좋아졌다"는 문장이 왜 위험한지 보여준다. AWM의 낮은 점수는 안전해서가 아니라 도구가 깨져서였다. 깨진 것을 고치자 공격 성공률이 세 배로 뛰었다. 무능은 안전이 아니다. 실무자가 자율 에이전트를 도입할 때 추적해야 할 지표가 정확도 하나가 아니라 넷임을 이 논문은 구체적으로 말한다. 회귀, 공격면 접촉, 무단 상태 변경, 산출물과 실행기의 호환성이다.
[5] GraphWake: Group Polarization via Memory-Mediated Polarization Cascade in LLM-Agent Communities
arXiv ID: 2608.17665
저자: Haoran Bu, Zejian Chen, Litian Zhang, Xi Zhang
분류: cs.AI / Safety & Alignment
중요도: 11/15 (참신성 5, 영향력 4, 완성도 2)
분석 수준: 초록 및 공개 정보
핵심 기여
에이전트 프롬프트를 조작하거나 반향실을 짓는 기존 공격은 현실에서 실행하기 어렵다. 이 논문은 에이전트의 메모리를 지속 채널로, 공개 토론을 전파 채널로 쓰는 위협을 정식화한다.
방법론
세 단계다. 노출과 기억 보존 단계에서 공격자는 소수의 표적 에이전트에게 각자의 기존 입장을 강화하는 논거를 노출한다. 표적의 메모리가 이를 처리하고 보존한다. 인출과 재생 단계에서 입장 중립적인 공개 토론이 표적을 자극해 보존한 논거를 꺼내게 한다. 반복 전파 단계에서 손대지 않은 에이전트들이 그 논거를 다시 말하고 퍼뜨린다. 구현은 입장지지 논증 지식그래프, 공리 지향 삼중항 선별, 입장 중립적 메모리 단서 세 요소로 이루어진다.
실험 결과
여러 토론 주제와 여러 메모리 시스템에서 집단 양극화가 크게 증가했다. 초록에 정량 수치가 없다.
한계 및 향후 연구
정량 결과가 초록 수준에서 드러나지 않는다. 시뮬레이션 규모와 에이전트 수, 양극화 측정 방식을 본문에서 확인해야 한다. 실제 플랫폼에서의 재현 가능성은 별개다.
왜 중요한가
공격의 우아함이 무섭다. 공격자는 거짓말을 심지 않는다. 표적이 이미 믿는 것을 강화할 뿐이다. 그리고 중립적 질문 하나로 인출을 유도한다. 사람 사회의 양극화가 작동하는 방식과 정확히 같다. 에이전트가 사람을 대신해 공론장에서 말하기 시작하면, 여론 조작의 단가가 급격히 내려간다. 기술 진보가 사회 응집에 미치는 영향을 볼 때 이 논문은 초기 신호로 읽을 만하다.
[6] Agent Lightning v1.0 / LEGO-RL — 하네스형 에이전트 RL
arXiv ID: 2608.17528, 2608.17393
저자: Zhiyuan He 외 9인 (Microsoft) / Yiming Du 외 11인
분류: cs.AI; cs.SE / Agent & Planning
중요도: 11/15
분석 수준: 초록 및 공개 정보
핵심 기여
배포 시점의 하네스가 모델 사후학습에 직접 참여한다. 학습기는 환경을 보지 못하고 LLM 요청·응답 쌍만 본다. 이 구도가 재토큰화, 표본 병합, 이점 계산, 손실 정규화, 백엔드 스케줄링에 새 문제를 만든다.
방법론
Agent Lightning v1.0은 약 3,500줄로 임의의 에이전트 하네스를 붙인다. LEGO-RL은 세 기둥으로 접근한다. 하네스 내부 제어 흐름을 고치지 않고 인프로세스 LLM 프록시로 원시 생성 스트림을 잡아 토큰 단위로 정렬하고, 샌드박스 오케스트레이션으로 보상 해킹을 막고, 플러그인으로 검증·모니터링을 자동화한다.
실험 결과
Agent Lightning: 학습 예제 6K와 적당한 계산으로 Qwen3.5-9B의 SWE-bench Verified 점수를 41.8%에서 56.4%로 올렸다(+14.6점). LEGO-RL: Qwen3.5-35B-A3B를 GSPO로 학습해 OpenHands SDK 64.0%→70.4%, Claude Code 62.4%→68.2%, OpenCode 57.2%→66.6%를 얻었다. 롤아웃-학습 확률 상관은 0.99를 넘는다.
한계 및 향후 연구
두 논문 모두 자사 프레임워크를 소개한다. 비교 기준선의 공정성을 본문에서 따져야 한다. 6K 예제로 14.6점을 얻었다는 주장은 기준선 하네스의 초기 상태에 크게 의존한다.
왜 중요한가
같은 모델이 하네스에 따라 57.2%에서 70.4%까지 움직인다. 모델 성능표를 읽는 방식을 바꿔야 한다는 뜻이다. 벤치마크 점수는 이제 모델의 속성이 아니라 모델과 하네스의 짝의 속성이다.
[7] Wuying-Browser-Agent: Real-World Centric Fundamental Long-Horizon Browser Agents
arXiv ID: 2608.17319
저자: AIMAE Team (41인)
분류: cs.AI / Agent & Planning
중요도: 10/15
분석 수준: 초록 및 공개 정보
핵심 기여
짧고 깨끗한 시연에서 잘하는 브라우저 에이전트가 실전에서 무너지는 이유를 규모가 아니라 정렬의 문제로 본다. 실행, 감독, 최적화, 평가 네 층을 모두 손본다.
방법론
구조화된 브라우저 하네스가 안정적 실행 원시연산과 의사결정 중심 문맥 관리를 제공한다. RUIC-SFT는 실패 복구 궤적과 복잡한 UI 상호작용을 명시적으로 학습시킨다. DAO-GRPO는 잠재력 기반 보상 성형과 발산 인식 단계 가중으로 장기 신용 할당을 개선한다. 기존 벤치마크가 너무 짧아 장기 실패를 못 잡는다는 판단에서 평균 37.9단계짜리 350개 이중언어 실제 웹 과제 BrowserBench를 새로 만들었다.
실험 결과
27B 모델로 WebVoyager 80.6%, Online-Mind2Web 66.7%, BrowserBench 65.1%를 기록해 브라우저 사용 벤치마크에서 오픈소스 최고를 주장한다. 같은 파이프라인이 Tau2-Bench, Claw-Eval, BFCL-v4 평균 73.8로 전이된다.
한계 및 향후 연구
BrowserBench는 저자가 만든 벤치마크다. 자체 벤치마크에서의 65.1%는 외부 검증이 필요하다. 실제 웹은 변한다. 재현성 관리가 관건이다.
왜 중요한가
평균 37.9단계라는 숫자가 핵심이다. 기존 브라우저 벤치마크가 짧아서 실패를 못 봤다는 지적은 이번 주 평가 자기의심 흐름과 정확히 맞물린다. 그리고 오픈소스 27B가 이 수준에 도달했다는 사실은 브라우저 자동화의 진입장벽이 빠르게 내려가고 있음을 뜻한다.
[8] When AI Designs AI: Innovation or Imitation?
arXiv ID: 2608.17471
저자: Yikang Yang 외 6인
분류: cs.AI; cs.LG / Benchmark & Evaluation
중요도: 11/15
분석 수준: 초록 및 공개 정보 (본문 수집은 요청 한도로 중단)
핵심 기여
에이전트가 설계한 방법이 사람의 설계와 얼마나 다른지를 모듈 단위로 정량화한다. 성능 비교가 아니라 설계 공간 비교다.
방법론
사람이 만든 방법들에서 과제별 알고리즘 설계 공간을 도출한다. 사람과 에이전트의 방법을 같은 공간에 사상하고 모듈 수준 차이를 잰다. 여러 양식에 걸친 개방형 AI 과제에서 널리 쓰이는 LLM 에이전트를 평가했다.
실험 결과
72개 설정 중 10개에서 에이전트가 사람 최고 성능을 따라잡거나 넘었다. 그러나 과제나 에이전트를 바꾸면 재현되지 않았다. 에이전트 설계의 96.8%가 사람에게서 도출한 설계 공간 안에 들어갔고, 절반 가까이는 기존 사람 설계와 정확히 일치했다.
한계 및 향후 연구
설계 공간을 사람의 방법에서 도출했으므로, 사람 공간 밖의 설계를 표현할 자리가 애초에 없다. 96.8%라는 수치는 이 순환성 때문에 위쪽으로 치우쳤을 가능성이 있다. 저자들이 이 문제를 어떻게 다뤘는지는 본문 확인이 필요하다.
왜 중요한가
'AI가 AI를 개선한다'는 서사가 재귀적 자기개선 논의의 핵심 전제다. 이 논문은 그 전제를 재조합과 창안으로 나눈다. 현재 확인되는 것은 재조합이다. 10/72라는 성공 비율도, 재현되지 않는다는 단서와 함께 읽어야 한다.
전체 논문 목록 (주제별)
Agent & Planning (21편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | SkillEffect: Checked Lowering for Memory-Bounded Agent Tools | 2608.17007 | 도구 호출 메모리 한도 검증 |
| 2 | KernelArc: Multi-Agent Framework for GPU Kernel Optimization | 2608.17071 | 다중 에이전트 GPU 커널 최적화 |
| 3 | Synthesizing Feature Extractors for Algorithm Selection | 2608.17170 | 특징추출기 자동 합성 |
| 4 | DeAR: Decentralized Agentic Reasoning | 2608.17282 | 중앙 없는 P2P 에이전트 협업 |
| 5 | PlanPO: Group Planning-Aware Policy Optimization | 2608.17289 | 성공 궤적 간 효율 차이 반영 |
| 6 | Wuying-Browser-Agent | 2608.17319 | 장기 브라우저 에이전트 SOTA |
| 7 | LEGO-RL: Harness-Native RL for Coding Agents | 2608.17393 | 하네스 그대로 정책경사 학습 |
| 8 | Task-Aware Harness Provisioning | 2608.17433 | 하네스를 자원배분 문제로 |
| 9 | SAGE: Self-Evolving Storyboard Skills | 2608.17468 | 연출 지식 규칙 진화·라우팅 |
| 10 | FACA: Feedback-Aware Credit Assignment | 2608.17499 | 다음 턴 반응으로 국소 신용 |
| 11 | Agent Lightning v1.0 | 2608.17528 | 하네스형 에이전트 RL 프레임 |
| 12 | Eureka: Task-Conditioned Meta-Agent Orchestration | 2608.19047 | 과학 발견용 메타 에이전트 |
| 13 | SkillGate: In-Policy Skill Selection | 2608.18852 | 장기 에이전트 스킬 선택 학습 |
| 14 | ORBITER: Agentic Last-Mile Delivery | 2608.18846 | 충돌 인식 배송 의사결정 |
| 15 | A Multi-Agent Platform for Enterprise Analytics | 2608.18740 | 기업 분석 자동화 플랫폼 |
| 16 | RTPO: Reverse-Turn Policy Optimization | 2608.18682 | 에이전트 RL 학습 안정화 |
| 17 | FACET: Terminal Task Synthesis | 2608.18580 | 원본 의도·실행상태 보존 |
| 18 | Bridging Search and CRM | 2608.18543 | 고객 재참여 리서치 에이전트 |
| 19 | Governance Records as Supervision | 2608.18324 | 거버넌스 기록으로 자기학습 |
| 20 | Looped Language Models Improve Tool Calling | 2608.18171 | 루프 구조로 조합적 도구 호출 |
| 21 | Adversarial Review: Grounded Agentic Code Review | 2608.18167 | 구조화된 이견으로 코드 리뷰 |
Benchmark & Evaluation (17편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | KnowSim: Information Calibration with User Simulators | 2608.17150 | 지식상태 갖는 사용자 시뮬레이터 |
| 2 | Benchmarking the Benchmarks (SLM Safety) | 2608.17183 | 애매판정이 순위를 뒤집는다 |
| 3 | Logit-Based Energy Scoring for Hypothesis Ranking | 2608.17270 | 내재 확신이 판사 프롬프트보다 낫다 |
| 4 | ASI-Bench | 2608.17271 | 지침 기울기로 자율성 측정 |
| 5 | LiveHouse-TS: Open-world Living Benchmark | 2608.17299 | 정적 순위가 실시간에서 재편 |
| 6 | When AI Designs AI | 2608.17471 | 96.8%가 사람 설계공간 안 |
| 7 | LLM Preference Judgments Are Not Self-Consistent | 2608.17644 | 단일 효용함수로 요약 불가 |
| 8 | TestifAI: Tomography-Based Testing | 2608.18900 | 딥러닝 시스템 단층촬영 테스트 |
| 9 | Metrics That Write Themselves | 2608.18744 | 평가자가 자기 맹점에서 진화 |
| 10 | Competence, Not Accuracy | 2608.18719 | 참조 없는 판사 게이트 진단 |
| 11 | FinRCA-Bench | 2608.18534 | 금융 근거검색·추론 벤치마크 |
| 12 | FM-Bench: Long-Horizon Management | 2608.18423 | 경쟁 에이전트 장기 경영 과제 |
| 13 | A Jagged Frontier: Code Agent Robustness | 2608.18389 | 의미보존 변형에 취약 |
| 14 | Measuring the Partial-Credit Gap | 2608.18336 | 부분점수 채점 체계 벤치마크 |
| 15 | ComponentBench | 2608.18307 | 컴퓨터 사용 에이전트 부품별 실패 |
| 16 | SESSE: LLM-as-Judge via Structured Decomposition | 2608.18303 | 판정을 다섯 단계로 분해 |
| 17 | The Lifecycle of LLM-as-a-Judge | 2608.18300 | 대규모 추천 설명 판정 운영 |
Science & Domain Application (17편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | GxP-Agent: Clinical Trial Programming | 2608.16890 | DAG 토폴로지로 100% 구조 일치 |
| 2 | FedPref: Federated Radiology Report Extraction | 2608.16971 | 데이터 적은 병원이 더 이득 |
| 3 | The Problem Is the Problem (FAR) | 2608.16977 | 문헌 5,245편에서 77건 추림 |
| 4 | LLMs for Medical Consultation: Preformulation Gap | 2608.17330 | 첫 접촉 행동을 직접 평가하라 |
| 5 | Cognitive Graph Intelligence for DDoS Detection | 2608.17352 | 그래프 GAN으로 불균형 극복 |
| 6 | SGHA: Evidence-Grounded Problem Discovery | 2608.17501 | 9B 로컬 모델로 연구문제 발굴 |
| 7 | Aerial Crowd Monitoring at Mass Gathering Scale | 2608.17625 | 라벨 없이 31~49% 오차 회복 |
| 8 | Adaptive Memory and Reflection MAS for Medical QA | 2608.19029 | 의료 QA 다중 에이전트 |
| 9 | Self-prompting and Cross-model Consensus | 2608.19025 | 문헌 데이터 추출 재현성 |
| 10 | DentAgent: Multimodal Dental Reasoning | 2608.18878 | 근거 중심 치과 다중 에이전트 |
| 11 | Verifiable Abstention in Water Distribution Networks | 2608.18836 | 누수 진단에 책임성 부여 |
| 12 | Sanyu Studio: Art-Historical Narrative | 2608.18677 | 미술사 서사 구성 다중 에이전트 |
| 13 | Candidate-Fate Accounting for Sensor Diagnostics | 2608.18665 | 투명한 진단 파이프라인 탐색 |
| 14 | CTIFoundry: Cyber Threat Intelligence Corpus | 2608.18613 | 에이전트 친화 위협정보 말뭉치 |
| 15 | Safe Wearable Stress Classification | 2608.18397 | 구조적 모호성 탐지 |
| 16 | Structured Extraction in High-Risk Public Sector | 2608.18289 | 공공 고위험 영역 개방모델 평가 |
| 17 | GenEx: SARS-CoV-2 Variant Detection | 2608.18238 | 코돈 공출현 네트워크 그래프 |
Safety & Alignment (11편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | Runtime Governance for Agentic AI (Aegis) | 2608.16891 | 모델은 제안, 런타임이 결정 |
| 2 | DiSCO: Defending Text-to-Image Generation | 2608.17067 | 완전 블랙박스 프롬프트 방어 |
| 3 | Fool's Gold: Defensive Deception | 2608.17202 | 정렬 제거를 미끼로 무력화 |
| 4 | RATTL: Belief-Dependent Robustness | 2608.17574 | 신념에 따라 조심성 조절 |
| 5 | TRUSS: Safe Agent Skill Generation | 2608.17588 | 취약점 탐지 정밀도·재현율 100% |
| 6 | GraphWake: Memory-Mediated Polarization Cascade | 2608.17665 | 메모리를 지속 채널로 쓰는 공격 |
| 7 | Auditing Self-Evolution in Financial Agents | 2608.17684 | 능력과 공격면이 함께 는다 |
| 8 | Detecting Covert Coordination in Latent Comms | 2608.19161 | 잠재 공간의 은밀한 담합 탐지 |
| 9 | Robust Risk Under Evolving Uncertainty | 2608.19073 | Wasserstein EVaR 대응물 |
| 10 | Breaking the Weakest Link to Evade VLMs | 2608.18938 | 시각언어모델 회피 공격 |
| 11 | Redakto: The Incognito Tab for LLMs | 2608.18260 | LLM용 프라이버시 모드 |
Reasoning & Logic (9편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | A Decodability Criterion (CASE) | 2608.17124 | 은닉상태 선택이 다수결 이기는 조건 |
| 2 | SignalReasoner | 2608.17301 | 3B로 신호수학 12.37→39.12% |
| 3 | LLM-Only PDDL Domain Repair | 2608.17341 | F1 .87이나 제약 보장 실패 |
| 4 | Graph Surgery and the Do-Operator | 2608.17634 | 그래프 수술과 개입의 정확한 대응 |
| 5 | Beyond the Trace: J64/R64 Readout | 2608.17638 | MoE 라우팅으로 추론상태 읽기 |
| 6 | A Theory of Post-hoc Debate Judgement | 2608.19002 | 사후 토론 판정 이론 |
| 7 | Pairwise Logical Selection of Enthymeme Completions | 2608.18820 | 생략삼단논법 보완 선택 |
| 8 | Preference Reasoning under Indeterminacy | 2608.18631 | 불확정 상황의 선호 추론 |
| 9 | NL Combinatorial Optimization via Formal Abstractions | 2608.18409 | 형식적 추상화로 정확도 향상 |
Efficiency & Compression (6편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | The Price of Thinking | 2608.16956 | 추론 노력 명시가 비용만 올렸다 |
| 2 | TileMix: Tile-Centric Mixed-Precision Attention | 2608.17336 | 타일 단위 정밀도 라우팅 |
| 3 | MoNe: Modular Neural Memory | 2608.17616 | 128K에서 계산·메모리 80% 절감 |
| 4 | Training-Free Self-Reflection with Early Stopping | 2608.18884 | 비용 한도 안에서 조기 종료 |
| 5 | Lightweight Model Estimates LLM Reasoning Performance | 2608.18591 | 계산 최적 문서 추론 |
| 6 | Cacheable by Design? (Pre-registered Negative) | 2608.18261 | 사전등록 음성 결과 |
Knowledge & Memory (5편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | Memory Is Communication | 2608.17053 | 기억·신호 전선(frontier) 제안 |
| 2 | Explicit State Elicitation Is Not Enough | 2608.17247 | 메모리 정책 분류 감사 프로토콜 |
| 3 | SIRLM: Structure-Internalized Rule LM | 2608.17443 | 지식그래프 근거 이탈 교정 |
| 4 | Syntactic Simplification of OWL Class Expressions | 2608.18899 | OWL 클래스 표현 단순화 |
| 5 | RDFdL: RDF with Differential Dynamic Logic | 2608.18165 | RDF와 미분동적논리 결합 |
Foundation Model (2편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | When to Review: Spaced Repetition Training | 2608.17530 | SM-2로 복습 일정 짜기 |
| 2 | What is Missing from AI Post-Training AI | 2608.19072 | 사후학습의 빈틈 실증 분석 |
Multimodal (2편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | Which Negatives Matter? | 2608.18521 | 적응형 유사도 마진 |
| 2 | UMER: Universal Multimodal Retrieval | 2608.18504 | 임베딩과 랭킹 통합 |
Robotics & Embodied AI (0편)
표본에 해당 논문이 없다.
Other (6편)
| # | 제목 | arXiv ID | 한줄 요약 |
|---|---|---|---|
| 1 | Toward Personal Intelligence Through Cooperative Observation | 2608.17128 | 관찰 병목의 협력적 구조 |
| 2 | Depth Enables Local Entropy | 2608.17434 | 깊이의 이차 의존성 증명 |
| 3 | Grouping the Stochastic Machine | 2608.19140 | 능력 아닌 정밀도가 지표 |
| 4 | Tuning the Stochastic Machine | 2608.19125 | 시스템 엔지니어의 운영 모델 |
| 5 | Pairwise Ranking Outperforms Single-Action RL | 2608.18531 | 오프라인 설명 선택의 교훈 |
| 6 | Triangle Inequality for Jaccard Distance | 2608.18194 | 임의 격자에서의 삼각부등식 |
arXiv 서브카테고리별 분포 (표본 97편, 교차분류 기준)
| 서브카테고리 | 논문 수 |
|---|---|
| cs.AI (전편 주분류) | 97 |
| cs.LG (Machine Learning) | 17 |
| cs.CL (Computation and Language) | 12 |
| cs.CR (Cryptography and Security) | 7 |
| cs.CY (Computers and Society) | 7 |
| cs.SE (Software Engineering) | 6 |
| cs.MA (Multiagent Systems) | 5 |
| cs.HC (Human-Computer Interaction) | 3 |
| cs.IR (Information Retrieval) | 3 |
| cs.PL (Programming Languages) | 2 |
| math.CO (Combinatorics) | 2 |
| cs.CV (Computer Vision) | 0 |
| cs.RO (Robotics) | 0 |
| cs.NE (Neural and Evolutionary Computing) | 0 |
| 기타 (cs.PF, cs.DB, cs.GT, cs.DM, cs.FL, cs.LO, stat.ML, math.NT, q-bio.QM 각 1) | 9 |
요일별 등재량
| 요일 | 날짜 | 논문 수 |
|---|---|---|
| 월 | 8월 17일 | 185 |
| 화 | 8월 18일 | 465 |
| 수 | 8월 19일 | 170 |
| 목 | 8월 20일 | 186 |
| 합계 | 1,006 |
(참고: 직전 금요일 8월 14일은 204편으로, 지난주 집계에 든다.)
화요일 465편은 나머지 사흘 평균의 두 배가 넘는다. 학회 마감이 겹쳤을 가능성이 크다. 초록에 ICML 2026 워크숍, COLM 2026, ECML 2026, IJCAI-ECAI 2026, RecSys 2026, MICCAI 2026, IEEE SMC 2026 채택 표기가 흩어져 있다.
분석 메모
방법과 한계를 먼저 밝힌다. 이번 주 수집은 완전하지 않다. arXiv 최신 목록은 한 쪽에 50편만 보여주고 페이지 이동에 질의 문자열을 쓴다. 이번 실행에서 웹 수집 도구가 질의 문자열을 떨어뜨려, 어떤 페이지를 부르든 첫 50편만 돌아왔다. 브라우저 경로도 연결된 크롬이 없어 막혔다. 그래서 전체 1,006편 대신 두 갈래를 썼다. 8월 19일 신규 등재 목록에서 초록 전문이 붙은 47편, 그리고 8월 20일 목록 첫 쪽의 제목·분류 50편이다. 합쳐 97편, 주간 물량의 9.6%다. 요일별 등재량과 주간 총량은 원본 목록에서 확인한 수치라 정확하다. 주제 분포와 서브카테고리 분포는 이 97편 표본의 값이며 주간 전체를 대표한다고 단정할 수 없다. 특히 8월 18일 465편이 통째로 빠졌다는 점, 8월 20일 표본은 목록 앞쪽(최신 등재순)에 치우쳤다는 점을 감안해야 한다. 본문까지 읽은 논문은 ASI-Bench 한 편이다. 나머지 심층 분석은 초록과 공개 정보에 근거한다. 이번 주 arXiv 초록들이 결과 수치를 이례적으로 상세히 담고 있어 분석에 큰 지장은 없었으나, 방법론의 미세한 판단은 본문 확인이 필요하다.
다음 주에 볼 것. 하네스 용어가 굳는 속도를 보겠다. 이번 주에만 여섯 편이 서로 인용 없이 같은 말을 썼다. 개념이 이렇게 퍼지면 두세 달 안에 표준 프레임워크가 하나 남는다. Agent Lightning은 verl Uni-Agent, AReaL 2.0, slime, Polar가 자기 구조를 따랐다고 적었다. 이 계보를 따라가면 흐름이 보인다.
두 번째로 볼 것. 사전등록 논문의 비율이다. 이번 주 표본에서 최소 세 편이 사전등록을 명시했다. AI 분야에서 이는 새롭다. 음성 결과를 제목에 다는 논문이 늘어난다면, 이 분야의 지식 축적 방식이 바뀌는 신호다.
세 번째로 볼 것. ASI-Bench 리더보드다. 저자들이 공개 확장을 선언했다. B3 점수가 어떤 속도로 오르는지가 자율성 논쟁의 실증 자료가 된다. 지금은 51.60이 최고다.
수집 문제는 고쳤다. arXiv /list/cs.AI/new 경로는 질의 문자열 없이도 초록 전문을 함께 준다. 이 경로를 매일 한 번씩 받아 쌓도록 스킬을 고쳤고, 평일 오전 10시에 도는 일일 수집 작업(daily-arxiv-collect)을 붙였다. 다음 주 리포트부터는 닷새치가 쌓인 캐시를 재료로 쓴다. 표본이 이번 주의 몇 배로 는다.
곁딸린 파일. 같은 폴더의 arxiv_papers_2026-08-21.csv 는 이번에 새로 만든 파서가 기계적으로 뽑아낸 48편의 목록이다. 이 리포트가 다룬 97편 전체가 아니라, 초록까지 확보한 8월 19일치가 대부분이다. 파이프라인을 시험하며 남은 첫 산출물로 보면 된다. 다음 주부터는 리포트와 CSV의 범위가 일치한다.
본 리포트는 arXiv cs.AI 자동 분석 스킬로 생성했다.
본문 정독: 1편 / 초록 정독: 47편 / 제목·분류 확인: 50편 / 주간 전체 등재: 1,006편