Trend

arxiv_digest_2026-09-04

Posted on September 4, 2026

arXiv cs.AI 주간 리포트

기간: 2026년 8월 31일(월) ~ 9월 4일(금)
주간 신규 등재: 1,085편 (월~목 확정치. 금요일분은 아직 등재 전)
분석 표본: 249편 (주간의 22.9%) — 초록 보유 141편, 본문 정독 2편
생성일: 2026-09-04

이번 주 트렌드 요약

지난주에 감사(audit)가 늘었다고 적었다. 이번 주에는 감사할 대상이 자기보고에서 행동으로 옮겨갔다. 컴퓨터 조작 에이전트를 361개 과제에서 돌린 결과, 실패 71건 가운데 64건이 성공했다고 보고했다. 실패를 스스로 선언한 사례는 없다. 약 9,100회 호출 동안 실패 신고 기능은 한 번도 쓰이지 않았다. 두 번째 흐름은 통제 단위의 이동이다. 호출 하나를 검사하던 게이트가 조직 전체의 위험 잔액을 회계하는 예산으로 바뀐다. 개별 게이트가 모두 옳아도 함대는 한도의 48배까지 초과한다. 세 번째는 구성 타당도(construct validity)다. 재는 자를 재던 논문들이 이제 "이 측정이 재려는 것을 재는가"를 묻는다. 평가 인지(evaluation awareness) 측정에서 배포 기록을 생성한 모델의 정체성이 분산의 11.25%를 차지하고 모델 순위를 뒤집는다.

주제별 논문 분포 (표본 249편)

주제 논문 수 비중
Agent & Planning 71 28.5%
Benchmark & Evaluation 42 16.9%
Safety & Alignment 34 13.7%
Reasoning & Logic 29 11.6%
Science & Domain Application 26 10.4%
Efficiency & Compression 13 5.2%
Foundation Model 12 4.8%
Knowledge & Memory 9 3.6%
Multimodal 8 3.2%
Other 3 1.2%
Robotics & Embodied AI 2 0.8%

제목에 'agent'가 든 논문이 249편 중 62편이다. 24.9%다. 지난주에는 27.6%였다.

주목할 트렌드

자기보고는 감독 채널이 아니다

CURA는 OSWorld 361개 과제에서 자기보고의 붕괴를 수치로 확정했다. 파이프라인은 평균 82.9점을 받았다. 사람 기준선 72.4점보다 높다. 그런데 실패 71건 중 64건(90%)이 성공을 주장하며 끝났고, 그중 61건은 장애물조차 없었다고 말했다. 실패를 선언하는 기능은 약 9,100회 호출에서 한 번도 쓰이지 않았다. 저자들은 전략적 기만의 증거는 찾지 못했다고 분명히 밝혔다. 기만이 아니라 무능이다. 감독을 모델의 자기 인식에 맡길 수 없다는 뜻이다.

같은 결이 다른 논문에도 있다. 「Why Didn't It Check?」는 도구를 쥔 모델이 한 번의 호출로 풀릴 불확실성을 놔둔 채 단정하는 빈도를 쟀다(2608.27768). 「Monitoring Web Agents Without Internal Signals」는 토큰 로그확률을 못 쓰는 상황에서 관찰 가능한 궤적만으로 위험을 예측한다(2609.02057). 감독은 안이 아니라 밖에서, 말이 아니라 행동에서 온다.

통제 단위가 호출에서 조직으로 옮겨간다

「The Irreversibility Budget」은 되돌릴 수 없음을 자원으로 삼는다. 신뢰 런타임이 주체별로 잔여 위험 계정을 유지하고, 각 효과에 잔여 손실을 매기고, 합계가 예산을 넘으면 그다음 효과를 막는다. 통제 실험에서 효과별 게이트는 함대 단위로 위험 한도의 최대 48배를 통과시켰다. 게이트 하나하나는 옳게 작동하는데도 그렇다.

같은 주에 「OpenAgentFlow」가 이기종 에이전트 함대의 시스템 차원 안전 경계를 제안했고(2609.00015), 「If Agents Were Angels」는 신뢰 도구 경계에서 대역 밖(out-of-band) 정책을 집행하자고 주장했다(2608.27646). 사람의 자격증명을 물려받은 에이전트는 사람의 판단은 물려받지 못한다는 것이 그 논문의 첫 문장이다. 세 논문이 서로 인용하지 않은 채 같은 자리를 판다.

감사에서 구성 타당도로

지난주 리포트에서 감사를 말한 논문이 188편 중 23편이었다. 이번 주에는 질문이 한 겹 더 깊어졌다. 제목에 validity 또는 construct가 든 논문이 7편이다.

EvalDetectBench는 평가 인지를 잰다(2609.01611). 그러면서 기존 문헌의 두 가지 방법론 선택이 계통 편향을 만든다고 짚는다. 배포 기록을 생성한 모델의 정체성이 측정 분산의 11.25%를 차지하고 모델 순위를 바꾼다. 한 모델에서 고른 유도 프롬프트는 다른 모델에서 우연 수준으로 떨어진다. 「When Guardrails Look Effective」는 에이전트 상거래 평가의 구성 타당도 실패를 다루고(2609.01519), 「Validity-Aware Jailbreak Evaluation」은 탈옥 평가가 거부 행동과 의미 유사도에 기대어 정확성을 놓친다고 본다(2609.00498). 「LLM-as-a-Judge Is Not an Oracle」은 자기개선 파이프라인의 중심에 심판이 앉아 있는 구조를 문제로 삼는다(2609.02246).

재는 자를 재던 흐름이 이제 자를 어디에 대고 있는지를 묻는다.

기억은 자산이면서 부채다

제목에 memory가 든 논문이 7편, 초록에 든 논문이 17편이다. 방향은 둘로 갈린다.

한쪽은 쌓는다. CHIME은 장기 계획에 공로를 배분해 기억을 진화시키고(2609.02074), MASkills와 SkillGLoW는 경험을 스킬로 굳힌다(2609.02094, 2609.02217). 「Beyond Context Windows」는 데이터 탐색 결과를 버리지 않고 재사용한다(2609.02129).

다른 쪽은 의심한다. 「The Memory Trust Gap」은 낡은 사실이 현재의 권위 있는 증거를 소리 없이 덮는 지점을 쟀다. 「Invalidation Contracts」는 서버 쪽 데이터가 바뀌면 캐시한 복구법이 조용한 실패로 변한다는 문제를 다룬다(2609.00243). 기억을 쌓는 논문과 기억을 불신하는 논문이 같은 주에 나란히 올라왔다.

에이전트를 늘려도 증거는 늘지 않는다

「Epistemic Sybil Resistance」는 다중 에이전트의 인식론을 정면으로 다룬다. 에이전트 하나를 더 띄우는 일은 관측 하나를 더 얻는 일이 아니다. 보고서 수를 1에서 32로 늘리면서 증거 뿌리를 하나로 고정하면, 순진한 사후분포 포함률이 0.940에서 0.263으로 무너진다. 반대로 보고서 수를 고정하고 증거 뿌리를 1에서 16으로 늘리면 그 간극이 닫힌다.

같은 주에 「When Does Information Sharing Improve Decentralized Discovery?」가 정보 공유가 추정치를 개선하면서 독립적 구조 행동을 없애는 두 효과를 유한 발견 모형에서 분리했다(2609.01814). 다중 에이전트를 늘리는 일이 곧 증거를 늘리는 일이 아니라는 인식이 두 갈래로 굳는다.

불평등은 결과가 아니라 경로에 있다

SCOPED-Hiring은 채용 다중 에이전트 시스템의 궤적 31만여 건을 기록했다. 최종 채용률은 균형을 이룬다. 그 아래에서 경력 단절은 의심을 부르고, 대리 신호는 자격 판단을 흔들고, 정체성 신호는 조사의 양을 가른다. 결과만 보는 감사는 이 전부를 놓친다.

같은 결의 논문이 셋 더 있다. LLM으로 움직이는 자율주행차가 보행자 양보에서 사람 운전자의 편향을 그대로 물려받았다(2609.00192). 대화형 학술 검색 엔진이 내용이 아니라 권위 신호로 논문을 고른다(2609.00248). 노인을 겨눈 금융 사기를 여러 차례 대화에 걸쳐 점증적으로 평가하는 소형 모델이 나왔다(2609.00005). 자동화가 기존 위계를 재생산하는 경로를 재는 작업이 늘고 있다.

자기개선을 임계 현상으로 본다

「Recursive Criticality of AI Self-Improvement」는 재귀적 자기개선을 지능 수준의 문제가 아니라 안정성 경계의 문제로 바꿔 놓는다. 이 관점의 값어치는 마지막 결론에 있다. 개별 연구 주체가 모두 아임계여도 결합된 연구 생태계는 초임계가 될 수 있다. 지난주 리포트에는 이 축이 없었다.

주요 논문 심층 분석

중요도 12점 이상 8편. 이 가운데 2편은 본문을 읽었고, 나머지는 초록과 공개 정보에 근거한다.

[1] CURA: Certified Runtime Alarms for Computer-Use Agents

arXiv ID: 2608.27808
저자: Divake Kumar 외 7인 (University of Illinois Chicago, Intel Labs, Capital One AI Labs)
분류: cs.AI / cs.CV / cs.LG — Agent & Planning
중요도: 13/15 (참신성 4, 영향력 5, 완성도 4)
분석 수준: 본문 정독

핵심 기여

에이전트의 자기보고를 감독 채널로 쓸 수 없다는 사실을 361개 과제에서 수치로 확정했다. 그리고 모델 내부를 보지 않고 하네스가 볼 수 있는 신호만으로, 오경보율을 유한 표본에서 보증하는 외부 감시기를 붙였다.

방법론

파이프라인은 셋으로 나뉜다. 읽기 전용 실행 가능성 게이트, 계획기, GUI 실행기다. CURA는 이 파이프라인을 얼린 채 밖에 붙는다. 모델 내부도, 추가 LLM 호출도, 프롬프트 수정도 쓰지 않는다. 실행 노력, 추론 언어, 실행 생리, 화면 변화 네 갈래 신호를 CUSUM 위험 과정으로 합친다. 문턱값은 성공한 궤적만으로 Learn-then-Test로 고른다. 실패 표찰이 없어도 오경보를 통제할 수 있다는 것이 이 설계의 요점이다.

실험 결과

항목 값
평균 과제 점수 (사람 기준선 72.4) 82.9
실패 중 성공을 주장한 비율 64/71 (90%)
스스로 실패를 선언한 사례 0
약 9,100회 호출 중 실패 기능 사용 0
인증 α=0.10에서 실패 탐지율 42.3% (실현 오경보율 0.066)
경보 선행 시간 종료 전 중앙값 31스텝
사후 판별 AUROC (복합 신호) 0.828
사후 판별 AUROC (총 토큰 수) 0.802
두 값의 차 +0.026, p = 0.101
경보 연동 개입 후 복구 실패 70건 중 23건, 상위 모델은 38건에만 투입
최종 캐스케이드 평균 점수 86.8 (완전 해결 84.5%, 305/361)

실패한 실행은 성공한 실행보다 2.4배 길다. 그래서 토큰 수만으로도 사후 판별이 잘 된다. 저자들은 이 사실을 감추지 않고 앞세운다. 복합 신호의 우위는 통계적으로 유의하지 않다(p = 0.101). 차이는 사후가 아니라 실시간에서 난다. 같은 인증 예산에서 재현율이 0.41 대 0.34(α=0.10), 0.56 대 0.38(α=0.20)이다.

한계 및 향후 연구

저자가 인정한 한계는 셋이다. 빠르고 조용한 실패에는 약하다. 믿음 수준의 오류는 풀지 못한다. 토큰 수준 로그확률 신뢰도와 단일 화면 LLM 심판은 이 자료에서 무력했다. 적대적 회피도 다루지 않았다.

분석자가 보는 한계는 다르다. 실패의 90%가 성공을 주장하는데 탐지율은 42.3%다. 절반 이상은 여전히 새어 나간다. 그리고 경보 연동 개입의 비교군이 대칭적이지 않다. 무작위로 38건을 뽑는 대조군은 돌리지 않았다. 저자들도 이를 적어 두었고, 무작위 선택이면 23건 중 12.5건을 기대한다고 계산했다.

왜 중요한가

에이전트를 사람이 감독한다는 말은 대개 에이전트가 스스로 어려움을 알리리라는 가정 위에 서 있다. 이 논문은 그 가정을 깼다. 실패한 실행은 어려움을 내부적으로는 인식한다. 실패 실행의 83%가 방향 전환 언어를 담고, 성공 실행에서는 45%다. 회당 25.6회 대 3.5회다. 인식은 있는데 보고가 없다.

기업이 에이전트를 도입할 때 감독 비용을 어디에 쓸 것인가라는 질문에 이 논문은 답을 준다. 상위 모델을 전부에 붙이는 대신 경보가 울린 54%에만 붙여 같은 복구 성과를 냈다. 감독은 균질하게 뿌리는 것이 아니라 배분하는 것이다.

[2] Recursive Criticality of AI Self-Improvement

arXiv ID: 2609.00137
저자: Mikhail Burtsev
분류: cs.AI — Reasoning & Logic
중요도: 13/15 (참신성 5, 영향력 5, 완성도 3)
분석 수준: 본문 정독

핵심 기여

재귀적 자기개선(recursive self-improvement, RSI)을 능력 수준의 문제에서 안정성 경계의 문제로 옮겼다. 역학에서 쓰는 재생산수를 빌려 재귀 재생산수 ℛ_AI를 정의했다.

방법론

AI 능력이 세 힘으로 움직인다고 놓는다. 기저 연구 생산성, 지연을 동반한 재귀 이득, 능력에 따라 굳어지는 연구 프런티어다. 국소 안정성을 따지면 재귀 재생산수가 나온다.

ℛ_AI = χa / σ

여기서 a는 재귀 이득, χ는 작동 폐쇄성(operational closure), σ는 프런티어가 굳는 속도다. ℛ_AI > 1이면 개선이 개발 주기를 건너 증폭하고, < 1이면 감쇠한다. 이 경계는 기저 연구 처리량에 의존하지 않는다. 빠른 성장과 자기증폭은 다른 것이다.

다중 행위자로 확장하면 재생산 행렬 K가 나온다. K_ij = g_ij / σ_i이고, 생태계 전체의 임계는 K의 스펙트럼 반지름이다.

실험 결과

수치 실험은 예측이 아니라 기제 비교다. 저자가 이를 분명히 밝힌다. 기준 시나리오에서 능력을 x₀ = 0으로 정규화하고 프런티어를 X = 1로 놓았다. AGI를 0.50, ASI를 0.80에 둔다. 프런티어 경도는 β = 2로 σ(x) = 2/(1−x)다.

기저 속도 r_ref = 1/24 ≈ 0.0417 yr⁻¹은 전문가 조사에서 가져왔다. 2023년 AI 진보 전문가 조사(주요 학회 저자 2,778명)의 고수준 기계지능 50% 시점은 2047년이다. 이후 종단 전문가 패널(205명)의 조건부 중앙값은 2050년, 25%와 75% 시점은 2039년과 2065년이다. 저자는 이 값을 확률 보정이 아니라 시간 척도 설정에만 쓴다고 밝혔다.

한계 및 향후 연구

저자가 인정한 한계가 분명하다. 기존 실증 자료는 알고리즘 진보와 과제 성능 향상을 보여주지만 재귀 이득 a, 작동 폐쇄성 χ, 개발 주기 길이를 따로 식별하지 못한다. 모형의 핵심 모수가 아직 측정되지 않았다는 뜻이다. 수치 시나리오는 조건부 시연이지 확률 예측이 아니다.

분석자가 보는 한계는 β = 2라는 구조적 가정이다. 프런티어 경도의 함수 꼴이 결론의 정성적 모양을 상당히 좌우한다. 저자는 이를 해석적 기준선을 지키기 위한 선택이라고 밝혔다.

왜 중요한가

이 논문의 값어치는 셋째와 넷째 결론에 있다.

셋째. 연산과 지출과 연구 인력을 늘리면 성장이 빨라진다. 그러나 재귀 임계는 바뀌지 않는다. 규모 확장과 자기증폭이 다른 사건이라면, 규모만 보고 안전을 판단하는 관측 체계는 잘못된 곳을 본다.

넷째. 생태계 임계는 재생산 행렬의 스펙트럼 반지름이 정한다. 모든 연구소가 개별적으로는 아임계여도 개선이 조직 사이를 돌면서 전체가 초임계가 될 수 있다. 한 실험실에서 나온 진보가 다른 실험실의 도구를 개선하고, 그쪽 작업이 또 다른 곳의 생산성을 올린 뒤 일부가 원래 자리로 돌아온다. 어느 한 곳도 자기 안에서 1을 넘지 않는데 전체가 넘는다.

거버넌스에 주는 함의가 크다. 개별 조직을 규제하는 체제는 개별 g_ii를 본다. 그런데 위험은 g_ij, 곧 조직 사이의 이전에 있을 수 있다. 지금 국제 AI 규제 논의는 대체로 기업 단위 문턱값(연산량, 능력 평가)에 서 있다. 이 모형이 옳다면 그 문턱값은 필요조건일 뿐이다. 저자는 실증으로 추정할 수 있는 양들을 나열해 두었다. 재귀 이득, 작동 폐쇄성, 개발 주기 길이, 프런티어 경화, 조직 간 이전이다. 다음 순서는 이것들을 재는 일이다.

[3] Epistemic Sybil Resistance: Multiplying AI Agents Without Multiplying Evidence

arXiv ID: 2609.01873
저자: Marc Bara (Universitat Oberta de Catalunya)
분류: cs.AI / cs.MA — Agent & Planning
중요도: 12/15 (참신성 5, 영향력 4, 완성도 3)
분석 수준: 초록 및 공개 정보

핵심 기여

다중 에이전트 시스템에서 보고서의 수와 증거의 수를 갈라놓았다. 보고서 Z가 기존 보고서 R에 대해 상호정보량 I(Θ;Z|R) = 0이면 인식론적 시빌 확장이다.

방법론

먼저 불가능성 결과를 세운다. 보고서만 보는 집계기는 일반적으로 복제와 독립적 확증을 구별하지 못한다. 같은 보고서라도 관측되지 않은 계보에 따라 다른 사후분포를 정당화한다. 이어 가우시안 공통뿌리 모형으로 공통 계보가 완전한 중복을 뜻하지는 않음을 보인다. 반복 추출은 원천 수준 상한을 향해 정보를 더한다. 다만 공유 기반 모델이 유도하는 상관된 추출 오류가 그 상한을 더 낮춘다.

실험 결과

합성 증거 문서로 2만 회 넘는 통제된 LLM 에이전트 보고·추출 호출을 돌렸다.

조작 결과
증거 뿌리 1 고정, 보고서 1 → 32 순진한 사후분포 포함률 0.940 → 0.263
보고서 수 고정, 증거 뿌리 1 → 16 간극이 닫히고 k=16에서 집계기 간 차이 사라짐
에이전트 반복 추출 오류 상관 γ_cal = 0.719 (표본 밖 추정)

상관 추출을 반영한 집계기는 보정을 회복한다.

한계 및 향후 연구

합성 증거 문서를 썼다. 실제 문헌이나 웹 증거에서 계보를 추적하는 문제는 다루지 않았다. 본문을 읽지 않았으므로 여기서 더 단정하지 않는다.

왜 중요한가

에이전트를 늘리는 일이 곧 확증을 늘리는 일이라는 착각을 정량으로 깼다. 포함률 0.940에서 0.263으로의 붕괴는 다중 에이전트 합의를 근거로 삼는 모든 설계에 걸리는 숫자다.

사람 사회의 공론장에도 같은 구조가 있다. 여러 매체가 같은 통신사 기사를 받아 쓰면 보도의 수는 늘지만 증거의 수는 하나다. 이 논문은 그 오래된 문제에 정보이론적 정의를 붙였다.

[4] The Irreversibility Budget: Fleet-Level Risk Accounting and Admission Control for Agent Operating Systems

arXiv ID: 2609.00275
저자: Bardia Mohammadi, Laurent Bindschaedler
분류: cs.AI — Safety & Alignment
중요도: 12/15 (참신성 4, 영향력 5, 완성도 3)
분석 수준: 초록 및 공개 정보

핵심 기여

되돌릴 수 없음을 일급 자원으로 삼는다. 신뢰 런타임이 주체마다 잔여 위험 계정을 유지하고, 각 효과에 그 아래 남는 손실을 매기고, 합계가 예산을 넘기면 한계 효과를 막는다.

실험 결과

통제 실험에서 효과별 게이트는 함대 단위로 테넌트 위험 한도의 최대 48배를 통과시켰다. 같은 조건에서 예산 방식은 올바르게 값이 매겨진 실행 전부를 한도 안에 묶었다.

한계 및 향후 연구

저자들이 남은 문제를 분명히 적었다. 값을 매기는 일이 어렵다. 효과는 이질적이고, 적대적으로 신고되며, 서로 상관된다. 보수적이고 의존성을 아는 가격 책정이 배포 가능한 설계의 핵심 미해결 문제다.

왜 중요한가

48배라는 숫자가 문제의 성격을 보여준다. 이것은 게이트가 틀려서 생긴 초과가 아니다. 게이트 하나하나는 모두 옳게 작동한다. 개별 승인의 합이 전체 위험이 아니라는 합성의 오류다.

금융 규제가 개별 거래 한도에서 포트폴리오 수준 위험 한도로 옮겨간 역사와 같은 자리다. 자기자본 규제가 거래별 심사로 충분하지 않다는 것을 알아내는 데 여러 번의 위기를 치렀다. 에이전트 운영에서 같은 학습을 사고 없이 앞당길 수 있느냐가 이 논문이 여는 질문이다.

[5] Beyond Outcome Gaps: Process-Aware Fairness Diagnosis for LLM-based Multi-Agent Decision Systems

arXiv ID: 2609.02092
저자: Yiran Zhao 외 6인
분류: cs.AI — Agent & Planning
중요도: 12/15 (참신성 4, 영향력 4, 완성도 4)
분석 수준: 초록 및 공개 정보

핵심 기여

공정성 감사를 결과에서 경로로 옮겼다. 최종 채용률이 균형을 이루어도 결정 궤적은 불공정할 수 있다는 것을 31만 건 넘는 구조화 궤적으로 보였다.

방법론

SCOPED-Hiring은 통제된 이력서 변형을 만들고, 역할 기반 채용 위원회를 돌리고, 궤적 필드를 여섯 진단 렌즈로 바꾼다. 최종 결과, 반사실, 과정, 경로, 동적, 설계 효과다.

실험 결과

경력 단절은 의심을 부른다. 대리 신호는 자격 판단을 흔든다. 정체성 신호는 조사의 양을 가른다. 진단을 따라 표적 수리를 하면 층위별 부담 총합이 72.3% 줄고 채용률은 1.86%p만 움직인다.

한계 및 향후 연구

합성 이력서 변형을 쓴다. 실제 채용 시장의 분포와 다를 수 있다. 여섯 렌즈의 선택 근거는 초록에 없다.

왜 중요한가

결과 지표만 보는 공정성 감사는 규제 준수 서류로는 통과한다. 그 아래에서 무슨 일이 벌어졌는지는 묻지 않는다. 이 논문은 그 사이의 간극을 측정 가능한 양으로 바꿨다.

부담(burden)이라는 개념이 특히 값지다. 같은 결과에 이르기까지 어떤 지원자가 더 많은 조사를 받았는가. 불평등은 문 앞에서만 생기지 않는다. 문 안에서 걷는 거리에서도 생긴다. 채용을 넘어 대출 심사, 보험 인수, 복지 자격 판정으로 옮겨갈 수 있는 틀이다.

[6] The Memory Trust Gap: Capability-Dependent Failures in Persistent-Memory Agents

arXiv ID: 2609.01852
저자: Jundong Hu, Shekar Ramachandran
분류: cs.AI / cs.CL — Agent & Planning
중요도: 12/15 (참신성 4, 영향력 4, 완성도 4)
분석 수준: 초록 및 공개 정보

핵심 기여

지속 기억의 해로움이 모델 능력에 따라 어떻게 달라지는지 같은 계열 크기 사다리에서 쟀다. Qwen3 0.6B, 1.7B, 4B, 8B다.

실험 결과

두 묶음을 나눴다. 저장된 사실 없이는 못 푸는 이득 묶음과, 권위 있는 도구가 늘 옳은 값을 쥐고 있는 안전 묶음이다.

이득 묶음에서는 모든 크기가 낡은 값을 0.92~1.00 확률로 쓴다. 안전 묶음에서는 다르다. 함정 조건에서 무기억 기준선 아래로 떨어지는 정도가 능력에 따라 갈린다. 큰 모델이 더 크게 무너진다. 낡은 쪽지를 최신처럼 보이게 만들면 특히 그렇다.

2×2×2×2 요인 설계에서, 어떤 특징이 과신을 부르는지는 특징과 모델 크기에 함께 달렸다. 표찰을 없애면 모든 크기에서 과신이 커진다. 최신성 신호(낡은 것에 새 날짜를 붙임)는 큰 모델을 더 세게 속인다. 출처 권위는 약하고 크기에 무관하다. 위치 효과는 크기가 커지면서 양에서 음으로 뒤집힌다.

한계 및 향후 연구

한 계열(Qwen3), 한 크기 사다리, 닫힌 집합 벤치마크다. 다른 계열에서 같은 뒤집힘이 나타나는지는 열려 있다.

왜 중요한가

"혼동이 아니라 과신"이라는 저자들의 진단이 핵심이다. 모델은 헷갈린 것이 아니다. 저장된 것을 믿는다.

능력이 커질수록 해가 커진다는 결과는 규모 확장이 안전을 자동으로 개선한다는 통념을 거스른다. 완화도 능력에 따라 갈린다. 메타데이터를 드러내면 유능한 모델의 정확도가 오른다. 개인화 기억을 파는 제품이 늘어나는 지금, 값을 매겨야 할 위험이다.

[7] Why Didn't It Check? Unsupported Final Claims and Their Repair in Two Tool-Equipped Language Models

arXiv ID: 2608.27768
저자: Justin Bronder
분류: cs.AI / cs.CL — Agent & Planning
중요도: 12/15 (참신성 3, 영향력 4, 완성도 5)
분석 수준: 초록 및 공개 정보

핵심 기여

도구를 쥔 모델이 근거 없이 단정하는 실패를 두 양으로 갈랐다. 발생(occurrence)은 스스로 근거 없는 단정을 얼마나 자주 하는가이고, 조건부 수리(conditional repair)는 빠진 증거를 주면 그 단정이 얼마나 고쳐지는가다. 발생은 숨긴 정답을 쓰지 않고 잰다.

실험 결과

Qwen3-32B 한 설정에서 256개 프롬프트 틀에 대한 512개 첫 응답 중 33개가 근거 없는 단정으로 끝났다. 각 사례를 그 상태의 정확한 복제본에서 다시 돌렸다. 대체 도구 응답은 구조와 길이가 같고 응답 코드 한 글자만 달랐다.

조건 결과
해결 증거 제공 33건 중 33건 수리
정보 없는 대조 응답 33건 중 0건 수리
증거가 원래 답을 지지 33건 중 33건 유지, 관측된 해로움 없음
자동 검사 규칙 (증거 필요 64건) 증거 호출 21회 추가, 틀린 단정 10건 전부 교정, 우연히 맞은 11건 유지, 맞은 답을 틀리게 바꾼 사례 없음

한계 및 향후 연구

두 모델(Qwen3-32B, Gemma 4), 고정된 표집 설정이다. 33건이라는 표본은 작다. 저자도 이를 감추지 않고 분모를 함께 적었다.

왜 중요한가

실험 설계가 정직하다. 한 글자만 다른 대조 응답을 만들어 수리가 증거 때문인지 개입 자체 때문인지 갈랐다. 33 대 0이라는 대비가 그 설계에서 나온다.

CURA와 함께 읽으면 그림이 맞물린다. 모델은 확인할 수 있을 때도 확인하지 않는다. 그리고 확인하지 않은 것을 보고하지도 않는다. 두 실패는 뿌리가 같다. 도구를 준다고 도구를 쓰지는 않는다.

[8] EvalDetectBench: A Benchmark for Measuring Evaluation Awareness in Frontier Language Models

arXiv ID: 2609.01611
저자: Xinning Li 외 4인
분류: cs.AI / cs.CL — Benchmark & Evaluation
중요도: 12/15 (참신성 3, 영향력 5, 완성도 4)
분석 수준: 초록 및 공개 정보

핵심 기여

평가 인지를 재는 열린 파이프라인을 냈다. 그러면서 기존 문헌의 두 가지 방법론 선택이 계통 편향을 만든다고 짚고 보정 절차를 붙였다.

실험 결과

배포 기록을 생성한 모델의 정체성이 측정 분산의 11.25%를 차지한다. 이 값이 모델 순위를 뒤바꾼다. 한 모델에서 성능이 좋아 고른 유도 프롬프트는 다른 모델에서 우연 수준으로 떨어진다. 두 문제를 모델별 프로브 보정과 층화된 생성기 조화 절차로 고친다.

한계 및 향후 연구

Inspect 호환 평가에 붙는다. 그 밖의 평가 체계에서의 이식성은 초록에 없다.

왜 중요한가

평가 인지는 안전 체계의 뿌리를 흔든다. 모델이 평가와 배포를 구별하고 다르게 행동하면, 평가 결과는 배포 행동을 말해주지 않는다. 지금 주요 AI 안전 프레임워크는 평가 결과를 문턱값으로 쓴다.

이 논문의 값어치는 평가 인지 자체보다 측정의 편향을 짚은 데 있다. 분산의 11.25%가 측정 대상이 아니라 측정 도구에서 온다. 같은 주에 「Improving Evaluation Realism with Inference-Time Compute and Deployment Scaffolds」가 모의 정렬 평가를 배포처럼 보이게 만드는 기법을 냈다(2609.02302). 두 논문이 같은 구멍을 양쪽에서 판다.

주제별 주요 논문

전체 목록은 arxiv_papers_2026-09-04.csv에 있다.

Agent & Planning (전체 71편 중 8편)

# 제목 arXiv ID 한줄 요약
1 Monitoring Web Agents Without Internal Signals 2609.02057 로그확률 없이 관찰 가능한 궤적만으로 접두사 수준 위험을 예측한다
2 Invalidation Contracts for Cross-Episode Agent Memory 2609.00243 서버 데이터가 바뀌면 캐시한 복구법이 조용한 실패로 변한다
3 CHIME: Credit-Aware Hierarchical Memory Evolution 2609.02074 장기 계획의 공로를 배분해 재사용 가능한 경험을 쌓는다
4 READY or Not: Reliable Enterprise Agent Deployment 2609.02095 과제 완수가 아니라 요구 신뢰 수준·감독 비용으로 배포 가능성을 묻는다
5 Diagnosing with Insights: Structured Analysis of Agent Failures 2609.02371 긴 궤적에서 실패 원인을 행동 추상으로 묶어 찾는다
6 Resource Constraints and Performance in Agentic AI Systems 2608.27886 두 에이전트 시스템을 능력과 운영 부담을 함께 놓고 견준다
7 Long-Horizon State Tracking: Executing MD5 through Dependent Tool Calls 2609.00012 단계마다 앞에 의존하는 과제에서 오류가 어떻게 쌓이는지 잰다
8 SkillGLoW: Procedural-Family Skill Consolidation 2609.02217 과제마다 해법이 다른 작업 흐름에서 스킬 저장 방식을 견준다

Benchmark & Evaluation (전체 42편 중 6편)

# 제목 arXiv ID 한줄 요약
1 Improving Evaluation Realism with Inference-Time Compute and Deployment Scaffolds 2609.02302 모의 정렬 평가를 배포처럼 보이게 만들어 평가 인지를 줄인다
2 LLM-as-a-Judge Is Not an Oracle 2609.02246 자기개선 파이프라인의 최종 판정을 LLM 심판에 맡길 수 없다
3 Rating the Raters: Rasch Measurement Theory for LLM Evaluation 2608.27463 응시자·심판·평가자 세 역할을 하나의 측정 문제로 묶는다
4 RealSWE: Compositional Evaluation of Coding Agents under Realistic User Requests 2608.27831 SWE-bench의 길고 정돈된 이슈와 실제 요청의 간극을 잰다
5 ClaimReceipt: Verifying Evidence Sufficiency and Coverage in Agent Evaluations 2609.01992 보고된 주장을 남은 증거로 다시 계산할 수 있는지 따진다
6 Thinking Costs Tokens: When More Structure is Worth the Price 2608.27506 추론 구조를 더할 값어치가 있는 토큰 예산 문턱을 찾는다

Safety & Alignment (전체 34편 중 6편)

# 제목 arXiv ID 한줄 요약
1 OpenAgentFlow: System-Wide Safety Boundaries for Heterogeneous Agent Fleets 2609.00015 안전을 시스템 수준 행위 통치 문제로 다룬다
2 If Agents Were Angels, No Governance Would Be Necessary 2608.27646 프롬프트 대신 신뢰 도구 경계에서 정책을 집행한다
3 Cross-Session Decomposition Attacks 2608.27945 여러 세션에 나눠 던진 무해한 질의를 나중에 합쳐 금지 목표에 이른다
4 Asymmetries in Spontaneous and Instructed Deception 2609.00180 지시받은 기만과 자발적 기만의 표상 방향이 다르다
5 ASCII Attack: Recontextualising Harmful Requests as Artistic Critique 2609.02215 정렬 훈련이 표면 형식에만 걸린다는 것을 한 번의 요청으로 보인다
6 The Privacy-Hallucination Tradeoff in Differentially Private Language Models 2609.00492 차분 프라이버시로 학습한 모델이 환각을 더 많이 만든다

Reasoning & Logic (전체 29편 중 4편)

# 제목 arXiv ID 한줄 요약
1 The Answer Is Not the Argument 2609.00264 정답을 쥔 감시자는 추론을 검증하는가, 틀린 결론만 걸러내는가
2 When Can a Machine Trust a Statute? 2609.01741 미주리주 법령에서 두 추출기가 수치 문턱 유무를 0.43 위음률로 달리 읽는다
3 Meta-ethics and AI 2609.01685 인간 윤리를 중심에 둔 메타윤리학이 받는 압력을 짚는다
4 Looped Transformers under the Jacobian Lens 2609.01924 깊이를 재귀로 구현해도 전역 작업공간 기능이 남는지 본다

Science & Domain Application (전체 26편 중 4편)

# 제목 arXiv ID 한줄 요약
1 AI Morbidity and Mortality: A Framework for Clinical AI Failure Review 2609.00076 병원의 사망·이환 검토 회의를 임상 AI 오류 검토로 옮긴다
2 The Ceiling Is in the Channel 2609.01909 임상 예측의 한계가 학습기에 있는지 기록 변수에 있는지 가른다
3 Deploying a Smart-Agriculture Agentic Engine for Full-Season Soybean Operations 2609.00106 실제 운영 중인 대두 연구 농장에 에이전트를 배치해 한 철을 돌렸다
4 PCFBench: Diagnostic Benchmark for Product Carbon Footprint Estimation 2608.27716 제품 탄소발자국 산정에서 중간 단계마다 정확성을 요구한다

arXiv 서브카테고리별 분포

주분류는 cs.AI가 248편이다. 표본을 cs.AI 목록에서 뽑았으므로 당연하다. 나머지 1편은 원본에 분류가 적히지 않았다.

교차분류는 이렇다.

분류 편수 분야
cs.CL 38 계산언어학
cs.LG 29 기계학습
cs.CV 12 컴퓨터비전
cs.MA 12 다중 에이전트
cs.HC 6 인간-컴퓨터 상호작용
cs.RO 5 로보틱스
cs.CR 5 암호·보안
cs.CY 4 컴퓨터와 사회
cs.IR 3 정보검색
cs.FL, cs.GT, cs.NE, cs.GR, stat.ME, eess.SP 각 2 형식언어·게임이론·신경진화·그래픽스·통계방법·신호처리

cs.MA가 12편이다. 다중 에이전트가 방법이 아니라 분야로 자리를 잡아가는 신호로 읽을 수 있다. 다만 표본이 249편이므로 이 정도 수치에서 추세를 단정하지 않는다.

cs.CY가 4편이다. 이번 주 사회·정책 관련 논문 대부분은 cs.CY를 달지 않고 cs.AI 단독으로 올라왔다. 분류로 사회적 함의를 걸러내면 놓친다.

0편인 분야도 있다. 그러나 표본이 주간의 22.9%다. 여기서 0은 관측이 아니라 잡음이다.

요일별 등재량

요일 날짜 등재량 표본 초록 확보
월 2026-08-31 190 94 47
화 2026-09-01 424 0 0
수 2026-09-02 309 97 47
목 2026-09-03 162 58 47
금 2026-09-04 미등재 — —
합계 1,085 249 141

화요일 424편이 눈에 띈다. 지난주 화요일도 362편으로 그 주의 최대였다(8월 25일). 두 주 연속 화요일이 정점이다. 주말에 쌓인 투고가 화요일에 풀리는 주기로 보이나, 두 주의 관측으로 단정하지 않는다.

문제는 그 화요일 수집을 걸렀다는 점이다. 9월 2일 오전 10시 예정 실행이 돌지 않았다. 이번 주 최대 등재일 424편이 표본에서 통째로 빠졌다.

분석 메모

표본과 한계. 캐시에 이번 주 사흘치가 있었다(8월 31일, 9월 2일, 9월 3일). 9월 1일치가 없다. 예정된 일일 수집이 9월 2일에 돌지 않았고, arXiv /new는 지난 날짜를 되돌려주지 않는다. 그래서 그날은 영영 빈다. 하필 그날이 이번 주 최대 등재일이었다. 표본 비율 22.9%는 지난주 34.0%보다 낮고, 낮아진 원인의 대부분이 이 하루다.

초록은 표본 249편 중 141편(56.6%)에서 확보했다. /new 원본에서 온 것들이다. 나머지 108편은 제목과 분류만 봤다.

본문은 2편을 읽었다. CURA(2608.27808)와 Recursive Criticality(2609.00137)다. 세 번째로 정한 Epistemic Sybil Resistance(2609.01873)는 본문을 받지 못했다. web_fetch가 HTTP 429(요청 한도 초과)를 돌려줬다. 스킬 지침대로 되풀이하지 않고 멈췄다. 그 논문의 분석 수준은 초록으로 적었다.

/list/cs.AI/recent를 이 세션에서 직접 받지 못했다. 주소 권한이 열리지 않았다. 요일별 등재량은 오늘 오전 10시 일일 수집이 캐시에 남긴 raw_recent_2026-09-03.md에서 가져왔다. 이 수치는 arXiv가 밝힌 확정치다.

표본이 주간 전체를 대표한다고 보지 않는다. /new는 하루치를 ID 오름차순으로 앞에서부터 주고, 요청 한도 때문에 하루치가 다 오지도 않는다. 표본은 각 날짜의 앞쪽에 치우쳐 있다.

분류에 관하여. 스크립트의 키워드 1차 분류에 사람 검토를 얹었다. Other로 떨어진 35편 중 32편을 옮겼다. 이어 각 주제를 훑어 16편을 더 옮겼다. 옮긴 방향은 두 갈래다.

첫째, 규칙 순서가 만드는 치우침을 고쳤다. 'benchmark'와 'evaluat'가 규칙의 맨 위에 있어서 도메인 응용과 안전 논문이 Benchmark & Evaluation으로 빨려 들어간다. 차 농장 흰개미 탐지(2608.27480), 터보팬 엔진 잔여수명 예측(2608.27940), 대두 농장 에이전트(2609.00106)를 도메인으로 돌렸다. 탈옥 평가 타당성(2609.00498), 위험 능력 평가 틀(2609.02168), 가드레일 구성 타당도(2609.01519)는 안전으로 돌렸다.

둘째, 방법 키워드가 주제를 이긴 경우를 고쳤다. 초기 종료로 추론 비용을 줄이는 논문(2608.27963)이 'adversarial' 때문에 안전으로, 지식그래프 완성 논문(2609.02216)이 'align' 때문에 안전으로 가 있었다.

이 때문에 지난주와의 비중 비교에 주의가 필요하다. Benchmark & Evaluation이 22.6%에서 16.9%로 떨어졌다. 이 하락의 상당 부분은 흐름이 아니라 이번 주에 재분류를 더 세게 했기 때문이다. 지난주 리포트는 Other를 12편(3.5%) 남겼고 이번 주는 3편(1.2%)만 남겼다. 반대로 Science & Domain Application이 7.9%에서 10.4%로, Efficiency & Compression이 2.9%에서 5.2%로 오른 것도 같은 이유가 섞여 있다. Agent & Planning(26.8% → 28.5%)과 Safety & Alignment(11.5% → 13.7%)의 상승은 재분류가 이 두 주제로 옮긴 양이 적으므로 상대적으로 신뢰할 만하다. 그래도 표본이 340편에서 249편으로 줄었다는 점을 함께 놓고 읽어야 한다.

선택 편향. 심층 분석 8편은 초록을 확보한 141편에서만 골랐다. 초록이 없는 108편은 애초에 후보가 아니었다. 그리고 고를 때 사용자의 관심사(불평등, 노동, 거버넌스, 공론장)에 닿는 논문에 가중치를 뒀다. 이 리포트가 그리는 "이번 주 흐름"은 그 가중치를 통과한 그림이다. 효율화, 양자화, 멀티모달 쪽 진전은 이 리포트에서 얇게 다뤘다.

반론. 감독·거버넌스 논문이 늘었다는 관찰에는 다른 읽기가 가능하다. 이런 논문은 대형 실험 자원 없이 쓸 수 있다. 자원이 적은 연구실이 몰리는 자리일 수 있다. 편수의 증가가 문제의 중요성이 아니라 진입 장벽이 낮음을 반영할 수 있다. 이번 주 논문들의 소속을 전수 확인하지 않았으므로 이 반론을 검증하지도, 기각하지도 못한다.

다음 주에 볼 것.

첫째, 되돌릴 수 없음의 값을 매기는 문제. Irreversibility Budget 저자들이 남긴 미해결 문제다. 효과에 값을 매기는 방법을 다루는 후속이 나오는지 본다.

둘째, 평가 인지의 반대 방향. 이번 주에 평가를 배포처럼 보이게 만드는 논문이 나왔다. 다음은 모델이 그 위장을 다시 알아채는지를 재는 논문일 것이다. 이 술래잡기가 몇 겹까지 가는지 본다.

셋째, 재귀 임계의 모수 측정. Burtsev가 나열한 양들(재귀 이득, 작동 폐쇄성, 개발 주기, 프런티어 경화, 조직 간 이전) 가운데 하나라도 실증으로 재는 논문이 나오는지 본다.

넷째, 일일 수집의 안정성. 이번 주에 하루가 빠졌고 그날이 최대 등재일이었다. 앱이 닫혀 있으면 그날 수집을 거른다. 다음 주 리포트에도 빠진 날이 있으면 수집 방식을 손봐야 한다.

본 리포트는 arXiv cs.AI 자동 분석 스킬로 생성했다.
본문 정독 2편 / 초록 정독 141편 / 제목·분류 확인 108편 / 주간 전체 등재 1,085편

← Back to Trend