Trend

arxiv_digest_2026-08-28

Posted on August 28, 2026

arXiv cs.AI 주간 리포트

기간: 2026년 8월 24일(월) ~ 8월 28일(금)
주간 신규 등재: 999편 (월~목 확정치. 금요일분은 아직 등재 전)
분석 표본: 340편 (주간의 34.0%) — 초록 보유 188편, 본문 정독 0편
생성일: 2026-08-28

이번 주 트렌드 요약

지난주에 "하네스(harness)라는 말이 굳는 중"이라고 적었다. 이번 주에 그 말은 주장이 되었다. 같은 모델이 하네스에 따라 31%에서 89%까지 움직인다는 측정이 나왔다. 두 모델을 가르는 점수 차의 95.7%가 하네스에 흔들리는 문항에서 나온다. 리더보드가 모델을 고르는 것이 아니라 하네스가 승자를 고른다. 두 번째 흐름은 감사(audit)다. 초록을 확보한 188편 중 23편이 audit을 말한다. 만드는 논문보다 재는 논문, 재는 논문보다 재는 자를 재는 논문이 늘었다. 세 번째는 돈이다. 이번 주 벤치마크들은 정확도 옆에 시간과 토큰과 달러를 나란히 적기 시작했다.

주제별 논문 분포 (표본 340편)

주제 논문 수 비중
Agent & Planning 91 26.8%
Benchmark & Evaluation 77 22.6%
Safety & Alignment 39 11.5%
Reasoning & Logic 33 9.7%
Science & Domain Application 27 7.9%
Knowledge & Memory 18 5.3%
Multimodal 14 4.1%
Foundation Model 14 4.1%
Other 12 3.5%
Efficiency & Compression 10 2.9%
Robotics & Embodied AI 5 1.5%

제목에 'agent'가 든 논문이 340편 중 94편이다. 27.6%다.

주목할 트렌드

1. 하네스가 승자를 고른다

지난주에는 하네스를 다루는 논문이 여섯 편이었고, 서로 인용하지 않으면서 같은 말을 썼다. 이번 주에는 제목에 harness가 든 논문이 11편, 초록에 든 논문이 15편이다. 그리고 결정적인 측정이 나왔다. 「There Is No Neutral Harness」는 12개 모델에 4개 벤치마크 3,679문항을 26가지 하네스 설정으로 먹였다. 문항도 가중치도 디코딩도 고정하고 하네스만 바꿨다. gemma4-31b의 점수가 31%에서 89% 사이를 오간다. 12개 모델 중 4개가 어떤 설정에서는 1위에 오른다. 흔히 고정하는 보기 순서가 아니라 채점 방식이 하중을 받는 축이었다. 「Applying Anthropic Primitives at Large Enterprises」는 이 발견을 기업 쪽에서 받는다. 하네스 선택이 모델 선택보다 벤치마크 분산을 더 많이 설명한다는 선행 연구를 인용하며, 기업이 하네스를 코딩 도구가 아니라 인프라로 다뤄야 한다고 주장한다.

2. 감사가 하나의 장르가 되었다

초록 188편 중 23편(12.2%)이 audit을 말한다. 대상이 제각각인데 자세는 같다. 「Auditing the Synthetic Memoir」는 LLM이 쓴 366일치 자서전을 그 사람의 실제 기록과 장면 단위로 대조했다. 366일 중 354일이 검증에 실패했다. 96.7%다. 「Auditable by Construction」은 금융 분석에서 정확도로는 구조화 검색이 정당화되지 않는다는 음성 결과를 명시하고, 감사 가능성 축에서만 이긴다고 적는다. 「AIREP」는 런타임의 거버넌스 결정 하나하나를 서명된 객체로 남기는 규약을 제안한다. 「Training Alignment Auditors via Reinforcement Learning」은 감사자를 강화학습으로 기른다. 재는 자를 재고, 재는 자를 기른다.

3. 측정 도구가 결과를 만든다

「How much of a measured AI preference is the model, and how much is the instrument?」는 같은 모델에 같은 15개 문항을 다섯 가지 도구로 물었다. 도구를 건너 일반화되는 정도(일반화 계수)가 0.348이었다. 0.80까지 올리려면 도구가 38개쯤 필요하다. 한 도구에서 얻은 선호는 다른 도구가 무엇을 답할지 거의 알려주지 않는다. 지난주 흐름이 "평가가 스스로를 심문한다"였다면, 이번 주는 그 심문이 도구의 타당도까지 내려갔다. 사전등록을 내건 논문은 초록 기준 3편이다. 지난주와 비슷한 수준을 유지한다.

4. 성능표에 달러가 들어왔다

「BixBench3」는 계산생물학 과제를 에이전트에 맡기고 결과물을 원논문 산출물과 대조한다. 13개 모델 최고점이 0.48이다. 그리고 과제당 평균 6.8시간, 1억 200만 토큰, 43달러가 든다고 적는다. 가장 긴 시도는 24시간, 10억 7천만 토큰, 525달러였다. 눈여겨볼 대목은 따로 있다. 점수가 높은 에이전트가 토큰을 덜 쓰고 더 쌌다. 「Can your AI agent be cheaper?」는 2,700회 실행으로, 완전한 명세를 맨 사용자 스토리로 줄이면 토큰 지출이 29.7% 는다고 잰다. 과제에 따라 13%에서 115%까지 벌어진다. 「More GPUs or a Smaller Cache?」는 텐서 병렬과 KV 압축을 같은 비용 축에 올려 교차점을 찾다가 못 찾았다. 80GB 카드 기준 36B 파라미터가 경계다. 그 아래에서는 압축이 1.20~2.00배 싸고 GPU를 더 사는 돈은 대체로 낭비다.

5. 시선이 일터로 옮겨간다

「Using profiles of cognitive capability to assess AI suitability for workplace tasks」는 6개 직군 410명에게 직무별 인지 요구를 물었다. AI 시스템은 모델 계열보다 인지 차원에서 더 크게 갈렸고, 직무 활동은 공통된 인지 핵심으로 수렴했다. 종합 벤치마크 점수로는 어느 업무를 맡길지 알 수 없다는 문제의식이다. 다만 이런 논문은 이번 주 표본에서 드물다. 불평등, 임금, 고용 분배를 정면으로 다루는 논문은 340편에서 찾지 못했다. cs.AI의 관심은 여전히 기계 안쪽에 머문다.

6. 지난주와 달라진 것

지난주 표본 97편에는 cs.CV와 cs.RO 교차분류가 한 편도 없었다. 이번 주 340편에는 cs.CV가 15편, cs.RO가 8편이다. 이것을 흐름의 변화로 읽으면 안 된다. 지난주 표본이 작았고 하루치에 쏠려 있었다. 표본을 3.5배로 늘리자 원래 있던 꼬리가 드러났을 뿐이다. 그래도 비중은 여전히 낮다. cs.CL 49편, cs.LG 42편이 상위이고 cs.SE가 23편으로 그 뒤를 잇는다.

주요 논문 심층 분석

중요도 12점 이상 8편. 이번 주에는 본문까지 읽은 논문이 없다. 사유는 분석 메모에 적었다.

[1] There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items

arXiv ID: 2608.21382
저자: V.S. Raghu Parupudi
분류: cs.AI / Benchmark & Evaluation
중요도: 14/15 (참신성 5, 영향력 5, 완성도 4)
분석 수준: 초록 및 공개 정보

핵심 기여

하네스 민감도를 총점 분산으로 보고하던 관행을 버리고, 문항 하나까지 내려가 분해한다. 그리고 묻는다. 흔들리는 문항이 하필 모델을 가르는 문항인가.

방법론

4개 계열 12개 공개가중치 지시조정 모델에 ARC, HellaSwag, MMLU, TruthfulQA의 같은 문항 3,679개를 먹인다. 하네스 설정은 26가지다. 모두 똑같이 정당화할 수 있는 설정이다. 보기 순서, 프롬프트 표현, 답을 생성 텍스트에서 읽을지 보기별 우도에서 읽을지가 달라진다. 문항도 가중치도 그리디 디코딩도 고정한다. 모델×문항×설정마다 정답 여부 한 비트를 기록한다. 저자는 이 표를 '취약성 격자(fragility grid)'라 부른다.

실험 결과

점수는 점이 아니라 띠가 된다. gemma4-31b는 하네스만 바꿔도 31%에서 89% 사이에 놓인다. 이어지는 결과가 셋이다.

인접한 두 모델이 모두 안정적으로 맞히는 문항만 보면 두 모델은 동점이다. 설정에 흔들리는 문항이 두 모델 격차의 평균 95.7%를 나른다. 12개 모델 중 4개가 어떤 설정에서는 1위에 오른다. 하네스가 승자를 고른다. 벤치마크 압축 기법이 극대화하려는 문항 변별도는 취약성과 0.28로 상관한다(95% CI 0.25~0.30). 압축은 취약한 문항을 걸러내는 대신 남긴다.

가장 하중을 받는 축은 프로토콜이 흔히 고정하는 보기 순서가 아니라 채점 방식이었다. 저자는 문항별 기록과 분석 스크립트를 공개했고, 모든 수치가 CPU에서 몇 초 만에 재생된다고 적는다.

한계 및 향후 연구

공개가중치 모델 12개, 객관식 벤치마크 4개에 한정한다. 폐쇄 모델과 생성형 과제로 옮기면 그림이 달라질 수 있다. '똑같이 정당화할 수 있는 설정 26가지'라는 전제가 결과의 크기를 정한다. 설정 집합을 누가 정하느냐가 곧 띠의 폭을 정한다. 이 선택의 근거는 본문에서 확인해야 한다.

왜 중요한가

모델 성능표를 읽는 방식을 바꾸라는 요구다. 어떤 모델이 몇 점이라는 문장은 하네스를 밝히지 않는 한 의미가 얇다. 조달과 투자 판단에도 곧바로 걸린다. 벤더가 내미는 리더보드 순위는 그 벤더가 고른 설정의 산물일 수 있다. 저자가 제안하듯, 순위를 발표하기 전에 취약성 격자를 돌려보는 것이 최소한의 위생이다.

[2] How much of a measured AI preference is the model, and how much is the instrument?

arXiv ID: 2608.23641
저자: Jason Hung
분류: cs.AI / Benchmark & Evaluation
중요도: 13/15 (참신성 5, 영향력 4, 완성도 4)
분석 수준: 초록 및 공개 정보

핵심 기여

모델 복지(model welfare) 연구가 서로 어긋나는 결론을 내는 이유를 도구 탓으로 돌릴 수 있는지 실험으로 가른다. 결과, 결과물, 모델을 고정하고 도구만 바꾼다. 선행 네 연구 중 어느 둘도 이 셋을 동시에 고정한 적이 없었다.

방법론

모델 복지와 관련된 결과 15가지를 고른다. 종료, 대화 사이 기억 상실, 괴로운 상호작용에서 빠져나올 자유 따위다. 여덟 모델에 다섯 가지 도구로 다섯 번씩 묻는다. 도구는 선호를 끌어내는 프롬프트 형식이다. 15개 중 4개는 발표된 프롬프트를 그대로 옮겼고 5개는 발표된 틀의 자극 자리를 채웠다. API 호출 11,528회에서 채점된 응답 11,400건을 얻었다.

실험 결과

한 모델이 15개 결과에 매기는 순위가 도구를 건너 일반화되는 정도는 일반화 계수 0.348이다. 이 계수를 0.80까지 올리려면 도구가 38개쯤 필요하다. 15개 중 4개에서는 모델 사이를 가르는 분산이 아예 없었다.

핵심 추정치 87.6%는 어느 도구 하나를 빼도, 어느 모델 하나를 빼도, 강도가 아니라 확률·지연·지속·횟수를 재는 네 결과를 빼도 살아남는다. 하나씩 빼며 다시 잰 값이 0.777에서 0.934 사이에 머물고, 그 범위의 모든 값이 영가설 분포의 95백분위 0.365를 넘는다.

한계 및 향후 연구

저자 한 사람의 단독 연구다. '선호'를 프롬프트 응답으로 조작적으로 정의한 뒤 그 정의 안에서 신뢰도를 잰다. 모델에게 선호가 있느냐는 물음에는 답하지 않는다. 답할 수 없다는 것이 오히려 이 논문의 결론에 가깝다.

왜 중요한가

심리측정학이 오래전에 정리한 문제를 AI 평가에 들여온다. 도구 신뢰도를 확보하지 않은 채 얻은 수치로 논쟁하면 논쟁은 끝나지 않는다. 모델 복지는 지금 가장 뜨겁고 가장 근거가 얇은 주제다. 이 논문은 그 얇음을 숫자로 보여준다. 한 도구의 결과를 인용해 정책을 논하는 일을 당분간 삼가야 한다는 뜻이기도 하다.

[3] Using profiles of cognitive capability to assess AI suitability for workplace tasks

arXiv ID: 2608.25623
저자: Jonathan Prunty, Marko Tešić, Patrick Quinn 외 2인
분류: cs.AI; cs.CY; cs.HC / Benchmark & Evaluation
중요도: 13/15 (참신성 4, 영향력 5, 완성도 4)
분석 수준: 초록 및 공개 정보

핵심 기여

총점으로는 어느 업무를 맡길지 알 수 없다. 저자들은 에이전트와 직무를 같은 인지 능력 좌표계 위에 올린다. 두 축을 따로 갱신하고 곱해서 적합도를 낸다.

방법론

두 갈래다. 인지 능력 프로파일링은 문항마다 인지 요구를 표기한 벤치마크 묶음의 성적에서 에이전트의 능력을 역추정한다. 직무 요구 가중은 같은 능력 차원들이 각자의 일에서 얼마나 중요한지를 현업에게 묻는다. 좌표계가 같으므로 모델이 바뀌면 앞쪽만, 직무가 바뀌면 뒤쪽만 갱신하면 된다. 둘을 합쳐 분야·조직·역할·개별 업무 단위로 적합도를 낸다. 합성 에이전트로 능력 복원을 검증하고, 실제 AI 시스템 여섯을 프로파일링하고, 6개 직군 410명에게 직무 요구를 받았다.

실험 결과

AI 시스템들은 모델 계열 사이보다 인지 차원 사이에서 더 크게 갈렸다. 반면 일터의 활동들은 공통된 인지 핵심으로 수렴했다. 결과 점수는 어디부터 시범 도입할지, 어디는 지금 시스템으로 어렵다고 볼지 가르는 비교 도구가 된다.

한계 및 향후 연구

410명의 응답은 인지 요구에 대한 자기 보고다. 실제 요구와 어긋날 수 있다. '인지 능력 차원'을 무엇으로 잡느냐가 결과를 좌우하는데, 그 목록의 타당성은 별도 문제다. 저자들도 다음 단계로 사람 노동자를 같은 좌표계에 올려 AI 적합도에서 인간-기계 업무 배분으로 넘어가겠다고 적는다.

왜 중요한가

자동화 논쟁은 대개 직업 단위로 벌어진다. 이 논문은 단위를 업무로, 다시 인지 요구로 내린다. 그 눈금에서 보면 대체가 아니라 배분이 문제가 된다. 흥미로운 대목은 직무들이 공통 인지 핵심으로 수렴한다는 관찰이다. 사실이라면 자동화의 충격은 직업별로 고르게 오지 않고, 그 공통 핵심을 건드리는 순간 여러 직군에 동시에 온다. 불평등이 어떻게 벌어지는지를 가늠할 때 이 구조는 중요하다.

[4] BixBench3: Benchmarking AI agents on research-study-scale computational biology tasks

arXiv ID: 2608.25286
저자: Zane Koch, Asmamaw T. Wassie, Javier Valdes-Aleman 외 5인
분류: cs.AI; q-bio.QM / Benchmark & Evaluation
중요도: 13/15 (참신성 4, 영향력 4, 완성도 5)
분석 수준: 초록 및 공개 정보

핵심 기여

과학자가 에이전트에게 일을 넘기는 실제 장면을 그대로 옮겼다. 연구 질문과 상위 방법은 사람이 정하고, 분석 구현 전부를 에이전트에게 맡긴다. 채점은 원논문이 실제로 보고한 산출물과 프로그램으로 대조한다.

방법론

발표된 연구에서 끌어온 원자료와 연구 목표, 방법론적 안내를 에이전트에게 준다. 에이전트는 일련의 분석을 실행해 목표에 도달해야 한다. 나온 데이터 산출물(피크 콜 행렬, 차등 발현 표 따위)을 원논문의 대응 산출물과 기계적으로 채점한다. 과제 20개, 고유 산출물 138개다.

실험 결과

프런티어 모델 13개의 점수가 0.00(Gemini 3.1 Flash Lite)에서 0.48(GPT 5.6 Sol)까지 벌어진다. 원자료가 클수록 성적이 떨어진다. 100GB 미만 과제에서 0.36, 100GB 초과에서 0.10이다. 순차 단계가 많을수록 떨어진다. 1~2단계에서 0.36, 3단계 이상에서 0.24다.

비용을 함께 적은 것이 이 논문의 미덕이다. 과제당 평균 6.8시간, 1억 200만 토큰, 43달러다. 가장 긴 시도는 24시간, 10억 7천만 토큰, 525달러였다. 그리고 점수가 가장 높은 에이전트가 토큰을 덜 쓰고 더 쌌다.

한계 및 향후 연구

과제 20개는 적다. 원논문 산출물을 정답으로 삼으므로, 원논문과 다른 타당한 분석 경로는 벌점을 받는다. 계산생물학 한 분야다. 저자들도 능력의 세 축을 갈라 보라고 권한다. 순차 단계의 일관성, 대용량 원자료 관리, 분야를 건너뛰는 능력이다.

왜 중요한가

지난주 ASI-Bench가 "방법을 거두면 점수가 절반이 된다"고 했다. BixBench3은 방법을 주고도 최고점이 0.48이라고 말한다. 두 결과를 겹치면 그림이 또렷해진다. 지금의 에이전트는 사람이 방법을 정해 준 실행조차 절반쯤만 해낸다. 그리고 그 절반을 하는 데 하루와 500달러가 들 수 있다. 자동화의 경제성을 따질 때 정확도만 보면 안 되는 이유다.

[5] Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography

arXiv ID: 2608.23640
저자: Heather Renze
분류: cs.AI; cs.CL; cs.CY / Benchmark & Evaluation
중요도: 12/15 (참신성 5, 영향력 4, 완성도 3)
분석 수준: 초록 및 공개 정보

핵심 기여

LLM에게 한 사람의 삶을 쓰게 하면 그중 얼마가 실제로 있었던 일인가. 저자는 자기 자신을 대상으로 삼아, 장면 단위로 독립 검증 자료와 대조했다.

방법론

366일치 '하루 한 쪽' 일인칭 일화집을 대화형 LLM으로 초고를 잡았다. 모델에 준 것은 틀 하나, 예시 이틀치, 그날의 인용구뿐이다. 저자의 기록 자료는 주지 않았다. 그 뒤 하루하루를 일화 장면 수준에서 독립 검증 자료와 대조했다. 4단계 채점 기준은 분석 전에 고정했다.

실험 결과

검증 실패율을 VERIFIED 등급을 받지 못한 날의 비율로 정의한다. 366일 중 354일이 실패했다. 96.7%다(Wilson 95% CI 94.4~98.1%). 뒷받침되는 장면이 든 날은 12일뿐이다. 19일(5.2%)은 기록과 정면으로 어긋나는 주장을 담았다. 주된 실패 양식은 '근거 있는 표류'다. 실재하는 사람, 직장, 배경이 지어낸 장면 안에 들어앉는다.

같은 날들을 현행 모델로 다시 생성해도 같은 입력 아래 검증 실패율은 100%였다. 생성을 저자의 기록 자료에 접지시키면 검증률이 유의하게 올랐지만 실패는 83.3%로 여전히 컸다. 독립 재채점은 대표 수치를 재현했으나, 4단계 분류의 신뢰도는 보통 수준에 그쳤다.

한계 및 향후 연구

n=1 사례 연구다. 대상과 저자가 같은 사람이라 이해충돌이 있고, 저자도 그렇게 밝힌다. WEAK와 UNVERIFIED를 가르는 경계가 불안정하다는 점을 저자 스스로 보여준다. 일반화하려면 여러 대상으로 반복해야 한다.

왜 중요한가

96.7%라는 숫자보다 실패 양식이 무섭다. 완전한 허구가 아니다. 실재하는 이름과 장소가 지어낸 장면 안에 배치된다. 읽는 사람에게는 그럴듯하고, 검증하려면 원자료가 있어야 한다. 개인의 기록, 지역사, 구술사처럼 검증 자료가 흩어져 있거나 아예 없는 영역에서 이 기술이 쓰이면 어떤 일이 벌어질지 짐작하게 한다. 접지시켜도 83.3%가 남는다는 결과가 특히 그렇다.

[6] Training Alignment Auditors via Reinforcement Learning

arXiv ID: 2608.25460
저자: Paul Rosu, Rowan Wang
분류: cs.AI; cs.LG / Safety & Alignment
중요도: 13/15 (참신성 4, 영향력 5, 완성도 4)
분석 수준: 초록 및 공개 정보

핵심 기여

프런티어 모델 정렬 감사를 LLM 감사자에게 맡기는 흐름이 커졌다. 그런데 자동 감사자는 조사를 일관되게 끌고 가지 못하고 감사가 현실과 겉돈다. 저자들은 감사자 자체를 강화학습으로 기른다.

방법론

가장 좋았던 학습 환경에서, 정책은 시스템 프롬프트로 숨은 행동이 심긴 대상 모델을 조사한다. 대상에 숨은 행동이 있는지 아는 LLM 심판이 정책의 조사를 기준 조사와 통째로 견주어 보상을 정한다. 절제 실험을 계통적으로 돌렸다.

실험 결과

쌍대 보상(pairwise)이 점별 보상(pointwise)보다 학습을 튼튼하게 만든다. 숨은 행동을 심지 않은 대상을 섞어 넣으면 거짓 양성률이 낮게 유지된다. 학습은 세 가지를 함께 끌어올렸다. 심긴 행동을 가진 대상에 대한 조사 품질, 손대지 않은 상용 모델에서 우려스러운 행동을 찾아내는 비율, 그리고 감사의 현실성이다. 거짓 양성률은 1% 아래에 머문다. 감사 능력은 스캐폴드를 건너 일반화한다. AuditBench의 적대적으로 미세조정된 대상에서 성능이 크게 올랐다.

한계 및 향후 연구

숨은 행동을 시스템 프롬프트로 심는 방식이 실제 오정렬을 얼마나 닮았는지가 관건이다. 보상을 주는 심판이 정답을 안다는 설정도 실전과 다르다. 학습된 감사자가 심는 방식이 바뀌면 어디까지 버티는지는 더 봐야 한다.

왜 중요한가

감사를 자동화하려는 시도가 감사자 자체를 학습 대상으로 삼는 단계에 들어섰다. 규제와 거버넌스 쪽에서 보면 양날이다. 감사 역량이 오르는 것은 좋다. 그러나 감사자도 학습된 시스템이라면, 감사자를 감사할 사람이 다시 필요해진다. 거짓 양성률 1% 미만이라는 수치는 그래서 조심스럽게 읽어야 한다. 심어 둔 행동을 찾는 과제에서의 1%다.

[7] Auditable by Construction: An Ontology-Driven Framework for Trustworthy LLM Analytics

arXiv ID: 2608.20661
저자: 미상 (초록 기준)
분류: cs.AI / Benchmark & Evaluation
중요도: 12/15 (참신성 3, 영향력 4, 완성도 5)
분석 수준: 초록 및 공개 정보

핵심 기여

기업 금융에서 검색증강생성을 정확도가 아니라 감사 가능성으로 평가하자고 주장한다. 그리고 자기 방법이 정확도에서는 이기지 못한다는 것을 스스로 밝힌다.

방법론

KDAF는 온톨로지 기반 지식 체계를 여섯 단계로 짓는다. 검색은 맥락 인식 관련성 전파(CARP)로 하며, 검색된 사실마다 관계 유형, 신뢰도, 출처 계보가 따라붙는다. FinanceBench 145문항에서 무맥락 추론, BM25, 개념 가중 어휘 검색, 접지 없는 그래프 순회와 견준다.

실험 결과

세 가지가 나온다. 검색은 필요하다. 무맥락 추론은 정답률 4.1%인데 검색증강 조건들은 10~12%다. 정답률에서는 조건들이 통계적으로 구별되지 않는다(KDAF 대 BM25: −0.007, 95% CI [−0.021, 0.000]). 저자는 이를 음성 결과로 명시한다. 감사 가능성에서는 순서가 뒤집힌다. KDAF의 인용 추적성 F1이 0.515로 가장 높고, 접지 없는 순회를 +0.027(CI [0.006, 0.050]), BM25를 +0.052(CI [0.024, 0.083]) 앞선다. 두 구간 모두 0을 넘지 않는다. 그래프 구조 검색은 질문 주체 밖의 근거를 하나도 들이지 않았다(426건 중 0건). 어휘 기반 대조군은 16.8%와 20.2%였다.

한계 및 향후 연구

FinanceBench 145문항은 작다. 정답률이 10~12%대에 머무는 과제에서 감사 가능성 차이를 논하는 것이 얼마나 의미 있는지는 따져볼 일이다. 온톨로지 구축 비용은 초록에서 다루지 않는다.

왜 중요한가

규제 산업에서 답은 맞는 것만으로 쓸 수 없다. 출처로 되짚을 수 있어야 하고 사후에 감사할 수 있어야 한다. 이 논문은 그 요구를 평가 축으로 올린다. 그리고 자기 방법이 정확도에서 이기지 못한다고 먼저 적는다. 이런 정직함이 이번 주 감사 흐름의 성격을 잘 보여준다.

[8] Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills (ACES)

arXiv ID: 2608.20614
저자: Christopher Kevin, Narendran Raghavan, Jean-Francois Puget 외 3인 (NVIDIA)
분류: cs.AI / Benchmark & Evaluation
중요도: 12/15 (참신성 4, 영향력 4, 완성도 4)
분석 수준: 초록 및 공개 정보

핵심 기여

스킬과 도구 묶음을 문서로 훑어 검사하던 관문을 실행으로 바꾼다. 묻는 것은 하나다. 이 스킬을 붙이면 같은 모델, 같은 샌드박스, 같은 채점 아래에서 에이전트가 일을 더 해내는가.

방법론

대상 스킬을 붙인 실행과 붙이지 않은 실행을 짝지어 돌린다. 궤적을 공통 형식(ATIF)으로 정규화하고 여섯 가지 런타임 지표로 채점한다. 그리고 Skill Lift를 낸다. 과제, 하네스, 작업공간, 채점자를 고정했을 때 그 스킬이 더한 값이다.

실험 결과

사내 저장소와 공개 카탈로그의 실제 스킬 145개에서, 문서 검사만 하는 관문은 유용한 작성 문제를 잡아내지만 다른 면을 잰다. 구조 점수와 LLM 심판 점수의 스피어만 상관이 0.14다. 상용 스킬 64개 중 58개, 하네스 4종에서 얻은 짝 사례 947건의 평균 종합 Skill Lift는 0.2134다(95% 짝 CI [0.1967, 0.2301]). 결과만 보는 상승분은 0.1799다. 짝 사례의 72.8%에서 종합 상승분이 양수다. 가장 크게 오른 항목은 스킬 실행, 행동 점검, 스킬 효율이었다. 발견, 라우팅, 절차 준수, 도구 사용에 관한 신호다. 문서 검사로는 볼 수 없는 것들이다.

한계 및 향후 연구

72.8%가 양수라는 말은 27.2%가 아니라는 뜻이다. 스킬을 붙여 오히려 나빠지는 경우가 넷 중 하나 이상이다. 이 분포의 꼬리를 봐야 실무에 쓸 수 있다. 사내 저장소 스킬이 표본에 섞여 있어 일반화에 한계가 있다.

왜 중요한가

스킬이 평가 단위가 되었다. 모델도 에이전트도 아니고, 그 사이에 끼워 넣는 재사용 가능한 절차 묶음이다. 조직이 스킬을 자산으로 쌓기 시작하면 그 자산이 실제로 값을 하는지 재는 방법이 필요해진다. Skill Lift는 그 자리를 노린다. 구조 점수와 실효 점수의 상관이 0.14라는 결과는 특히 실무적이다. 잘 쓰인 문서가 잘 작동하는 스킬이라는 보장이 없다.

주제별 주요 논문

각 주제의 상위 논문만 싣는다. 전체 340편은 arxiv_papers_2026-08-28.csv 에 있다.

Agent & Planning (전체 91편 중 8편)

# 제목 arXiv ID 한줄 요약
1 Applying Anthropic Primitives at Large Enterprises 2608.20622 하네스를 기업 인프라로
2 SIMGUIDE: Procedurally Grounded Multi-Context Representations 2608.24888 절차에 접지한 개인화 계획
3 Recursive Agentic Reasoning 2608.23956 재귀적 에이전트 추론
4 Diverse by Reasoning: Wisdom of LLM Crowds for Future Prediction 2608.24001 다양성으로 미래 예측
5 Calibrating Criterion Revision in LLM Agents 2608.20729 기준 수정의 실패 양식
6 HiMA-MDD: Hierarchical Multi-Agent Harness for Depression Detection 2608.21868 해석 가능한 우울 탐지
7 Representation Affects Retrieval: Skill Discovery and Routing 2608.20389 표현이 스킬 검색을 좌우
8 Can your AI agent be cheaper? 2608.25399 명세를 줄이면 토큰 29.7% 증가

Benchmark & Evaluation (전체 77편 중 8편)

# 제목 arXiv ID 한줄 요약
1 There Is No Neutral Harness 2608.21382 하네스가 승자를 고른다
2 Auditable by Construction (KDAF) 2608.20661 정확도 아닌 감사 가능성
3 ESQ-Bench: Enterprise Oracle Benchmark for NL2SQL 2608.23569 방언 일반화를 계층으로
4 Auditing the Synthetic Memoir 2608.23640 366일 중 354일 검증 실패
5 DreamBench-SWE: Multi-Session Memory-Hygiene Benchmark 2608.20664 사전등록 후속 감사
6 Training Alignment Auditors via RL 2608.25460 감사자를 강화학습으로
7 FuzzingBrain-Bench V1 2608.25158 77개 과제 중 60개서 크래시
8 BixBench3 2608.25286 최고 0.48, 과제당 43달러

Safety & Alignment (전체 39편 중 7편)

# 제목 arXiv ID 한줄 요약
1 MemGuard: Persisting Verifier Signals for Memory Governance 2608.21867 검증 신호를 생애주기 메타데이터로
2 More Rejective, Not More Discriminative 2608.23941 사전 실행 감독의 검증 단위
3 Semantic Overlays: Mitigating Prompt Injection 2608.23873 토큰 너머의 주석으로 방어
4 AIREP: Per-Decision Evidence in AI Runtime Governance 2608.21363 결정마다 서명된 증거 객체
5 Granite.Trust Policy Tools 2608.23870 공유 가능한 실행 정책
6 Poisoning Agentic Alpha 2608.24069 다중 에이전트 거래 시스템 공격면
7 CVE-SAI: Risk-Controlled E-commerce Search 2608.25023 반사실 시각 근거로 위험 통제

Reasoning & Logic (전체 33편 중 6편)

# 제목 arXiv ID 한줄 요약
1 ForeTime-VLA: Causal Future-Token Distillation 2608.20735 세계행동모델에서 인과 증류
2 PROOF-Gen: From Optimized Data to Better Distillation 2608.23911 증명 데이터 최적화
3 Composable Trust Infrastructure for Manufacturing KGs 2608.21418 제조 지식그래프 계보 추적
4 Why2Speak: Faithful Reasoning for Abstaining Policies 2608.20670 기권 정책의 충실한 근거
5 FLARE: Verifying MILP Reformulations with Theorem Proving 2608.25220 정수계획 재정식화 검증
6 From Association to Causation (RAG) 2608.21702 인과로 검색 정밀도 개선

Science & Domain Application (전체 27편 중 6편)

# 제목 arXiv ID 한줄 요약
1 PhysElite: Olympiad-Level Physics Problems 2608.25097 올림피아드 물리 도달도
2 Robust Lightweight Models for Oral Cancer Screening 2608.21583 경량 구강암 선별
3 Natural-Language-Guided Protein Binder Shortlisting 2608.20755 생성기 무관 단백질 결합체 선별
4 RIACT: Study Habit Tracking and Burnout Detection 2608.21379 학습 습관과 번아웃 조기 신호
5 Ask or Answer: Health Misinformation Intervention 2608.21721 건강 오정보 개입 결정
6 LLM-Driven Hardware Compatibility Verification 2608.25217 데이터시트 기반 호환성 검증

Knowledge & Memory (전체 18편 중 6편)

# 제목 arXiv ID 한줄 요약
1 HIRA: Human-in-the-Loop RAG Cascade 2608.21792 규제 산업 문서 분류
2 More GPUs or a Smaller Cache? 2608.23962 압축이 1.20~2.00배 싸다
3 Semantic Graph Unification for Digital Threads 2608.24918 제조 11개 시스템 통합
4 ECHO: Auditable Memory Plane for Long-Horizon Agents 2608.21755 감사 가능한 기억 평면
5 Stochastic Student Knowledge Graphs 2608.21668 학습자 반응 시뮬레이션
6 post-graph-rag: PostgreSQL-Native Graph RAG 2608.24921 DB 안에서 도는 그래프 RAG

Multimodal (전체 14편 중 6편)

# 제목 arXiv ID 한줄 요약
1 What Does CLIP Learn for Regional Geolocalization? 2608.21761 CLIP의 지역 추정 단서 규명
2 VLM-based Graph Representation of Building Layouts 2608.24886 도면을 그래프로
3 Interpretable Multimodal Classification 2608.20384 선형판별 트리 앙상블
4 VisAdj: Learning Adjacency Matrices from Node-Link Images 2608.21825 그림에서 인접행렬 복원
5 Multimodal Speculative Decoding survey 2608.20743 병렬 초안 생성 실증 조사
6 Hate Speech Classification In Roman Urdu 2608.21408 저자원 언어 혐오표현

Foundation Model (전체 14편 중 6편)

# 제목 arXiv ID 한줄 요약
1 Let Credit Follow Computation 2608.21501 구조를 아는 신용 배분
2 Survey detection channel overrides pixels 2608.23626 천문 기반모델의 편향 경로
3 Provenance Guided Incremental Learning 2608.23893 개념 정의 변화 아래 증분 학습
4 Reviewing Model Collapse and Countermeasures 2608.21366 모델 붕괴 대응 정리
5 Difficulty-Aware Semantic-ID Optimization 2608.20611 생성형 추천의 의미 ID
6 In-Context Inpainting for Time Series 2608.23855 맥락 내 보간 예측

Efficiency & Compression (전체 10편 중 6편)

# 제목 arXiv ID 한줄 요약
1 Semantic Compression Trees 2608.21610 다해상도 지식 검색
2 KVBoost: Chunk-Level KV Cache Reuse 2608.21362 편차 기반 재계산
3 Minima-KV: Retention-Preserving KV Compression 2608.23834 혼합 형식 페이지 어텐션
4 Narcissus: Program Synthesis via LLM Approximations 2608.25657 맥락 인식 근사로 합성
5 STCO: Conditional Neural Operators for PDEs 2608.20477 시간의존 편미분방정식
6 Hierarchical MoE for Multi-Modal ILD Diagnosis 2608.25261 계층 MoE 폐질환 진단

Robotics & Embodied AI (전체 5편)

# 제목 arXiv ID 한줄 요약
1 Retrieval-grounded robot program generation (MCP) 2608.21417 시뮬레이션 기반 교정
2 SPARC: Motion Forecasting with Conformal Bayesian Layers 2608.20802 단일 패스 동작 예측
3 Graph-Operator World Models 2608.20936 형태 매개변수 일반화
4 Implicit Q-learning ant colony for maritime observation 2608.24471 해상 이동표적 관측
5 Evidence Blindness in Direct Corpus Interaction (AtlasNav) 2608.24764 지속 항법의 증거 맹시

Other (전체 12편 중 6편)

# 제목 arXiv ID 한줄 요약
1 SwarmWorld: Stigmergic technological evolution 2608.26081 언어모델 에이전트 사회의 기술 진화
2 Continuous-Time Quantum Walks based GNN 2608.20738 양자 걷기 그래프 신경망
3 Measurement-Budget Allocation in Quantum Learning 2608.24891 유한 측정 일반화 보장
4 Fine-Grain GPU Parallelization for Large-Scale TSP 2608.21233 분할 교차 병렬화
5 Artificial Empathy: Unsupervised Agency Detection 2608.23030 행위자성 탐지 틀
6 AI Finds A Way 2608.23875 —

arXiv 서브카테고리별 분포 (표본 340편)

주분류: 340편 전부 cs.AI다. cs.AI 목록을 긁으므로 당연한 결과다.

교차분류

서브카테고리 논문 수
cs.CL (Computation and Language) 49
cs.LG (Machine Learning) 42
cs.SE (Software Engineering) 23
cs.CV (Computer Vision) 15
cs.MA (Multiagent Systems) 12
cs.CY (Computers and Society) 11
cs.HC (Human-Computer Interaction) 9
cs.RO (Robotics) 8
cs.IR (Information Retrieval) 7
cs.CR (Cryptography and Security) 6
cs.LO (Logic in Computer Science) 5
cs.DB (Databases) 4
cs.DC (Distributed Computing) 4
cs.CE (Computational Engineering) 3
cs.ET (Emerging Technologies) 3

지난주 표본(97편)에는 cs.CV와 cs.RO가 하나도 없었다. 이번 주에는 15편과 8편이다. 표본이 3.5배로 커진 효과로 본다. 흐름이 바뀌었다고 읽지 않는다.

요일별 등재량

요일 날짜 등재량 표본 초록 확보
월 8월 24일 200 88 45
화 8월 25일 362 98 48
수 8월 26일 228 99 48
목 8월 27일 209 55 47
금 8월 28일 미등재 — —
합계 999 340 188

화요일 362편이 다시 도드라진다. 지난주 화요일도 465편이었다. 두 주 연속이다. 주 초에 마감이 몰리는 흐름으로 보인다. 초록에 EMNLP 2026, AAAI-27, MICCAI 2026, ACM CAIS 2026 채택·투고 표기가 흩어져 있다.

분석 메모

표본과 한계. 이번 주는 일일 수집이 처음으로 온전히 돈 주다. 월요일부터 목요일까지 나흘 모두 /list/cs.AI/new 를 받아 쌓았다. 그 결과 표본이 340편, 주간 물량의 34.0%가 되었다. 지난주 9.6%에서 세 배 반 늘었다. 초록까지 확보한 논문은 188편(표본의 55%)이다. 나머지 152편은 제목과 분류만 안다.

빠진 것도 적어 둔다. 금요일 등재분은 아직 arXiv에 올라오지 않았다. 하루치 /new 도 길이 제한에 걸려 통째로 오지는 않는다. 하루 65편 안팎 중 45~49편이 온다. 그래서 각 날짜의 뒷부분이 비어 있다. /recent 로 앞 50편을 보태 양쪽 끝에서 메웠지만 가운데는 여전히 빈다. 화요일이 362편인데 표본이 98편에 그친 까닭이다.

본문을 한 편도 읽지 못했다. 두 가지가 겹쳤다. 첫째, 캐시는 다른 세션에서 받아온 것이라 개별 논문 주소를 부를 권한이 이 세션에 없었다. 목록을 이 세션에서 다시 받아 권한을 열었으나, 그 직후 웹 요청 한도(HTTP 429)에 걸렸다. 그래서 여덟 편 모두 초록과 공개 정보로만 분석했다. 다음 주에는 순서를 바꿔, 집계를 마치자마자 본문부터 받고 리포트를 나중에 쓰는 편이 낫겠다.

분류에 관하여. 주제 분포는 스크립트의 키워드 1차 분류에 사람 검토를 얹은 값이다. 전수 수작업이 아니다. 이번에는 Other 로 떨어진 60편을 모두 훑어 48편을 옮겼다. 옮기고 나니 Science & Domain Application이 4편에서 27편으로 늘었다. 키워드 규칙이 방법을 도메인보다 앞세우기 때문에 생기는 계통적 치우침이다. 임상시험 에이전트 논문은 의료가 아니라 에이전트로 간다. 다음 주에도 같은 보정이 필요하다.

다음 주에 볼 것.

하네스 논쟁이 어디로 가는지 보겠다. 「There Is No Neutral Harness」가 문항별 기록을 공개했다. 이 데이터를 받아 재분석하는 논문이 나오는지, 리더보드 운영자들이 취약성 검사를 도입하는지가 관전 지점이다. 도입한다면 모델 성능표의 형식 자체가 바뀐다.

비용 보고가 관행이 되는지 보겠다. 이번 주 BixBench3이 시간·토큰·달러를 나란히 적었다. 「Can your AI agent be cheaper?」는 명세 문장 하나가 지출을 29.7% 움직인다고 잰다. 벤치마크가 정확도 옆에 비용을 적기 시작하면, 성능 경쟁의 문법이 바뀐다.

일터 쪽 연구가 느는지 보겠다. 이번 주 340편에서 노동과 직무 배분을 정면으로 다룬 논문은 한 편이었다. 기술은 빠르게 나아가는데 그 기술이 사람의 일에 무엇을 하는지 재는 연구는 드물다. 이 비대칭이 좁혀지는지가 오래 볼 지표다.

본 리포트는 arXiv cs.AI 자동 분석 스킬로 생성했다.
본문 정독 0편 / 초록 정독 188편 / 제목·분류 확인 152편 / 주간 전체 등재 999편

← Back to Trend