결과물은 모델만이 아니라 모델을 돌리는 환경에 따라서도 달라져요. Redrob이 모델 주위에 무엇을 더하는지, 그 효과를 어떻게 쟀는지 보여 드릴게요.
AI 앱이 일하는 세 가지 방식
웹 채팅시내용 소형차문서는 직접 올리고, 답은 직접 옮겨 담아요. 내 컴퓨터 폴더는 열지 못해요.예: claude.ai, chatgpt.com
데스크톱 업무 앱기사가 딸린 배송 밴연결한 폴더와 앱에서 자료를 모으고, 몇 시간 걸리는 일도 맡아서 문서나 슬라이드로 끝내요.예: Claude Cowork, ChatGPT Work
개발자용 도구정비사가 함께 타는 작업 트럭작업 폴더를 직접 읽고 고치고, 명령을 실행해서 결과를 스스로 확인해요.예: Claude Code, Codex
2026년 10월 기준 각 사 공식 문서: Claude 도움말 센터 "Claude Cowork architecture overview", OpenAI "Introducing ChatGPT Work"(2026년 7월 9일), Claude Code 문서, OpenAI Codex 문서.
개발자들이 쓰는 강력한 작업 환경, 이제 채팅으로 쓰세요
평소처럼 채팅창에 할 일을 적기만 하면 돼요. 뒤에서는 Redrob Code가 개발자용 도구처럼 일해요. 필요한 파일을 읽고, 문서를 만들고, 결과를 스스로 확인한 다음 넘겨 드려요. 명령어도, 설정도 필요 없어요.
1말로 맡기고
2Redrob Code가 일하고
3검토할 결과물을 받아요
더 자세히 알아보기: 하네스와 벤치마크
하네스는 AI 모델을 감싸서 돌리는 실행 환경이에요. 모델이 어떤 도구를 쓸 수 있는지, 파일을 어떻게 읽고 쓰는지, 일을 몇 단계로 나눠 중간에 스스로 점검하는지를 하네스가 정해요. 모델이 엔진이라면 하네스는 차체, 변속기, 계기판이에요. Redrob Code는 이런 하네스이고, 데스크톱 앱이 그 위에서 돌아가요.
연구 결과도 같은 이야기를 해요. 코딩 과제 100개로 진행한 한 연구에서는 모델은 그대로 두고 하네스만 바꾸자 점수가 8.5-13%p 움직였어요. 반대로 하네스는 그대로 두고 모델만 바꿨을 때는 2.5-5%p였어요. 독립 연구기관 Epoch AI도 같은 모델이 하네스만 바꿔 최대 11-15%p 달라졌다며, 하네스 선택이 성능에 가장 큰 영향을 준다고 정리했어요.
다만 이 숫자들은 모두 코딩 과제에서 나왔어요. 법률이나 회계 문서로 같은 비교를 한 공개 연구는 아직 없어요. 그래서 Redrob은 문서 업무 품질을 사내 평가로 따로 쟀어요. 결과는 이 페이지 아래에 있어요.
1. Redrob 사내 평가. 같은 모델, 같은 Effort, 같은 프롬프트로 일반 모델과 비교했어요.
2. arXiv 2605.23950, "Stop Comparing LLM Agents Without Disclosing the Harness" (2026년 5월). 코딩 과제 100개에서 모델은 그대로 두고 실행 환경만 바꿨을 때 점수가 흔들린 정도(분산)가, 실행 환경은 그대로 두고 모델만 바꿨을 때보다 7.8배 컸다는 결과예요. 점수 차이로 보면 실행 환경을 바꿨을 때 8.5-13%p, 모델을 바꿨을 때 2.5-5%p였어요.
근거와 출처
이 사이트에 나오는 숫자가 어디서 왔는지 정리했어요.
데스크톱 앱 약 +8%, 코딩 에이전트 앱 약 +19%
웹 채팅 대비 상승률이에요. 같은 AI 모델을 도구 없이 실행했을 때와 도구, 실행 환경을 갖춰 실행했을 때의 공개 벤치마크 점수 차이로 추정했고, 추정 범위는 각각 +3%에서 +15%, +8%에서 +33%예요. 근거는 Anthropic Claude Opus 5 시스템 카드(2026년 7월, GDP.pdf, Humanity's Last Exam), Claude Opus 4.6 시스템 카드(2026년 2월, MMMU-Pro), Scale AI SWE-Bench Pro와 Augment Code의 같은 모델 비교(2026년 2월), arXiv 2605.23950(2026년 5월)이에요. 이 자료는 법률이나 회계 문서 작업, 웹 채팅 서비스 자체를 직접 잰 것은 아니에요.
업무에 최적화된 스킬 약 +27%, 기업 고유 양식 2-3개 약 +48%
업무에 최적화된 스킬(약 +27%)과 기업 고유 양식 2-3개(약 +48%)는 여러 최신 AI 모델로 진행한 Redrob 사내 평가에서 웹 채팅 대비 상승률로 표시한 값이에요. 같은 모델, 같은 프롬프트로 비교했어요. 실제 결과는 업무와 쓰는 방식에 따라 달라요.
가장 앞선 AI 모델에서도 품질 20% 향상
여러 최신 AI 모델에서 같은 모델, 같은 프롬프트로 스킬이 있을 때와 없을 때를 비교한 Redrob 사내 평가예요.
100GB, 약 100만 쪽
쪽 수는 한 쪽에 약 100KB(스캔 문서와 일반 사무 문서의 보통 크기)로 계산한 추정치예요. 실제 용량은 파일 종류에 따라 달라요.
