Redrob Labs 리서치
AI가 실제 일에서 어떻게 작동하고 어디서 실패하는지, 공개된 데이터와 직접 잰 결과로 써요.
논문은 영어로 쓰여 있어요.
- 한국어로 쓰면 AI 비용이 더 드는 이유같은 내용도 한국어는 영어보다 토큰이 약 1.4배 들어요. 그 차이는 언어가 아니라 토크나이저가 정해요.
- AI 모델별 환각률: 리더보드 하나가 보여 주는 것문서를 요약할 때 2026년의 보통 모델은 열 번에 한 번꼴로 틀려요. 열 달 동안 새 모델이 나와도 그 수치는 거의 그대로였어요.
- 프롬프트 인젝션: AI 에이전트에게 명령하는 웹 페이지상품 리뷰에 숨긴 지시를 쇼핑 에이전트가 42-68% 따랐어요. 가장 위험한 지시는 사람이 눈치채지 못하게 결과를 비트는 지시예요.
- AI 에이전트는 세 번에 두 번 성공해요. 실패하는 한 번은 어디일까요실패는 긴 작업, 반복 실행, 확인 기준이 없는 일에 몰려요. 실제 업무와 가장 닮은 부분이에요.
- 가짜 판례 인용 천 건: 법원 기록이 보여 주는 것AI가 지어낸 인용이 나온 미국 판결 1,111건에서 변호사는 39%였지만, 벌금의 82%를 냈어요.
- 정부 문서가 HWPX로 바뀌면 AI에 무엇이 달라질까내용은 그대로지만 문서의 구조를 누구나 읽을 수 있게 돼요. AI 도구가 가장 먼저 놓치는 게 바로 그 구조예요.
- 듣고 싶은 말만 하는 AI 모델AI 모델 11개는 사람보다 49% 더 자주 사용자 편을 들었어요. 중요한 결정을 모델 하나에게만 묻는 건 위험해요.
- AI 역량의 보상은 엔지니어가 아니라 전문가에게 가요채용 공고 데이터를 보면 AI 역량은 법, 금융, 영업처럼 이미 아는 일에 더해질 때 가장 많이 보상받아요.
- AI 기본법 시행 일주일: 작은 회사가 지켜야 할 것다른 회사의 모델로 서비스를 만드는 작은 회사에게 남는 의무는 사전 고지, 표시, 자체 점검이에요. 벌금이 붙는 건 고지뿐이에요.