Nexus Point

매일 쏟아지는 AI 소식 중 꼭 알아둘 것만 골라 정리합니다

카테고리

월별 보관함

[오늘의 AI 노트] 11월 4일(수): 교차 검증, 근거 달기, 모델 직접 운영

in

11월 4일 하루 동안 Threads에서 모은 AI 글 50개를 정리했습니다. Claude Code 관련 글이 21개로 가장 많았고, AI가 만든 결과를 다른 AI나 근거 문서로 확인하게 하는 방법이 여러 글에서 겹쳤습니다. 레볼루트와 현대차처럼 외부 AI 대신 모델을 직접 운영하려는 기업 소식도 이어졌습니다.

오늘의 흐름

1. 만든 AI가 아닌 다른 AI가 검사한다

치과 업무 AI를 같은 프롬프트로 두 번 만든 DentalAX 사례에서는 두 번째 버전을 하네스·루프 플러그인으로 16시간 동안 AI끼리 개발·검사하게 했는데, 만든 AI가 아닌 다른 AI가 검사하자 불합격이 7번 나왔고 고친 뒤에는 첫 버전에 숨어 있던 문제까지 잡혔습니다. 클라우드플레어가 공개한 security-audit-skill도 찾은 AI가 자기 결과를 검사하지 않는 것을 원칙으로 두고 다른 AI의 반박 검증을 거치며, 공식 README 기준 한 번만 돌리면 여러 번 돌려 찾은 것의 약 절반만 찾는다고 합니다. Claude Code 팀 애디 오스마니가 짚은 ‘감독의 역설'(앤트로픽 내부 보고서)처럼 답이 그럴듯할수록 확인을 건너뛰고 확인할 실력도 줄어드니, 맡기기 전에 내 예상과 끝났다는 기준부터 적어 두라는 제안이 함께 읽힙니다. (근거: DentalAX, security-audit-skill, 감독의 역설)

2. 답마다 근거를 달고, 모르면 멈추게 한다

업스테이지가 무료로 푼 korean-tax-calc-mcp는 법인세·소득세·부가세·가산세까지 계산기 62개를 코드로 돌려 결과마다 근거 조문을 붙이고, 기준표가 없는 연도는 그럴듯하게 추정하지 않고 멈춥니다. 대학원생용 선행연구 정리 프롬프트도 없는 정보는 ‘보고되지 않음’으로 쓰고 내가 올린 논문만 근거로 삼게 하며, 공공기관 AI 실무 글은 RAG가 오답을 내면 생성 모델부터 바꾸지 말고 질문마다 정답 근거 문서·조항을 미리 적어 둔 뒤 검색 상위 결과에 그 근거가 있는지부터 보라고 합니다. 규정과 서식, 조문이 많은 행정·연구 업무라면 답보다 근거 위치를 먼저 요구하는 습관이 특히 쓸모 있어 보입니다. (근거: korean-tax-calc-mcp, 선행연구 프롬프트, RAG 4단계)

3. 외부 AI 대신 모델을 안으로 들인다

레볼루트는 엔지니어 2,000명이 쓰던 Claude Code·Codex를 빼고 Z.ai의 오픈웨이트 모델 GLM-5.3을 엔비디아 B200 GPU 56장으로 직접 돌려, AI 코딩 비용을 1년 새 10분의 1로 낮췄다고 밝혔습니다(이미지 작업은 여전히 Gemini나 GPT로 넘깁니다). 현대차는 10월 말부터 국가핵심기술 조직의 외부 생성형 AI 접근을 끊고 사내 인프라에 설치할 수 있는 Gemma만 예외로 뒀고, 같은 날 정부가 범정부 AI 공통기반에 들어간 중국 BAAI 임베딩 모델 BGE-M3 교체를 검토한다는 보도도 나왔습니다(발견된 보안 문제가 아니라 공급망 위험 때문이라는 분석). 다만 미스트랄 Large 4처럼 오픈 웨이트라도 모델을 서비스로 제공하는 사업이라면 별도 상용 라이선스가 필요할 수 있으니, 직접 운영 전에 라이선스부터 확인해야 합니다. (근거: 레볼루트, 현대차, Mistral Large 4)

써볼 만한 도구

  • Stirling PDF: 합치기·나누기, 용량 압축, 서명 넣기, 개인정보 가리기, OCR 등 50가지 넘는 PDF 작업을 내 PC나 서버에서 하는 오픈소스(깃허브 별 9만 5천 개 이상). 직접 설치하면 문서를 외부 서비스로 보내지 않고, 자주 하는 작업은 여러 단계를 묶어 자동으로 돌릴 수 있습니다. 이런 분께: 스캔 서류를 자주 합치고 나누는 행정 업무 담당자
  • Hob: 계정·구독 없이 Gemma·gpt-oss 같은 오픈 모델을 내 컴퓨터(Mac·Windows·Linux)에서 돌리는 무료 MIT 앱. 개발사 설명 기준 인터넷 없이도 PDF 읽기, 엑셀 표를 차트로 만들기, 영수증 사진 읽기를 하고 파일을 바꾸기 전에 묻습니다(8GB Mac은 가장 작은 Gemma 4 E4B부터). 이런 분께: 업무 파일을 외부 AI에 올리기 꺼려지는 분
  • Research-Paper-Writing-Skills: 초록·서론·방법·실험·결론 초안, 주장과 근거가 맞는지 점검, 심사자 관점의 투고 전 자체 검토를 돕는 에이전트 스킬(깃허브 별 8천, MIT). Codex·Claude Code·Gemini 스킬 폴더에 복사해 씁니다. 이런 분께: 투고를 앞둔 대학원생·연구자
  • sepia: 문장보다 글의 구조·흐름부터 점검해 ‘AI 티’를 빼는 글쓰기 스킬(MIT). Write·Review·Refactor·Recreate 네 모드로 보도자료·기술 문서 등 목적에 맞춰 문장 길이·리듬·반복 전개를 봅니다. 이런 분께: AI로 잡은 초안이 어딘가 어색하게 읽히는 분
  • Worktrunk: 코딩 에이전트 병렬 작업용 Git 워크트리 관리 CLI. wt switch -c -x claude feat 한 줄로 워크트리를 만들고 Claude까지 실행하며, wt remove로 워크트리와 브랜치를 함께 정리합니다(MIT 또는 Apache 2.0). 이런 분께: Claude Code를 여러 개 동시에 돌리는 개발자

바로 쓰는 프롬프트

오늘 프롬프트 글 두 개는 논문을 다룰 때 근거와 의견을 나누게 한다는 점이 같았습니다. 원문 프롬프트를 그대로 옮겼습니다.

연구 근거 표 만들기 (선행연구 정리 10개 중 2번, 원문)

[주제] 논문들에서 가장 중요한 정보를 뽑아 표로 만들어 줘. 열은 인용, 연구 질문, 표본이나 자료, 연구 방법, 연구한 변수, 핵심 결과, 한계, [내 연구 질문]과의 관련성으로 해 줘. 칸은 짧게 써 줘. 없는 정보는 지어내지 말고 '보고되지 않음'이라고 써 줘.

진짜 연구 공백 찾기 (같은 글 5번)

내가 준 [주제] 논문들에서 연구 공백을 찾아 줘. 대상 공백, 지역 공백, 방법 공백, 이론 공백, 자료 공백, 엇갈린 결과, 덜 탐구된 관계로 나눠 줘. 공백마다 근거를 인용하고, 왜 중요한지 설명하고, 이를 다룰 구체적인 연구 질문을 하나씩 제안해 줘. '더 많은 연구가 필요하다' 같은 막연한 공백은 쓰지 마.

작성자는 내가 올린 논문만 근거로 쓰게 하고, AI가 말한 인용과 숫자는 꼭 원문과 대조하라고 덧붙였습니다.

NotebookLM 주장 점검 (영어 원문, 원문)

List the 5 biggest claims in this paper. For each one, tell me whether the paper shows evidence, only suggests it or just states it. Cite the section where each claim appears and flag any claim that sounds stronger than the data behind it. If something is missing, tell me before you answer.

핵심 주장 5개를 ‘증거로 보였다 / 시사만 했다 / 주장만 했다’로 나누고, 주장이 나온 섹션을 인용하게 하는 프롬프트입니다.

주의할 점

  • Postman 데스크톱을 쓴다면 점검: Mac에서 v12.33.4를 실행하자 MCP 연결, Claude Code 플러그인, Postman CLI가 동의 없이 설치되고, Codex 세션 시작마다 ‘API 작업이면 Postman 스킬부터 부르라’는 지시를 넣는 훅까지 등록됐다는 GitHub 이슈가 올라왔습니다. 설치 경로는 ~/Library/Application Support 아래입니다. (원문)
  • 무인 실행은 .mcp.json 승인을 묻지 않음: 대화형 세션과 달리 claude -p, Agent SDK, 클라우드 세션은 .mcp.json에 적힌 프로젝트 MCP 서버를 확인 없이 불러오니, 원치 않는 서버는 disabledMcpjsonServers에 넣어 막으세요. 돌리는 에이전트와 닿는 도구를 모두 적고 ‘all tools’ 설정을 선택형으로 바꾸고 호출 로그를 남기라는 점검표도 함께 볼 만합니다. (근거: .mcp.json, MCP 점검표)
  • Claude Code 예약 작업 점검: v2.1.318부터 claude auth status에 로그인 만료일(loginExpiresAt)이, claude -p JSON 결과에 credential_expires_at이 나와 만료로 멈추기 전에 알림을 걸 수 있습니다. 2.1.316 기준 Opus 4.8 빠른 모드는 11월 30일에 완전히 없어지고, 이후에는 오류가 나며 일반 모드로 자동 전환되지 않습니다. (근거: v2.1.318, 2.1.316)
  • 에이전트는 다 깔지 말고 골라서: agency-agents 284개를 모두 깔면 ‘안녕’ 한 줄 입력 토큰이 36,605개에서 63,435개로 1.73배가 됐고, 깔기만 한 에이전트는 불리지도 않았습니다. 필요한 .md만 .claude/agents에 복사하고, 맡긴 결과의 숫자는 다시 확인하라고 합니다. (원문)
  • 공격 보안 스킬은 승인된 대상에만: Claude-Red는 실행 도구가 아니라 지침 모음이라 실제 공격은 사람이 Burp Suite·sqlmap 등으로 통제해야 하고, 서면 승인된 대상에만 쓰며 특정 커밋 고정과 install.sh 사전 검토를 권합니다. (원문)

내 한마디

오늘 모인 글들을 관통한 질문은 ‘AI가 한 일을 무엇으로 믿을 것인가’였습니다. 다른 AI에게 검사를 맡기고, 답마다 근거 조문을 달게 하고, 아예 모델을 사내로 들여 직접 쥐려는 움직임까지, 모두 맡기는 범위를 넓히기 전에 확인할 장치부터 두는 쪽을 가리킵니다. 결과가 그럴듯할수록 확인을 건너뛰기 쉽다는 ‘감독의 역설’을 떠올리면, 확인 절차는 다 맡긴 뒤에 덧붙일 것이 아니라 처음부터 일의 설계에 넣어야 할 부분이라고 생각합니다.

오늘 저장된 글 (50개)

AI 인사이트 (22개)

GitHub·사이트 (12개)

스킬·MCP (16개)

댓글

답글 남기기