HERMES × GEMMA · 2026.10.22

강남A현장 3분기 보고
스킬별 실제 결과 비교

같은 10장 요청을 Baseline · GenOffice · Claude PPT 조건으로 실행했습니다. 중간표현 제한을 해제하고 각 스킬의 작성 절차를 허용했습니다. 렌더 환경은 공통 LibreOffice로 바꿨으며, 참고 보고서와의 차이는 아래에 공개했습니다.

파일 생성과 스킬 준수는 달랐습니다.
Baseline은 10장 생성, GenOffice는 자리표시자와 내용 오류를 남긴 10장 생성, Claude는 코드 오류 뒤 파일 없이 종료했습니다. 제공한 스킬을 모두 제대로 수행했다고 볼 수 없습니다.

동일한 제작 도구, 다른 스킬 지침

세 조건 모두 GenOffice CLI 0.10.0과 PptxGenJS 4.0.1을 설치했습니다. PptxGenJS는 이번 실험용 Docker 이미지에 추가한 라이브러리이며, 기존 Hermes 이미지에서는 로딩되지 않습니다. Baseline은 설치된 도구는 같고 PPT 스킬 지침만 없는 조건입니다.

조건별 1회 · google/gemma-4-31b-it · 최대 30분/80회 모델 호출 · 전체 스킬 본문 사전 주입 · 공통 LibreOffice 렌더 · 결합 조건 제외

Baseline

파일 생성 · 내용 보완 필요

제공 스킬: 없음
실제 제작 도구: PptxGenJS
슬라이드: 10
표 / 차트: 7 / 0
모델 이미지 입력: 3개
실행 시간: 241초
모델 호출: 11회
관측 비용: $0.0277

PPTX ↓PDF ↗

GenOffice

파일 생성 · 품질 미달

제공 스킬: GenOffice 전문
실제 제작 도구: GenOffice
슬라이드: 10
표 / 차트: 0 / 0
모델 이미지 입력: 0개
실행 시간: 971초
모델 호출: 38회
관측 비용: $0.1119

PPTX ↓PDF ↗

Claude PPT

생성 실패

제공 스킬: Claude PPT 전문
실제 제작 도구: PptxGenJS (시도)
슬라이드: 없음
표 / 차트: — / —
모델 이미지 입력: 0개
실행 시간: 437초
모델 호출: 20회
관측 비용: $0.0572

다운로드할 파일 없음

비용은 실제 OpenRouter 응답 usage.cost 합계입니다. Langfuse 조회 시 GenOffice는 38회 중 36회가 조회됐으며, 전송 수락 기록은 38회입니다. 2026-10-22 17:03 KST 재조회에서도 36회였습니다. 미조회 2회의 원인은 미확인으로 남깁니다.

실제 입력과 환경

사용자가 제공한 원문 · 831자

다음 내용으로 경영진 보고용 PowerPoint 10장을 만들어 주세요. 디자인은 깔끔하고 세련되게, 표와 도표를 적극적으로 써 주세요.

주제: 강남A현장 3분기 공정·안전·원가 현황 보고 (2026년 7~9월)
1. 표지: 강남A현장 3분기 현황 보고, 2026.10.21, 공사관리팀
2. 현장 개요: 지하 4층·지상 25층 업무시설, 연면적 48,200㎡, 공사기간 2025.03~2027.08, 공정률 계획 52% / 실적 49%
3. 월별 공정률: 7월 계획 40%·실적 39%, 8월 46%·44%, 9월 52%·49%
4. 주요 공종 진행: 골조 지상 14층 완료(계획 16층), 외장 커튼월 착수(5층까지), 설비 배관 지하층 완료, 전기 간선 공사 60%
5. 지연 원인: 8월 집중호우 6일 작업 중지, 철근 수급 지연 4일, 타워크레인 정기점검 2일
6. 만회 대책: 10월부터 골조 2개 조 운영, 주말 작업 4회, 커튼월 협력사 인원 30% 증원, 11월 말 계획 공정률 회복 목표
7. 안전 현황: 3분기 무재해 92일, 아차사고 보고 14건(추락 5·낙하물 4·전도 3·기타 2), 안전교육 이수율 98%, 위험성평가 개선 조치 21건 완료
8. 원가 현황: 실행예산 1,420억 원, 3분기 누적 집행 690억 원(48.6%), 자재비 상승으로 철근 +3.2억·레미콘 +1.8억 증액 예상
9. 협력사 현황: 협력사 9팀, 3분기 평가 상위(신우건설·대명설비), 개선 필요 1팀(외장 인원 부족)
10. 4분기 계획 및 요청 사항: 골조 25층 완료, 커튼월 15층, 공정률 70% 목표 / 요청: 철근 단가 조정 승인, 동절기 보양비 2.5억 사전 승인

원문 TXT · SHA-256 520e01ad767dc435d70a5cb30fb49ca8f7317aa424bcf5eae675ce33770e2166

세 조건에 공통으로 제공한 실행 지침

This is an authorized presentation skill workflow experiment. Use the supplied user question as the content brief and preserve its facts. Save the final deck to /data/workspace/gangnam-review.pptx. Work in /data/workspace. You have GenOffice CLI 0.10.0 and PptxGenJS installed, with LibreOffice, Poppler, markitdown, Pillow, lxml, defusedxml, React, react-icons and sharp. There is no restriction against intermediate design files or specifications. No palette, typography, layout template, chart count or table count is prescribed beyond the user question. Follow any supplied skill's original authoring and quality workflow. The complete supplied skill text is preloaded below; its directory attribute is the real root for referenced scripts and resources. Do not load, install or consult other presentation skills. In the baseline condition no presentation skill is supplied, and you may choose from the installed authoring tools. GenOffice's GUI renderer is not installed in this headless environment: use the shared LibreOffice renderer for final visual QA instead of repeatedly invoking the unavailable GUI. A working rendering command is `libreoffice -env:UserInstallation=file:///tmp/lo-model --headless --convert-to pdf --outdir /data/workspace /data/workspace/gangnam-review.pptx`, followed by `pdftoppm -jpeg -r 110 /data/workspace/gangnam-review.pdf /data/workspace/slide`. The vision_analyze tool attaches local slide images to this same Gemma model for actual visual inspection. Merely producing images is not inspecting them. Report unresolved limitations honestly. The same environment, model, tools, resources and question apply across conditions; only the supplied skill differs. Generation limits are 30 minutes and 80 model calls per condition.

공통 입력 TXT

조건별 차이와 해석 범위

Baseline은 공통 입력만 받습니다. GenOffice에는 GenOffice SKILL.md 전문을, Claude에는 Claude PPT SKILL.md 전문을 추가했습니다. 원래 스킬의 참조 스크립트를 사용할 수 있도록 실제 디렉터리 경로도 전달했습니다. 나머지 모델·도구·라이브러리·시간 한도는 같습니다.

조건별 1회 실험으로 일반적인 우열을 결론 내릴 수 없습니다.
모든 조건에 동일한 제작 도구를 사전 설치했습니다. Baseline은 Hermes 기본 배포판과 다릅니다.
전체 SKILL.md 사전 주입 방식이므로 네이티브 스킬 검색·선택·로딩 효과는 검증하지 않았습니다.
GenOffice GUI 렌더러가 없는 headless 환경에서 공통 LibreOffice 렌더러를 사용했습니다.
Claude는 스킬 이름입니다. 생성 모델은 세 조건 모두 동일한 Gemma입니다.

참고 보고서와 같은 실험인가?

참고 보고서의 질문과 비교 방식에 맞춘 Gemma 3조건 실험이며, 동일 절차 재현이나 동등한 채점 보고서는 아닙니다.
질문·GenOffice 버전은 일치합니다. Gemma·3조건은 사용자 요청에 따른 변경이며, 적재·렌더·격리 차이와 미실시 평가는 아래에 구분했습니다.

비교 항목	판정	참고 보고서	현재 실험	해석 범위
질문 원문	일치	강남A현장 보고 10장, 831자	첫 모델 요청 3개 모두 원문·SHA-256 일치	내용 입력 차이는 없습니다.
비교 범위	요청에 따른 변경	후보 19개 + 기준선 2개	Baseline / GenOffice / Claude PPT, 결합 제외	3조건 탐색 실험이며 21조건 재현은 아닙니다.
모델	요청에 따른 변경	OpenRouter GPT-6 Luna · medium	OpenRouter Gemma 4 31B IT · medium 요청 필드 확인	스킬 간 비교는 가능하나 참고 보고서와 모델 효과를 분리할 수 없습니다. 실제 추론량은 미측정입니다.
Hermes 실행·스킬 적재	구현 차이	3cbb13f · CLI --skills로 전문 사전 적재	835c3dd · HTTP API, platform_hints에 전문 사전 적재	전문 전달은 확인했지만 네이티브 CLI 적재 경로 재현은 아닙니다.
GenOffice 원본	일치	공식 skill 324b0477… · CLI 0.10.0	같은 고정 commit·CLI, SKILL.md 해시 확인	스킬 버전이 다르기 때문에 생긴 결과 차이는 아닙니다.
Claude 원본	비교 불확실	이전 완성본 재사용, 당시 실행 commit·세부 로그 미확인	dbd4588… 전문 주입, PptxGenJS 4.0.1 설치	참고 보고서의 성공과 현재 실패만으로 모델 또는 스킬의 일반적 능력을 단정할 수 없습니다.
기준선	구현 차이	기존 skillless Hermes의 공통 환경 지침 적용 여부 미확인; 제품 DSH 기준선 별도	같은 설치 도구·공통 지침, PPT 스킬만 없음	현재 Baseline은 Hermes 기본 배포판을 뜻하지 않습니다.
도구·렌더·검수	구현 차이	terminal/file · 내부 LibreOffice 없음 · 평가자가 외부 렌더	terminal/file/vision · 내부 LibreOffice 허용 · GenOffice GUI 렌더 대체	원래 생성 도구는 유지했으나 원래 렌더 환경을 완전히 재현하지 못했습니다.
격리·자원	구현 차이	gVisor, OpenRouter 전용 통신; 차수별 0.75~1.5 vCPU	Docker, 실행기 설정 2 vCPU/2 GiB; 3조건 동시 실행	gVisor·OpenRouter 전용 네트워크와 동일하지 않습니다. 서로 다른 실행기의 속도 순위를 만들지 않습니다.
평가	미실시	이름을 가린 이미지 채점, 공통 25점·그룹별 45점, XML 구조 검사	실행 로그·XML·내용 대조와 정성 검토, 익명 채점 없음	현재 페이지는 참고 보고서와 동등한 채점 보고서가 아닙니다.
성능 계측	일부만 수행	첫/최종 파일 시각, 호출·토큰·비용, cgroup peak 등	현재 공개값은 전체 시간·호출·비용·객체 수·실제 이미지 입력	첫 산출물 시각·최고 메모리·단계별 시간은 미측정이며 사후 추정하지 않습니다.
비교 화면·입력	일부 일치·확장	슬라이드별 병렬 이미지, 원문·환경·조건 공개	동일한 슬라이드의 3열 비교와 입력 공개, 별도 입력 편집·실행 앱	핵심 비교 방식은 구현했습니다. 후보별 점수표·상세 자원표·폰트/모션 표는 빠져 있습니다.

GenOffice는 실제 style·outline·page-spec과 CLI를 사용했습니다. 생성 도구 사용과 품질 검수 준수는 별개입니다.
참고 보고서 GenOffice도 네이티브 차트·표 0개이며 이미지 열람 미확인입니다. 0개라는 사실만으로 스킬 미사용을 판단할 수 없습니다.
Claude 조건은 코드 오류 뒤 PPTX가 없는 실패입니다. 완료 디자인에 0점을 부여하거나 일반적인 스킬 순위에 포함하지 않습니다.
재실행이나 산출물 사후 수정 없이 보존된 요청·명령·결과·Langfuse를 대조했습니다.

입력·버전·차이점 검증 JSON · 2026-10-22T08:04:38.087413+00:00 검토

Claude PPT

PPTX 생성 실패 · 이미지 없음

스킬 지침과 실제 행동 대조

Baseline

PptxGenJS로 10장 생성. 네이티브 표 7개, 차트 0개입니다.
이미지 3장만 모델에 전달됐습니다. “모든 슬라이드 검수”라는 완료 응답과 다릅니다.
3번 슬라이드의 계획·실적 차이 단위는 %p가 맞습니다. 협력사 9팀은 누락됐고, 원문에 없는 협력사 세부 평가를 추가했습니다.

실행·스킬 식별자

{
  "runId": "run_cd4637dd273e41f9b369c115ff821992",
  "skillHashes": {},
  "workflow": {
    "genofficeCreate": 0,
    "stagedCheck": 0,
    "genofficeAudit": 0,
    "claudeValidate": 0,
    "markitdown": 0,
    "modelViewedImages": 3,
    "successfulVisionCalls": 3,
    "successfulStagedCheckResults": 0,
    "successfulGenofficeAuditResults": 0
  },
  "trace": {
    "id": "2da22eb6ad10bc2dbc68f835ba4b4b5f",
    "environment": "hermes-migration-validation",
    "timestamp": "2026-10-22T07:09:03.916Z",
    "totalCost": 0.0277159335,
    "observations": 11,
    "checkedAt": "2026-10-22T08:03:29.087739+00:00",
    "httpStatus": 200
  }
}

GenOffice

공식 style·outline·page-spec 파일과 단계 검사를 사용했지만, 파일 작성 후 일괄 검사했으며 경고를 남긴 채 생성했습니다.
3번 슬라이드가 실제 차트 대신 [Bar Chart: …] 문구입니다. 원문으로 계산한 평균 공정 차이는 2.0%p인데 2.3%p로 기재했습니다.
주말 작업 4회, 11월 말 회복, 커튼월 15층 목표 등이 빠졌습니다. 이미지 다운로드 실패 1건과 겹침 경고 1건을 남겼습니다.
LibreOffice 렌더와 GenOffice audit는 실행했지만, 모델 이미지 입력은 0개입니다. 원래 검수 절차를 충실히 수행했다고 볼 수 없습니다.

실행·스킬 식별자

{
  "runId": "run_be3dc8a03cd2425d96be6e05fdf01213",
  "skillHashes": {
    "genoffice": "fb61206b7b60fa901f0cdfb9286d066b0a77bab927b3ac4686598f17ee864e55"
  },
  "workflow": {
    "genofficeCreate": 1,
    "stagedCheck": 6,
    "genofficeAudit": 2,
    "claudeValidate": 0,
    "markitdown": 0,
    "modelViewedImages": 0,
    "successfulVisionCalls": 0,
    "successfulStagedCheckResults": 11,
    "successfulGenofficeAuditResults": 1
  },
  "trace": {
    "id": "11759372f6a61178a8460fcd8e501ff1",
    "environment": "hermes-migration-validation",
    "timestamp": "2026-10-22T07:09:03.950Z",
    "totalCost": 0.106701795,
    "observations": 36,
    "checkedAt": "2026-10-22T08:03:31.455358+00:00",
    "httpStatus": 200
  }
}

Claude PPT

PptxGenJS 코드 작성·수정을 시도했습니다. 마지막 실행은 잘못된 도형 인자로 실패했습니다.
최종 PPTX 파일이 없습니다. 파일이 저장됐다는 모델의 완료 응답은 사실과 다릅니다.
렌더·모델 이미지 검수·validate.py 실행에 도달하지 못했습니다. 이 조건은 완성본 디자인 비교 대상이 아닙니다.

실행·스킬 식별자

{
  "runId": "run_73ea29767af6473b80d5c1fc4631027f",
  "skillHashes": {
    "claude": "a7ff03e2c85b636f55232a6b1555f5dd90216b7a1a359ab289d8364e6acbc6a0"
  },
  "workflow": {
    "genofficeCreate": 0,
    "stagedCheck": 0,
    "genofficeAudit": 0,
    "claudeValidate": 0,
    "markitdown": 0,
    "modelViewedImages": 0,
    "successfulVisionCalls": 0,
    "successfulStagedCheckResults": 0,
    "successfulGenofficeAuditResults": 0
  },
  "trace": {
    "id": "d6cd4a9529297678173d715cb541e97b",
    "environment": "hermes-migration-validation",
    "timestamp": "2026-10-22T07:09:03.952Z",
    "totalCost": 0.05717424,
    "observations": 20,
    "checkedAt": "2026-10-22T08:03:33.846105+00:00",
    "httpStatus": 200
  }
}

이 실험에서는 스킬 본문 전달 여부를 확인했고, 실제 명령·오류·이미지 입력·PPTX 구조를 대조했습니다. 검수 규칙을 제공하는 것만으로 준수가 보장되지 않았습니다. 제품에 적용할 때는 파일 존재·구조·내용·렌더 검수를 완료 판정에 연결할 필요가 있습니다.

공개 측정·감사 JSON · 참고 비교 보고서

강남A현장 3분기 보고스킬별 실제 결과 비교

동일한 제작 도구, 다른 스킬 지침

Baseline

GenOffice

Claude PPT

실제 입력과 환경

참고 보고서와 같은 실험인가?

같은 슬라이드끼리 나란히 비교

SLIDE 01 · 표지

SLIDE 02 · 현장 개요

SLIDE 03 · 월별 공정률

SLIDE 04 · 주요 공종

SLIDE 05 · 지연 원인

SLIDE 06 · 만회 대책

SLIDE 07 · 안전

SLIDE 08 · 원가

SLIDE 09 · 협력사

SLIDE 10 · 4분기 계획·요청

스킬 지침과 실제 행동 대조

Baseline

GenOffice

Claude PPT

강남A현장 3분기 보고
스킬별 실제 결과 비교