{ "schemaVersion": 1, "auditedAt": "2026-10-22T08:04:38.087413+00:00", "conclusion": "참고 보고서의 질문과 비교 방식에 맞춘 Gemma 3조건 실험이며, 동일 절차 재현이나 동등한 채점 보고서는 아닙니다.", "reference": { "title": "KR-0016 PPT·웹덱 스킬 비교", "url": "https://gentleman-collecting-pole-affected.trycloudflare.com/pptx-skill-bakeoff/", "evidence": "사용자가 붙여넣은 전체 보고서", "pastedReportSha256": "8ecbfd7de40e68b196c6c635765783dc9639d558980fbcf78d92818f576af5b9", "questionSha256": "520e01ad767dc435d70a5cb30fb49ca8f7317aa424bcf5eae675ce33770e2166" }, "inputVerification": [ { "condition": "baseline", "firstRequestUserCharacters": 831, "firstRequestUserSha256": "520e01ad767dc435d70a5cb30fb49ca8f7317aa424bcf5eae675ce33770e2166", "fullSkillPresent": { "genoffice": false, "pptx": false }, "model": "google/gemma-4-31b-it", "reasoningEffortSent": "medium", "toolNames": [ "patch", "read_file", "search_files", "terminal", "vision_analyze", "write_file", "tool_search", "tool_describe", "tool_call" ], "skillPin": null, "skillSha256": null, "trace": { "id": "2da22eb6ad10bc2dbc68f835ba4b4b5f", "environment": "hermes-migration-validation", "timestamp": "2026-10-22T07:09:03.916Z", "totalCost": 0.0277159335, "observations": 11, "checkedAt": "2026-10-22T08:03:29.087739+00:00", "httpStatus": 200 } }, { "condition": "genoffice", "firstRequestUserCharacters": 831, "firstRequestUserSha256": "520e01ad767dc435d70a5cb30fb49ca8f7317aa424bcf5eae675ce33770e2166", "fullSkillPresent": { "genoffice": true, "pptx": false }, "model": "google/gemma-4-31b-it", "reasoningEffortSent": "medium", "toolNames": [ "patch", "read_file", "search_files", "terminal", "vision_analyze", "write_file", "tool_search", "tool_describe", "tool_call" ], "skillPin": { "repository": "https://github.com/genspark-ai/genoffice", "commit": "324b0477ed014c92f2abea12a847e12ff06e3c35", "path": "skills/genoffice" }, "skillSha256": "fb61206b7b60fa901f0cdfb9286d066b0a77bab927b3ac4686598f17ee864e55", "trace": { "id": "11759372f6a61178a8460fcd8e501ff1", "environment": "hermes-migration-validation", "timestamp": "2026-10-22T07:09:03.950Z", "totalCost": 0.106701795, "observations": 36, "checkedAt": "2026-10-22T08:03:31.455358+00:00", "httpStatus": 200 } }, { "condition": "claude", "firstRequestUserCharacters": 831, "firstRequestUserSha256": "520e01ad767dc435d70a5cb30fb49ca8f7317aa424bcf5eae675ce33770e2166", "fullSkillPresent": { "genoffice": false, "pptx": true }, "model": "google/gemma-4-31b-it", "reasoningEffortSent": "medium", "toolNames": [ "patch", "read_file", "search_files", "terminal", "vision_analyze", "write_file", "tool_search", "tool_describe", "tool_call" ], "skillPin": { "repository": "https://github.com/anthropics/skills", "commit": "dbd4588f9e1033efb41dad4bef2f7947c8993d44", "path": "skills/pptx" }, "skillSha256": "a7ff03e2c85b636f55232a6b1555f5dd90216b7a1a359ab289d8364e6acbc6a0", "trace": { "id": "d6cd4a9529297678173d715cb541e97b", "environment": "hermes-migration-validation", "timestamp": "2026-10-22T07:09:03.952Z", "totalCost": 0.05717424, "observations": 20, "checkedAt": "2026-10-22T08:03:33.846105+00:00", "httpStatus": 200 } } ], "comparison": [ { "item": "질문 원문", "classification": "일치", "reference": "강남A현장 보고 10장, 831자", "current": "첫 모델 요청 3개 모두 원문·SHA-256 일치", "meaning": "내용 입력 차이는 없습니다." }, { "item": "비교 범위", "classification": "요청에 따른 변경", "reference": "후보 19개 + 기준선 2개", "current": "Baseline / GenOffice / Claude PPT, 결합 제외", "meaning": "3조건 탐색 실험이며 21조건 재현은 아닙니다." }, { "item": "모델", "classification": "요청에 따른 변경", "reference": "OpenRouter GPT-6 Luna · medium", "current": "OpenRouter Gemma 4 31B IT · medium 요청 필드 확인", "meaning": "스킬 간 비교는 가능하나 참고 보고서와 모델 효과를 분리할 수 없습니다. 실제 추론량은 미측정입니다." }, { "item": "Hermes 실행·스킬 적재", "classification": "구현 차이", "reference": "3cbb13f · CLI --skills로 전문 사전 적재", "current": "835c3dd · HTTP API, platform_hints에 전문 사전 적재", "meaning": "전문 전달은 확인했지만 네이티브 CLI 적재 경로 재현은 아닙니다." }, { "item": "GenOffice 원본", "classification": "일치", "reference": "공식 skill 324b0477… · CLI 0.10.0", "current": "같은 고정 commit·CLI, SKILL.md 해시 확인", "meaning": "스킬 버전이 다르기 때문에 생긴 결과 차이는 아닙니다." }, { "item": "Claude 원본", "classification": "비교 불확실", "reference": "이전 완성본 재사용, 당시 실행 commit·세부 로그 미확인", "current": "dbd4588… 전문 주입, PptxGenJS 4.0.1 설치", "meaning": "참고 보고서의 성공과 현재 실패만으로 모델 또는 스킬의 일반적 능력을 단정할 수 없습니다." }, { "item": "기준선", "classification": "구현 차이", "reference": "기존 skillless Hermes의 공통 환경 지침 적용 여부 미확인; 제품 DSH 기준선 별도", "current": "같은 설치 도구·공통 지침, PPT 스킬만 없음", "meaning": "현재 Baseline은 Hermes 기본 배포판을 뜻하지 않습니다." }, { "item": "도구·렌더·검수", "classification": "구현 차이", "reference": "terminal/file · 내부 LibreOffice 없음 · 평가자가 외부 렌더", "current": "terminal/file/vision · 내부 LibreOffice 허용 · GenOffice GUI 렌더 대체", "meaning": "원래 생성 도구는 유지했으나 원래 렌더 환경을 완전히 재현하지 못했습니다." }, { "item": "격리·자원", "classification": "구현 차이", "reference": "gVisor, OpenRouter 전용 통신; 차수별 0.75~1.5 vCPU", "current": "Docker, 실행기 설정 2 vCPU/2 GiB; 3조건 동시 실행", "meaning": "gVisor·OpenRouter 전용 네트워크와 동일하지 않습니다. 서로 다른 실행기의 속도 순위를 만들지 않습니다." }, { "item": "평가", "classification": "미실시", "reference": "이름을 가린 이미지 채점, 공통 25점·그룹별 45점, XML 구조 검사", "current": "실행 로그·XML·내용 대조와 정성 검토, 익명 채점 없음", "meaning": "현재 페이지는 참고 보고서와 동등한 채점 보고서가 아닙니다." }, { "item": "성능 계측", "classification": "일부만 수행", "reference": "첫/최종 파일 시각, 호출·토큰·비용, cgroup peak 등", "current": "현재 공개값은 전체 시간·호출·비용·객체 수·실제 이미지 입력", "meaning": "첫 산출물 시각·최고 메모리·단계별 시간은 미측정이며 사후 추정하지 않습니다." }, { "item": "비교 화면·입력", "classification": "일부 일치·확장", "reference": "슬라이드별 병렬 이미지, 원문·환경·조건 공개", "current": "동일한 슬라이드의 3열 비교와 입력 공개, 별도 입력 편집·실행 앱", "meaning": "핵심 비교 방식은 구현했습니다. 후보별 점수표·상세 자원표·폰트/모션 표는 빠져 있습니다." } ], "interpretation": [ "GenOffice는 실제 style·outline·page-spec과 CLI를 사용했습니다. 생성 도구 사용과 품질 검수 준수는 별개입니다.", "참고 보고서 GenOffice도 네이티브 차트·표 0개이며 이미지 열람 미확인입니다. 0개라는 사실만으로 스킬 미사용을 판단할 수 없습니다.", "Claude 조건은 코드 오류 뒤 PPTX가 없는 실패입니다. 완료 디자인에 0점을 부여하거나 일반적인 스킬 순위에 포함하지 않습니다.", "재실행이나 산출물 사후 수정 없이 보존된 요청·명령·결과·Langfuse를 대조했습니다." ] }