# Hermes Gemma 스킬 조합 파일럿 실험

완료 범위: 네 조건의 단일 과제 파일럿. 반복 실험과 제품 전체 E2E는 제외한다.

## Introduction

Ternis의 Hermes 전환에서 문서 생성 도구와 스킬 구성이 실제 결과에 주는 영향을 확인했다. 이 파일럿은 같은 모델과 같은 GenOffice CLI를 사용하고 PPT 전용 스킬 조합만 변경한다. 연구 질문은 네 조건이 편집 가능한 PPT를 생성하는지, 입력 사실과 시각 품질을 보존하는지, 실행 시간과 기록 비용에 어떤 차이가 있는지다.

## Related Work

사용자가 제공한 PPT 스킬 비교 보고서의 같은 장 나란히 보기와 원본 다운로드 방식을 참고했다. 참고 보고서에는 사용자 질문 원문과 입력 조건이 공개되어 있다. 첫 파일럿에는 별도로 만든 가람 과제를 사용했다. 이전의 원본 과제 미공개 설명을 정정한다. 모델·과제·Hermes 버전이 달라 점수나 순위를 직접 비교하지 않는다. 참고 주소는 부록에 있다.

## Dataset

가상의 가람 업무시설 신축 현장보고 한 과제를 새로 작성했다. 기준일은 2026년 9월 30일이며 사업 개요, 월별 계획과 실적, 공종별 진행, 지연 사유, 4분기 목표, 안전과 품질, 원가, 협력사, 승인 요청을 포함한다. 계획과 미승인 제안을 구분하며 지연 사유의 일수 중복 여부는 미확인이다. 각 조건은 같은 한국어 입력을 받아 16대9 PPTX 10장, native chart 2개와 native table 2개 이상을 만들도록 했다. 관측 단위는 조건별 한 번의 native run이며 총 네 조건이다.

## Methods

Hermes 835c3dd와 OpenRouter google/gemma-4-31b-it, GenOffice CLI 0.10.0을 사용했다. reasoning_effort는 medium, 응답 상한은 8192 토큰이며 temperature는 지정하지 않았다. 조건별 독립 home과 볼륨을 만들고 2 CPU와 2 GiB 제한으로 동시 실행했다. baseline에는 PPT 스킬을 주지 않았고 나머지에는 GenOffice 2.67.1, 기존 Claude PPTX, 두 본문을 처음 시스템 지시에서 제공했다. 스킬을 언제 찾아 읽는지의 효과는 측정하지 않았다. 사용자 지시에 따라 중간표현과 PptxGenJS 및 OOXML 직접 작성은 금지하고 CLI의 일시적 ops 입력만 허용했다.

## Skill Application Audit

스킬 적용 감사(2026-10-22): GenOffice와 Claude SKILL.md 전문이 해당 조건의 첫 시스템 메시지에 포함된 사실을 확인했다. 그러나 공통 지침이 GenOffice design/spec 가이드, style·outline·page-spec 단계와 Claude PptxGenJS 작성 경로를 금지했다. 네 조건에 같은 팔레트·글자 크기·차트와 표 수를 지정했다. Claude 필수 validate.py는 실행되지 않았고 네 조건 모두 생성 모델의 이미지 입력이 0건이었다. 합성 조건에서는 Claude 렌더 스크립트가 설치되어 있었지만 처음 상대경로가 틀렸고 절대경로로 찾아 렌더에 성공했다. GenOffice 자체 렌더는 앱 실행 경로 권한 오류로 실패했다. 별도 검증자의 렌더 검수는 생성 모델의 시각 검수·수정 순환을 대체하지 않는다. 따라서 원래 스킬 워크플로의 성능 비교나 디자인 유사성의 인과적 설명으로 사용할 수 없다.

## Results

실제 파일과 native run 종료를 확인하고, PPTX 내부 chart 및 table 객체 수와 차트 원시 값을 대조했다. 렌더는 LibreOffice로 수행했다. CLI audit의 기하학적 이슈 없음은 사실 정확성이나 디자인 품질 통과를 뜻하지 않는다. 아래 수치는 조건별 1회 관측이며 비용은 OpenRouter 응답 usage.cost의 USD 합계다.

- Baseline: 10장, native chart 2개, native table 2개, 403초, 모델 호출 32회, 입력 1,002,502 / 출력 20,581 토큰, 비용 $0.089204 USD.
- GenOffice: 10장, native chart 2개, native table 2개, 248초, 모델 호출 10회, 입력 406,586 / 출력 11,482 토큰, 비용 $0.039418 USD.
- GenOffice + Claude: 10장, native chart 2개, native table 2개, 388초, 모델 호출 18회, 입력 1,057,736 / 출력 19,107 토큰, 비용 $0.098927 USD.
- Claude PPTX: 10장, native chart 2개, native table 2개, 1740초, 모델 호출 32회, 입력 2,335,785 / 출력 78,294 토큰, 비용 $0.256915 USD.

Baseline — 10장과 native 차트 2개·표 2개를 만들었고 차트의 원시 수치는 과제와 일치합니다. 남색·청록색으로 계획과 실적이 구분됩니다. 큰 겹침은 보이지 않지만 본문 영역이 작고 빈 공간이 큽니다. 잔여 434억원을 계획 열에 넣어 의미가 모호하며 증액 세부 8.4·4.1·1.7억원은 빠졌습니다. 시정률 89.3%는 25/28을 올바르게 반올림했습니다.

GenOffice — 10장과 native 차트 2개·표 2개를 생성했습니다. 큰 겹침은 보이지 않으나 넓은 빈 공간과 작은 차트 범례가 남았습니다. 계획·실적이 같은 청록색 계열이라 구분이 약합니다. 지연 일수 중복 미확인과 승인 대기는 보존했지만, 잔여 사업비 434억원, 증액 세부 8.4·4.1·1.7억원, 협력사 개선 과제는 빠졌습니다.

GenOffice + Claude — 10장과 native 차트 2개·표 2개를 만들었습니다. 원가 세부항목과 협력사 개선 과제를 포함했고 차트 원시 수치는 일치합니다. 그러나 7장에 “재검측 발생 4건 (즉시 보완 및 조치 완료)”를 추가했습니다. 입력에는 완료 근거가 없어 사실성 오류입니다. 텍스트 위주의 반복 구도와 작은 차트 범례도 남았습니다.

Claude PPTX — 10장과 native 차트 2개·표 객체 2개를 생성했지만 8장 원가 표와 9장 협력사 표의 셀 내용이 모두 비어 있습니다. 누계 510·486·472억원과 잔여 434억원, 팀 평가 내역을 결과에서 확인할 수 없습니다. 차트 원시 수치는 일치합니다. 반복된 CLI·슬라이드 인덱스 오류 복구에 약 29분이 걸렸고, native run의 완료 응답과 실제 내용 완성도가 일치하지 않았습니다.

브라우저는 Gemma가 Hermes native terminal에서 ego-browser를 호출하여 로컬 폼 입력, 선택, 제출, 완료 DOM 확인과 화면 캡처를 수행했다. 서버 수신값은 가람 검증 현장과 quarter로 일치했다. 이미지 생성과 편집은 Hermes native image_generate와 Qwen Image 3로 각각 한 번 실행했다. 원본의 남색 안전모를 주황색으로 바꾸면서 배경과 삼각형, 구도를 대체로 유지했다. 참조 이미지 전송도 확인했다. Desktop의 로컬 경로 검증이며 서버 컨테이너와 사용자 브라우저를 잇는 제품 경로 전체의 완료를 뜻하지 않는다. 긴 HERMES_HOME 경로에서 보조 Unix socket의 AF_UNIX path too long 경고가 있었지만 본 검증의 native HTTP 실행과 도구 결과는 완료됐다.

## Discussion

생성 성공과 품질을 별도로 평가해야 한다. 스킬 본문을 더 제공해도 중요한 사실이 누락되거나 근거 없는 완료 상태가 추가될 수 있다. GenOffice 직접 작성 경로에서 native 객체를 만들 수 있다는 것은 확인했지만, 스킬의 일반적 우열과 인과 효과는 한 과제로 결론 내릴 수 없다. 동시 실행의 대기와 제공자 지연은 통제되지 않았고 반복 실행, 실제 업무 데이터, PowerPoint 실제 편집, Windows 환경은 측정하지 않았다.

## Conclusion

이 파일럿은 Hermes와 Gemma가 GenOffice CLI로 직접 PPTX를 생성하는 경로와 스킬 조합별 실제 결과를 제공한다. 배포 기본 스킬을 결정하려면 여러 과제의 반복 실행과 수치 보존 및 승인 상태 검사, 렌더 시각 검수를 함께 적용해야 한다. 이번 결과만으로 특정 스킬 조합을 기본값으로 확정하지 않는다.

## Appendix

Baseline: run run_f57b9406092443c5a43abb87c6dd2878; trace 98d089c7ba2d7bd152b7e03b39068326
GenOffice: run run_59f54d061f1348c78c2debbb4d1309d4; trace a1d31eff66fc816272a12b0d5735a78a
GenOffice + Claude: run run_ecb2f062e82e4adaabd0f8fc720f5573; trace f798bf55f7d949ec648e536332fe039e
Claude PPTX: run run_ceec8402ee8d4f748c9331adcd410bef; trace 12e8c184ed0fd24baf4262a1849c4252

참고 보고서: https://gentleman-collecting-pole-affected.trycloudflare.com/pptx-skill-bakeoff/

원시 증거: 비공개 로컬 증거 보존

공개 자료: 이 비교 페이지의 다운로드