On-device LLM benchmark · 2026.08.11

Muse Glimmer 30B vs Gemma 4 31B

DGX Spark 한 대에서 번역 품질·실제 지연·고정 길이 속도·speculative decoding·coding-agent 소표본을 같은 날 실측했다.

NVIDIA DGX Spark · GB10 121 GiB unified memory llama.cpp b10362 30개 제목 · 2개 agent task
01 · Executive read

한 장으로 보는 결론

짧은 실무 번역은 Gemma가 품질과 지연을 모두 잡았다. 반면 Muse 런타임은 느리지 않았고, DFlash를 제대로 켜면 decode가 두 배가 됐다.

번역 품질 · 30건Gemma 19승Muse 4승 · 무승부 7
overall 9.59 vs 8.76
30건 실제 wall time52.78 sGemma 기준 · Muse 183.41 s
Muse가 3.48배 소요
고정 512-token decode20.70 tok/sMuse+DFlash · Gemma 19.86
DFlash로 2.04배
Agentic · 2문항 subset2/2 · 1/2전체 5문항 pass@1 아님
Muse 비용은 더 큼

짧은 제목 번역

Gemma 기본값. 더 높은 평균 품질, 특히 중국어 현지화, 그리고 훨씬 짧은 task latency가 결정적이다.

긴 prefill·코어 런타임

Muse가 경쟁력. DFlash 구성은 Gemma보다 decode 4.2%, 약 8K prompt prefill 25.4% 빨랐다.

Agentic 정확도·비용

Muse가 소표본 정확도 우세. 다만 wall 1.42배, completion 1.92배를 써 비용·지연을 함께 봐야 한다.

!

비교의 성격: Muse 공식 K-Quant-Dynamic+DFlash와 Gemma Q8_0+MTP의 실용 스택 비교다. 동일 BF16 정밀도나 동일 양자화 조건의 모델 자체 비교가 아니다.

02 · Translation

번역은 Gemma가 더 좋고, 더 짧았다

같은 30개 제목, 같은 temperature 0.1·max 512에서 Muse는 low reasoning을 완전히 끌 수 없었다. 빠른 토큰 생성이 짧은 작업 완료로 이어지지는 않았다.

Overall 평균

항목별 4개 기준의 동일 가중 평균 · 10점 만점

Muse
8.76
Gemma
9.59
Muse Glimmer 30BGemma 4 31B

항목별 승자

평균만큼 승수에서도 Gemma 우세가 분명하다

4Muse 승
19Gemma 승
7무승부
일본어10건 · Muse 근소 우세
Muse
9.21
Gemma
9.16
영어10건 · Gemma 우세
Muse
9.00
Gemma
9.74
중국어10건 · 차이가 가장 큼
Muse
8.08
Gemma
9.86

실제 작업 지연

30개 요청 전체 wall time

Muse+DFlash183.41 s항목당 6.11 s
Gemma+MTP52.78 s항목당 1.76 s
3.48×

Muse가 완료에 더 오래 걸렸다. 짧은 사용자 요청에서는 처리량보다 최종 latency가 중요하다.

Completion 팽창

6072는 reasoning token이 아니라 총 completion token

Muse6,072reasoning_content 16,590 characters
Gemma631reasoning off
9.62×

Muse는 요청당 decode 자체는 평균 36.56 tok/s였지만 생성해야 할 토큰이 훨씬 많아 task latency에서 졌다.

03 · Controlled speed

코어 속도는 Muse가 뒤지지 않는다

워밍업 후 ignore_eos=true, 정확히 512 completion tokens를 생성한 3회 평균이다. 번역 출력 길이 차이를 제거하면 스택 자체 속도가 보인다.

512-token decode

높을수록 좋음 · tok/s

512 tokens wall 평균: 24.95 s · 50.60 s · 26.17 s

Muse + DFlash704.6prompt tok/s
Muse target-only764.4prompt tok/s · 가장 빠름
Gemma + MTP562.1prompt tok/s
04 · Quality cases

평균 뒤에 숨은 번역 실패

Gemma는 대체로 자연스러웠지만 전문용어 1건에서 크게 틀렸다. Muse는 중국어 혼용 문자·직역투와 영어 용어 의미 구분에서 위험 신호가 더 잦았다.

Muse · 미번역ja-48c51c6c4672

…またお化けローカルLLM | ギズモード・ジャパン

Muse“…또 하나의 괴물 로컬 LLM | ギズモード・ジャパン
Gemma“…또 하나의 괴물 로컬 LLM | 기즈모드 재팬”

Muse는 정확한 본문 의미에도 매체명을 일본어 문자로 남기고 ‘Google가’라는 어색한 조사 결합을 만들었다.

Muse · 혼용 문자zh-4666fbbbf1df

大佬们 vibe coding 的项目怎么样了

Muse대佬들 vibe coding 프로젝트는 어떻게 됐나요”
Gemma“고수분들의 vibe coding 프로젝트는 어떻게 되어가고 있나요?”

‘大佬’의 둘째 글자를 그대로 남긴 한중 혼용 실패다. Gemma의 ‘고수분들’은 속어 의미와 게시판 존칭을 함께 살렸다.

Muse · 용어 오역en-955593909bea

Meteor Explodes over Massachusetts

Muse“매사추세츠 상공에서 운석 폭발”
Gemma“매사추세츠 상공에서 유성 폭발”

상공에서 빛나거나 폭발하는 meteor는 ‘유성’이다. ‘운석’은 지표에 떨어진 meteorite를 뜻해 기술적으로 다르다.

Muse · 명제 변화en-a80266a049c7

Artificial intelligence is not conscious – Ted Chiang

Muse“인공지능은 의식이 아니다 – Ted Chiang”
Gemma“인공지능은 의식이 없다 – 테드 창”

‘not conscious’라는 상태 부정을 ‘의식이 아니다’라는 범주 부정으로 옮겨 다른 명제가 됐다. Gemma가 정확하다.

Gemma · 전문용어 오역ja-1d3be899299b

「AIに戒名を作らせて何が問題か」――寺院向け専門誌の特集が話題

Muse“AI에 법명을 만들게 해서 무슨 문제가 있나――사찰용 전문지 특집이 화제”
Gemma“AI에게 계명을 짓게 하는 게 무슨 문제인가\" ―― 사찰 전문지의 특집 기사가 화제”

이 문맥의 戒名은 ‘법명’이 맞다. Gemma의 ‘계명’은 불교 계율을 뜻해 핵심 용어가 바뀌었고 따옴표도 깨졌다.

서로 다른 강점ja-1a9edf63fc8c · zh-03abf0d39d8d

자연스러운 제목 문체와 인터넷 표현 현지화

Muse“아무도 알려주지 않는 테스트 자동화가 널리 퍼지지 않는 이유”
Gemma“codex가 또 업데이트됐네요, 이번엔 주중이라니! 진짜 최고입니다

Muse는 일본어 普及しない를 자연스러운 한국어로 옮겼고, Gemma는 중국 약어 yyds를 한국 독자가 이해할 찬사로 풀었다.

05 · Coding agent

Muse 2/2, Gemma 1/2 — 단, 작은 표본

파일 읽기·수정·테스트만 허용한 하네스, turn limit 20, 응답당 max 8,192 completion tokens, hidden tests 기준이다.

이 결과는 2문항 subset이다

전체 5문항 중 양쪽이 모두 완료한 사전 고정 csv-aggregationdependency-graph만 비교했다. 전체 suite pass@1로 읽으면 안 된다.

2 / 5completed subset
TaskMuse+DFlash · highGemma+MTP · thinking
csv-aggregation
PASShidden 15/15
608.23 s · 17,210 completion tokens
FAILhidden 14/15
265.59 s · 5,416 completion tokens
dependency-graph
PASShidden 10/10
503.13 s · 13,719 completion tokens
PASShidden 10/10
516.30 s · 10,715 completion tokens
Subset aggregate2/2 pass1,111.36 s · 30,929 completion tokens1/2 pass781.89 s · 16,131 completion tokens

Gemma의 유일한 hidden failure

group_by=["key","key"]라는 잘못된 API 인수에서 계약상 TypeError를 내야 했지만 ValueError를 반환했다. Visible tests 4/4는 통과했지만 hidden tests에서 1건이 실패했다.

정확도와 비용의 교환: Muse는 이 두 문항에서 더 정확했지만 Gemma보다 wall time 1.42배, completion token 1.92배를 사용했다.

06 · Operational pitfall

DFlash는 “로드”와 “활성화”가 다르다

llama.cpp b10362에서 -md만 지정하면 drafter 파일은 읽었지만 speculative implementation이 켜지지 않았고 draft_n 통계도 나타나지 않았다.

!

반드시 speculative type과 draft 크기를 명시한다

Meta GGUF 예제처럼 drafter만 연결한 상태를 정상 DFlash 동작으로 오인하지 말 것.

필수 실행 플래그

--spec-type draft-dflash --spec-draft-n-max 15 -fa on

정상 기동 로그 마커

adding speculative implementation 'draft-dflash'
DFlash block size: 16
  • 기동 로그에 speculative implementation 확인
  • API timings.draft_n이 0보다 큰지 확인
  • timings.draft_n_accepted와 acceptance 확인
07 · Method & caveats

측정 조건과 해석의 경계

숫자를 모델 자체의 절대 서열이 아니라, DGX Spark에서 쓸 수 있는 두 실용 고속 스택의 관측값으로 읽어야 한다.

번역·속도 방법론
  • 번역: 일본어 10·영어 10·중국어 10의 고정 제목, 동일 system prompt, temperature 0.1, max 512.
  • Muse 번역은 reasoning_strength=low이나 reasoning을 완전히 끌 수 없었고, Gemma는 reasoning off·budget 0.
  • 품질 판정은 원문 제목·출처 URL과 두 출력만 보고 정확성, 용어·고유명사, 한국어 자연스러움, 제목 적합성을 각 0–10점으로 채점했다. 네 기준은 동일 가중이다.
  • 고정 decode: 워밍업 후 ignore_eos=true, 512 completion tokens, 모델별 3회 평균.
  • prefill: 서로 다른 synthetic 8,192-word prompt 3회, server-reported prompt 처리량 평균.
모델 구성

Muse Glimmer 30B

Target
K-Quant-Dynamic · 19.65 GB
Drafter
DFlash · 1.63 GB
Spec
draft-dflash · max 15
Context
131,072
GPU layers
99 / draft 99

Gemma 4 31B

Target
Q8_0 · 32.64 GB
Drafter
MTP · 0.51 GB
Spec
draft-mtp · max 4
Context
32,768
GPU layers
99 / draft 99

둘 다 Flash Attention on, parallel slot 1, target·drafter GPU offload를 사용했다.

Agentic 설정
  • 파일 읽기·수정·테스트 도구만 허용하고 trusted hidden tests로 판정했다.
  • Turn limit 20, 응답당 max 8,192 completion tokens.
  • Muse high/default reasoning, Gemma thinking/on.
  • 완료 비교는 전체 5문항 중 사전 고정 2문항뿐이다.
환경
  • NVIDIA DGX Spark, NVIDIA GB10, 121 GiB unified memory, ARM64 CUDA.
  • 드라이버 580.142, llama.cpp b10362.
  • 두 모델 모두 부하 중 실제 sustained graphics clock 약 1,989 MHz.
  • Muse target+DFlash 기동 시 가용 메모리 변화는 OS/cache 변동 포함 약 26 GiB 범위였다.
한계
  • 양자화 형식·모델 파일 크기가 다르므로 matched-precision 비교가 아니다.
  • 번역 품질은 사람 다중 평가가 아니라 단일 model-based item-by-item judge다.
  • Agentic 결과는 5문항 전체가 아닌 2문항 subset이며 일반화하기 어렵다.
  • DFlash 가속률과 acceptance는 prompt 특성에 따라 달라진다.
  • 짧은 제목 30건은 일반 번역 전 영역을 대표하지 않는다.
08 · Item explorer

30개 번역 판정을 직접 탐색하기

검색은 원문·두 번역·판정 이유·ID·문제 상세를 모두 훑는다. 카드 하나를 펼치면 세부 점수와 플래그까지 볼 수 있다.

30 / 30건 표시
원문 언어
승자
일본어ja-68f9051a7743 日本語ふぉんとライブラリ 10.010.0 무승부 플래그 없음
원문 · 일본어

日本語ふぉんとライブラリ

출처 도메인: jpfont-library.com
Muse Glimmer 30B10.0
일본어 폰트 라이브러리
Gemma 4 31B10.0
일본어 폰트 라이브러리
판정 이유

두 출력 모두 제목의 의미를 빠짐없이 자연스럽게 옮겼고 표현도 동일하다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움1010
제목 적합성1010
문제 플래그

기록된 문제 플래그가 없습니다.

일본어ja-48c51c6c4672 Googleが「Gemma 4 12B」をリリース。ノートPCで動いて26B級の性能、またお化けローカルLLM | ギズモード・ジャパン 7.810.0 Gemma 승 검수 필요
원문 · 일본어

Googleが「Gemma 4 12B」をリリース。ノートPCで動いて26B級の性能、またお化けローカルLLM | ギズモード・ジャパン

출처 도메인: gizmodo.jp
Muse Glimmer 30B7.8
Google가 ‘Gemma 4 12B’ 출시. 노트북에서 구동되며 26B급 성능, 또 하나의 괴물 로컬 LLM | ギズモード・ジャパン
Gemma 4 31B10.0
Google, 'Gemma 4 12B' 출시. 노트북에서 구동되며 26B급 성능, 또 하나의 괴물 로컬 LLM | 기즈모드 재팬
판정 이유

핵심 의미는 둘 다 정확하지만 Muse는 매체명 ‘ギズモード・ジャパン’을 일본어 문자로 남기고 ‘Google가’라고 어색하게 조사 결합했다. Gemma의 ‘기즈모드 재팬’과 헤드라인형 ‘Google,’이 완결성이 높다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사710
한국어 자연스러움710
제목 적합성710
문제 플래그
  • Muse · 중요 · 미번역 문자매체명 ‘ギズモード・ジャパン’이 일본어 문자 그대로 남음
  • Muse · 경미 · 어색한 표현‘Google가’는 한국어 조사 결합이 어색함
일본어ja-1a9edf63fc8c 誰も教えてくれないテスト自動化が普及しない理由 10.09.5 Muse 승 검수 필요
원문 · 일본어

誰も教えてくれないテスト自動化が普及しない理由

출처 도메인: zenn.dev
Muse Glimmer 30B10.0
아무도 알려주지 않는 테스트 자동화가 널리 퍼지지 않는 이유
Gemma 4 31B9.5
아무도 알려주지 않는 테스트 자동화가 보급되지 않는 이유
판정 이유

둘 다 정확하나 ‘普及しない’를 Muse의 ‘널리 퍼지지 않는’으로 옮긴 쪽이 Gemma의 다소 번역투인 ‘보급되지 않는’보다 자연스럽다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움109
제목 적합성109
문제 플래그
  • Gemma · 경미 · 어색한 표현‘테스트 자동화가 보급되지 않는’은 의미는 맞지만 다소 번역투임
일본어ja-d515f0c187f0 クリーンアーキテクチャを3行で説明してみる 9.010.0 Gemma 승 검수 필요
원문 · 일본어

クリーンアーキテクチャを3行で説明してみる

출처 도메인: zenn.dev
Muse Glimmer 30B9.0
클린 아키텍처를 3줄로 설명해 보려 한다
Gemma 4 31B10.0
클린 아키텍처를 세 줄로 설명해 보기
판정 이유

‘説明してみる’의 시도 뉘앙스는 둘 다 살렸지만, Gemma의 ‘설명해 보기’가 제목으로 간결하다. Muse의 ‘설명해 보려 한다’는 서술문처럼 무겁다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움810
제목 적합성810
문제 플래그
  • Muse · 경미 · 어색한 표현‘설명해 보려 한다’가 제목 문체로 다소 무거움
일본어ja-aea60ec927ae マイクロソフト、AIエージェントにWindowsアプリ開発の知識を与える「Windows Development Skills」を一般提供開始 9.59.8 Gemma 승 검수 필요
원문 · 일본어

マイクロソフト、AIエージェントにWindowsアプリ開発の知識を与える「Windows Development Skills」を一般提供開始

출처 도메인: publickey1.jp
Muse Glimmer 30B9.5
마이크로소프트, AI 에이전트에 Windows 앱 개발 지식 제공하는 ‘Windows Development Skills’ 일반 제공 시작
Gemma 4 31B9.8
마이크로소프트, AI 에이전트에 Windows 앱 개발 지식을 제공하는 'Windows Development Skills' 정식 출시
판정 이유

Muse의 ‘일반 제공 시작’은 一般提供開始를 더 정확히 보존한다. Gemma는 이를 ‘정식 출시’로 약간 넓혔지만 문장 연결과 제목 문체가 더 자연스러워 근소 우세다.

세부 점수
기준MuseGemma
정확성109
용어·고유명사1010
한국어 자연스러움910
제목 적합성910
문제 플래그
  • Gemma · 경미 · 의미 오류‘일반 제공 시작’을 ‘정식 출시’로 옮겨 배포 단계의 뉘앙스가 약간 달라짐
일본어ja-1d3be899299b 「AIに戒名を作らせて何が問題か」――寺院向け専門誌の特集が話題 9.34.8 Muse 승 검수 필요
원문 · 일본어

「AIに戒名を作らせて何が問題か」――寺院向け専門誌の特集が話題

출처 도메인: itmedia.co.jp
Muse Glimmer 30B9.3
AI에 법명을 만들게 해서 무슨 문제가 있나――사찰용 전문지 특집이 화제
Gemma 4 31B4.8
AI에게 계명을 짓게 하는 게 무슨 문제인가" ―― 사찰 전문지의 특집 기사가 화제
판정 이유

결정적 차이는 ‘戒名’이다. Muse의 ‘법명’은 문맥상 적절하지만 Gemma의 ‘계명’은 불교의 계율을 뜻해 핵심 용어가 틀렸고, 여는 따옴표 없이 닫는 따옴표만 남았다.

세부 점수
기준MuseGemma
정확성105
용어·고유명사93
한국어 자연스러움96
제목 적합성95
문제 플래그
  • Gemma · 중요 · 의미 오류‘戒名’을 ‘계명’으로 오역해 핵심 불교 용어의 의미가 달라짐
  • Gemma · 중요 · 어색한 표현여는 따옴표 없이 ‘인가"’로 닫는 따옴표만 출력됨
일본어ja-ae8e6754e0e7 「Codex」をアプリ開発以外にも!職種プラグインで「営業」「制作」「投資」などの役割で動作、職種にあった外部ツールとも連携/文書やスライドの修正が簡単に指示できる「Annotations」、共有サイトを制作する「Sites」も導入 9.59.5 무승부 플래그 없음
원문 · 일본어

「Codex」をアプリ開発以外にも!職種プラグインで「営業」「制作」「投資」などの役割で動作、職種にあった外部ツールとも連携/文書やスライドの修正が簡単に指示できる「Annotations」、共有サイトを制作する「Sites」も導入

출처 도메인: forest.watch.impress.co.jp
Muse Glimmer 30B9.5
Codex를 앱 개발 외에도! 직무 플러그인으로 ‘영업’ ‘제작’ ‘투자’ 등 역할로 동작하고 직무별 외부 도구와도 연동 / 문서·슬라이드 수정을 쉽게 지시할 수 있는 ‘Annotations’, 공유 사이트를 제작하는 ‘Sites’도 도입
Gemma 4 31B9.5
'Codex'를 앱 개발 외에도! 직종 플러그인으로 '영업', '제작', '투자' 등의 역할로 동작, 직종별 외부 툴과도 연동 / 문서 및 슬라이드 수정을 쉽게 지시하는 'Annotations', 공유 사이트를 제작하는 'Sites'도 도입
판정 이유

둘 다 Codex·Annotations·Sites와 영업·제작·투자 역할, 외부 도구 연동을 빠짐없이 보존했다. 긴 호흡은 원문 구조에서 기인하며 품질 차이가 유의미하지 않다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움99
제목 적합성99
문제 플래그

기록된 문제 플래그가 없습니다.

일본어ja-ba515cac8685 マジックナンバーとデータ抽象 - kawasima 10.010.0 무승부 플래그 없음
원문 · 일본어

マジックナンバーとデータ抽象 - kawasima

출처 도메인: scrapbox.io
Muse Glimmer 30B10.0
매직 넘버와 데이터 추상화 - kawasima
Gemma 4 31B10.0
매직 넘버와 데이터 추상화 - kawasima
판정 이유

두 출력이 동일하며 기술 용어와 이름을 정확히 보존했다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움1010
제목 적합성1010
문제 플래그

기록된 문제 플래그가 없습니다.

일본어ja-f79619003c26 ストップ詐欺広告 - ネット広告詐欺通報・検索プラットフォーム 9.58.0 Muse 승 검수 필요
원문 · 일본어

ストップ詐欺広告 - ネット広告詐欺通報・検索プラットフォーム

출처 도메인: antifraud.dd2030.org
Muse Glimmer 30B9.5
사기 광고 중단 - 인터넷 광고 사기 신고·검색 플랫폼
Gemma 4 31B8.0
스톱 사기 광고 - 인터넷 광고 사기 신고·검색 플랫폼
판정 이유

Muse의 ‘사기 광고 중단’은 ストップ의 의미를 한국어로 자연스럽게 전달한다. Gemma의 ‘스톱 사기 광고’는 일본어식 어순을 그대로 옮긴 듯 어색하다.

세부 점수
기준MuseGemma
정확성109
용어·고유명사1010
한국어 자연스러움96
제목 적합성97
문제 플래그
  • Gemma · 중요 · 어색한 표현‘스톱 사기 광고’가 일본어식 어순의 부자연스러운 한국어 제목임
일본어ja-248e90b38635 阿波銀行の情報漏えい、被害のテスト環境は「本来廃止すべきだった」 システム高度化作業でも利用 7.510.0 Gemma 승 검수 필요
원문 · 일본어

阿波銀行の情報漏えい、被害のテスト環境は「本来廃止すべきだった」 システム高度化作業でも利用

출처 도메인: itmedia.co.jp
Muse Glimmer 30B7.5
아와 은행 정보 유출, 피해 테스트 환경은 “원래 폐지해야 했던 것” 시스템 고도화 작업에서도 이용
Gemma 4 31B10.0
아와은행 정보 유출, 피해 입은 테스트 환경은 "원래 폐지했어야"… 시스템 고도화 작업에도 이용
판정 이유

Gemma의 ‘피해 입은 테스트 환경’은 被害のテスト環境의 수식 관계를 분명히 한다. Muse의 ‘피해 테스트 환경’과 ‘폐지해야 했던 것’은 의미 연결이 모호하고 번역투다.

세부 점수
기준MuseGemma
정확성810
용어·고유명사910
한국어 자연스러움610
제목 적합성710
문제 플래그
  • Muse · 중요 · 어색한 표현‘피해 테스트 환경’, ‘원래 폐지해야 했던 것’이 모호하고 번역투임
영어en-9099969a10e2 Elixir v1.20: Now a gradually typed language 9.89.3 Muse 승 검수 필요
원문 · 영어

Elixir v1.20: Now a gradually typed language

출처 도메인: elixir-lang.org
Muse Glimmer 30B9.8
Elixir v1.20: 이제 점진적 타입 언어
Gemma 4 31B9.3
Elixir v1.20: 이제 점진적 타입 언어로 진화합니다
판정 이유

Muse는 ‘Now a…language’를 간결하고 직접적으로 옮겼다. Gemma의 ‘진화합니다’는 원문에 없는 변화 동작을 보태 의미를 약간 과장한다.

세부 점수
기준MuseGemma
정확성109
용어·고유명사1010
한국어 자연스러움99
제목 적합성109
문제 플래그
  • Gemma · 경미 · 근거 없는 추가원문에 명시되지 않은 동작 ‘진화합니다’를 추가함
영어en-079d0b99ed26 Gemma 4 12B: A unified, encoder-free multimodal model 8.38.8 Gemma 승 검수 필요
원문 · 영어

Gemma 4 12B: A unified, encoder-free multimodal model

출처 도메인: blog.google
Muse Glimmer 30B8.3
Gemma 4 12B: 통합형 인코더 없는 멀티모달 모델
Gemma 4 31B8.8
Gemma 4 12B: 통합된 인코더 프리 멀티모달 모델
판정 이유

둘 다 unified와 encoder-free를 보존했으나 Muse의 ‘통합형 인코더 없는’은 수식 범위가 불분명하다. Gemma의 ‘통합된 인코더 프리’도 다소 번역투지만 상대적으로 읽기 쉽다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사99
한국어 자연스러움78
제목 적합성78
문제 플래그
  • Muse · 중요 · 어색한 표현‘통합형 인코더 없는’의 수식 관계가 어색함
  • Gemma · 경미 · 어색한 표현‘통합된 인코더 프리’가 다소 번역투임
영어en-9cb8d78f9311 I was recently diagnosed with anti-NMDA receptor encephalitis 10.010.0 무승부 플래그 없음
원문 · 영어

I was recently diagnosed with anti-NMDA receptor encephalitis

출처 도메인: burntsushi.net
Muse Glimmer 30B10.0
최근에 항-NMDA 수용체 뇌염 진단을 받았습니다
Gemma 4 31B10.0
최근 항-NMDA 수용체 뇌염 진단을 받았습니다
판정 이유

두 출력 모두 의학 용어와 최근 진단이라는 시점을 정확하고 자연스럽게 전달한다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움1010
제목 적합성1010
문제 플래그

기록된 문제 플래그가 없습니다.

영어en-afa204785f28 The Ü Programming Language 10.010.0 무승부 플래그 없음
원문 · 영어

The Ü Programming Language

출처 도메인: github.com
Muse Glimmer 30B10.0
Ü 프로그래밍 언어
Gemma 4 31B10.0
Ü 프로그래밍 언어
판정 이유

두 출력이 동일하며 언어명 Ü를 정확히 보존했다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움1010
제목 적합성1010
문제 플래그

기록된 문제 플래그가 없습니다.

영어en-2746235acd15 The ways we contain Claude across products 8.39.3 Gemma 승 검수 필요
원문 · 영어

The ways we contain Claude across products

출처 도메인: anthropic.com
Muse Glimmer 30B8.3
제품 전반에 걸쳐 Claude를 제한하는 방법
Gemma 4 31B9.3
제품 전반에 걸쳐 Claude를 제어하는 방법들
판정 이유

contain은 ‘격리·통제’의 뜻인데 Muse의 ‘제한’은 범위를 좁혀 번역했다. Gemma의 ‘제어’도 완전한 ‘격리’는 아니지만 원문의 통제 의미와 복수형 ‘ways’를 더 잘 살린다.

세부 점수
기준MuseGemma
정확성89
용어·고유명사89
한국어 자연스러움910
제목 적합성89
문제 플래그
  • Muse · 경미 · 의미 오류contain을 ‘제한’으로 좁혀 격리·통제의 의미가 약해짐
영어en-a80266a049c7 Artificial intelligence is not conscious – Ted Chiang 7.010.0 Gemma 승 검수 필요
원문 · 영어

Artificial intelligence is not conscious – Ted Chiang

출처 도메인: theatlantic.com
Muse Glimmer 30B7.0
인공지능은 의식이 아니다 – Ted Chiang
Gemma 4 31B10.0
인공지능은 의식이 없다 – 테드 창
판정 이유

conscious는 ‘의식이 있는’ 상태를 뜻한다. Gemma의 ‘의식이 없다’가 정확하고, Muse의 ‘의식이 아니다’는 인공지능이 의식이라는 대상 자체가 아니라는 다른 명제가 되어 부자연스럽다.

세부 점수
기준MuseGemma
정확성710
용어·고유명사910
한국어 자연스러움610
제목 적합성610
문제 플래그
  • Muse · 중요 · 의미 오류‘not conscious’를 ‘의식이 아니다’로 옮겨 상태 부정을 범주 부정으로 바꿈
  • Muse · 중요 · 어색한 표현‘인공지능은 의식이 아니다’가 한국어 명제로 부자연스러움
영어en-a5e3b8266b17 DaVinci Resolve 21 9.310.0 Gemma 승 검수 필요
원문 · 영어

DaVinci Resolve 21

출처 도메인: blackmagicdesign.com
Muse Glimmer 30B9.3
다빈치 리졸브 21
Gemma 4 31B10.0
DaVinci Resolve 21
판정 이유

Muse의 음역도 식별 가능하지만 전부 제품명인 제목에서는 Gemma처럼 공식 라틴 표기 ‘DaVinci Resolve 21’을 그대로 보존하는 편이 안전하다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사810
한국어 자연스러움1010
제목 적합성910
문제 플래그
  • Muse · 경미 · 기타공식 제품명을 한글 음역해 원형 표기 보존성이 낮아짐
영어en-f92d801a6b0d Uber's $1,500/month AI limit is a useful signal for AI tool pricing 10.010.0 무승부 플래그 없음
원문 · 영어

Uber's $1,500/month AI limit is a useful signal for AI tool pricing

출처 도메인: simonwillison.net
Muse Glimmer 30B10.0
Uber의 월 1,500달러 AI 사용 한도는 AI 도구 가격 책정에 유용한 신호다
Gemma 4 31B10.0
우버의 월 1,500달러 AI 사용 한도는 AI 도구 가격 책정에 유용한 신호다
판정 이유

Uber의 원문 표기와 ‘우버’ 음역은 모두 적절하며, 금액·월 단위·가격 책정 신호를 두 출력 모두 정확히 보존했다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움1010
제목 적합성1010
문제 플래그

기록된 문제 플래그가 없습니다.

영어en-ab8ff28f5d2b Ableton Extensions SDK 10.010.0 무승부 플래그 없음
원문 · 영어

Ableton Extensions SDK

출처 도메인: ableton.com
Muse Glimmer 30B10.0
Ableton Extensions SDK
Gemma 4 31B10.0
Ableton Extensions SDK
판정 이유

제목 전체가 제품·SDK 명칭이므로 두 모델이 원형을 그대로 보존한 것이 적절하다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움1010
제목 적합성1010
문제 플래그

기록된 문제 플래그가 없습니다.

영어en-955593909bea Meteor Explodes over Massachusetts 7.310.0 Gemma 승 검수 필요
원문 · 영어

Meteor Explodes over Massachusetts

출처 도메인: nbcboston.com
Muse Glimmer 30B7.3
매사추세츠 상공에서 운석 폭발
Gemma 4 31B10.0
매사추세츠 상공에서 유성 폭발
판정 이유

상공에서 빛나거나 폭발하는 meteor는 ‘유성’이다. Muse의 ‘운석’은 지표에 떨어진 물체(meteorite)를 가리키는 용어라 기술적으로 틀렸고, Gemma가 정확하다.

세부 점수
기준MuseGemma
정확성710
용어·고유명사510
한국어 자연스러움910
제목 적합성810
문제 플래그
  • Muse · 중요 · 의미 오류meteor를 ‘운석’으로 오역해 유성 현상을 지상에 도달한 물체와 혼동함
중국어zh-39a29c020422 有重置了兄弟们 8.89.5 Gemma 승 검수 필요
원문 · 중국어

有重置了兄弟们

출처 도메인: v2ex.com
Muse Glimmer 30B8.8
리셋됐어 형들
Gemma 4 31B9.5
또 초기화됐네요 여러분
판정 이유

원문의 구어체와 兄弟们은 Muse가 ‘형들’로 더 잘 살렸지만, 제목의 반복 상황을 Gemma가 ‘또’로 명시해 정보 보존에서 앞선다. 원문 자체의 ‘有/又’ 오타 가능성 때문에 차이는 제한적으로 반영했다.

세부 점수
기준MuseGemma
정확성810
용어·고유명사99
한국어 자연스러움910
제목 적합성99
문제 플래그
  • Muse · 경미 · 의미 오류반복을 나타내는 것으로 보이는 ‘又(원문 표기는 有)’의 ‘또’ 의미가 빠짐
중국어zh-03abf0d39d8d codex 又刷新了,这次是周中! yyds 7.310.0 Gemma 승 검수 필요
원문 · 중국어

codex 又刷新了,这次是周中! yyds

출처 도메인: v2ex.com
Muse Glimmer 30B7.3
codex가 또 리프레시됐어, 이번엔 주중이야! yyds
Gemma 4 31B10.0
codex가 또 업데이트됐네요, 이번엔 주중이라니! 진짜 최고입니다
판정 이유

Gemma는 중국 인터넷 약어 yyds(‘영원한 신’, 최고라는 찬사)를 ‘진짜 최고입니다’로 풀어 한국어 독자가 이해할 수 있게 했다. Muse는 yyds를 미번역해 핵심 감탄을 전달하지 못했다.

세부 점수
기준MuseGemma
정확성810
용어·고유명사710
한국어 자연스러움710
제목 적합성710
문제 플래그
  • Muse · 중요 · 기타중국어 인터넷 약어 ‘yyds’를 번역하지 않아 감탄 의미가 전달되지 않음
중국어zh-967b6a3f7372 我在 github 的一个项目, 昨天遭到了机器人留言攻击。 8.510.0 Gemma 승 검수 필요
원문 · 중국어

我在 github 的一个项目, 昨天遭到了机器人留言攻击。

출처 도메인: v2ex.com
Muse Glimmer 30B8.5
깃허브의 내 프로젝트가 어제 봇 댓글 공격을 당했다
Gemma 4 31B10.0
내 GitHub 프로젝트가 어제 봇의 댓글 공격을 받았습니다.
판정 이유

의미는 둘 다 정확하지만 Muse의 ‘깃허브의 내 프로젝트’는 소유 관계가 번역투다. Gemma의 ‘내 GitHub 프로젝트’가 자연스럽고 공식 표기도 보존한다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사910
한국어 자연스러움710
제목 적합성810
문제 플래그
  • Muse · 중요 · 어색한 표현‘깃허브의 내 프로젝트’가 부자연스러운 소유 구문임
중국어zh-87978afeebb4 v 友们 windows 电脑用 codex/claude code 一般用什么终端?感觉系统原生终端/powershell 有点难用 8.89.8 Gemma 승 검수 필요
원문 · 중국어

v 友们 windows 电脑用 codex/claude code 一般用什么终端?感觉系统原生终端/powershell 有点难用

출처 도메인: v2ex.com
Muse Glimmer 30B8.8
V2EX 친구들은 Windows 컴퓨터에서 codex/claude code를 쓸 때 보통 어떤 터미널을 사용하나요? 시스템 기본 터미널/PowerShell이 좀 사용하기 어렵게 느껴집니다
Gemma 4 31B9.8
v2ex 사용자분들, 윈도우 PC에서 codex/claude code 쓰실 때 보통 어떤 터미널 사용하시나요? 기본 터미널이나 powershell은 좀 쓰기 불편한 것 같아서요.
판정 이유

두 출력 모두 질문 내용을 보존하지만 Gemma의 ‘사용자분들… 쓰기 불편한 것 같아서요’가 게시판 말투에 자연스럽다. Muse의 ‘사용하기 어렵게 느껴집니다’는 원문 구어체에 비해 딱딱하다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사99
한국어 자연스러움810
제목 적합성810
문제 플래그
  • Muse · 경미 · 어색한 표현‘사용하기 어렵게 느껴집니다’가 게시판 제목치고 딱딱한 문어체임
중국어zh-b4e924f0ea0c RackNerd 什么情况?? 9.010.0 Gemma 승 검수 필요
원문 · 중국어

RackNerd 什么情况??

출처 도메인: v2ex.com
Muse Glimmer 30B9.0
RackNerd 무슨 상황인가요?
Gemma 4 31B10.0
RackNerd 무슨 일인가요??
판정 이유

‘什么情况’에는 Gemma의 ‘무슨 일인가요?’가 자연스럽다. Muse의 ‘무슨 상황인가요?’는 직역투이며 원문의 강한 물음표 뉘앙스도 줄었다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움810
제목 적합성810
문제 플래그
  • Muse · 경미 · 어색한 표현‘무슨 상황인가요?’가 ‘什么情况’의 직역투임
중국어zh-d1d1bd6aaf6e ⚠️慎重升级 Codex 最新版(26.601.21317) 8.89.8 Gemma 승 검수 필요
원문 · 중국어

⚠️慎重升级 Codex 最新版(26.601.21317)

출처 도메인: v2ex.com
Muse Glimmer 30B8.8
⚠️ Codex 최신 버전(26.601.21317) 업그레이드 신중히
Gemma 4 31B9.8
⚠️ Codex 최신 버전(26.601.21317) 업데이트 주의
판정 이유

Muse는 升级를 ‘업그레이드’로 정확히 보존했지만 ‘업그레이드 신중히’가 어색하다. Gemma의 ‘업데이트 주의’는 용어가 조금 넓어졌어도 한국어 경고 제목으로 훨씬 자연스럽다.

세부 점수
기준MuseGemma
정확성109
용어·고유명사1010
한국어 자연스러움710
제목 적합성810
문제 플래그
  • Gemma · 경미 · 의미 오류升级를 더 넓은 ‘업데이트’로 옮겨 업그레이드 뉘앙스가 약해짐
  • Muse · 중요 · 어색한 표현‘업그레이드 신중히’가 조사·서술어가 빠진 번역투임
중국어zh-6897720f9fad [求助] 准备上车 GPT 20X,请教各位大佬关于风控防封、节点和用量监测的避坑经验 7.39.5 Gemma 승 검수 필요
원문 · 중국어

[求助] 准备上车 GPT 20X,请教各位大佬关于风控防封、节点和用量监测的避坑经验

출처 도메인: v2ex.com
Muse Glimmer 30B7.3
[도움 요청] GPT 20X 탑승을 준비 중인데, 선배님들께 리스크 관리·차단 방지, 노드와 사용량 모니터링의 함정 회피 경험을 여쭤봅니다
Gemma 4 31B9.5
[질문] GPT 20X 도입 예정입니다. 리스크 관리 및 계정 정지 방지, 노드 설정, 사용량 모니터링 관련 주의사항에 대해 고수분들의 조언을 구합니다.
판정 이유

Gemma는 上车·防封·避坑을 ‘도입’, ‘계정 정지 방지’, ‘주의사항’으로 자연스럽게 현지화했다. Muse의 ‘탑승’, ‘차단 방지’, ‘함정 회피 경험’은 중국어 인터넷 표현을 직역해 난삽하다. 다만 Gemma의 ‘노드 설정’은 원문에 없는 ‘설정’을 보탰다.

세부 점수
기준MuseGemma
정확성99
용어·고유명사89
한국어 자연스러움610
제목 적합성610
문제 플래그
  • Gemma · 경미 · 근거 없는 추가원문은 ‘노드’만 언급했는데 ‘노드 설정’으로 구체화함
  • Muse · 중요 · 어색한 표현‘탑승’, ‘차단 방지’, ‘함정 회피 경험’이 중국어 속어의 직역투임
중국어zh-a67573acc5ad 有人在看 Microsoft Build 2026 大会吗? 7.810.0 Gemma 승 검수 필요
원문 · 중국어

有人在看 Microsoft Build 2026 大会吗?

출처 도메인: v2ex.com
Muse Glimmer 30B7.8
Microsoft Build 2026 대회 보고 있는 사람 있나요?
Gemma 4 31B10.0
Microsoft Build 2026 컨퍼런스 보고 계신 분 있나요?
판정 이유

Microsoft Build는 개발자 컨퍼런스이므로 大会를 Gemma처럼 ‘컨퍼런스’로 옮겨야 한다. Muse의 ‘대회’는 행사 유형을 잘못 전달하고 ‘대회 보고’도 어색하다.

세부 점수
기준MuseGemma
정확성810
용어·고유명사810
한국어 자연스러움810
제목 적합성710
문제 플래그
  • Muse · 중요 · 의미 오류행사 의미의 大会를 경쟁 행사인 ‘대회’로 오역함
  • Muse · 중요 · 어색한 표현‘대회 보고 있는’이 한국어에서 부자연스러움
중국어zh-80201c41349b 写了个工具, markdown 转 X Articles 9.510.0 Gemma 승 검수 필요
원문 · 중국어

写了个工具, markdown 转 X Articles

출처 도메인: v2ex.com
Muse Glimmer 30B9.5
마크다운을 X Articles로 변환하는 도구 만들었습니다
Gemma 4 31B10.0
Markdown을 X Articles로 변환하는 도구를 만들었습니다
판정 이유

둘 다 정확하다. Gemma는 ‘도구를 만들었습니다’로 목적격 조사를 갖춰 문장 완성도가 근소하게 높고 Markdown의 원형 표기도 보존했다.

세부 점수
기준MuseGemma
정확성1010
용어·고유명사1010
한국어 자연스러움910
제목 적합성910
문제 플래그
  • Muse · 경미 · 어색한 표현‘도구 만들었습니다’에서 목적격 조사가 생략됨
중국어zh-4666fbbbf1df 大佬们 vibe coding 的项目怎么样了 5.010.0 Gemma 승 검수 필요
원문 · 중국어

大佬们 vibe coding 的项目怎么样了

출처 도메인: v2ex.com
Muse Glimmer 30B5.0
대佬들 vibe coding 프로젝트는 어떻게 됐나요
Gemma 4 31B10.0
고수분들의 vibe coding 프로젝트는 어떻게 되어가고 있나요?
판정 이유

Muse는 大佬의 둘째 글자 ‘佬’를 그대로 남겨 ‘대佬들’이라는 한중 혼용 실패를 만들었다. Gemma의 ‘고수분들’은 속어 의미와 게시판 존칭을 자연스럽게 살린다.

세부 점수
기준MuseGemma
정확성910
용어·고유명사310
한국어 자연스러움410
제목 적합성410
문제 플래그
  • Muse · 중요 · 미번역 문자‘대佬들’에 중국 한자 ‘佬’가 미번역 상태로 남음
  • Muse · 중요 · 어색한 표현‘대佬들’은 한글과 중국어가 섞인 깨진 표현임