작은 비스트로에서의 “현장 스트레스 테스트”
구체적인 장면부터 시작하자.
리옹 외곽, 화요일 밤 9 시의 작은 프렌치 비스트로. Wi-Fi 는 「complimentary」 라고 표기돼 있지만, 캡티브 포털 로그인 페이지가 열리지 않는다. 로밍 데이터 는 200 MB 를 넘으면서 2G 까지 떨어졌고, 광섬유가 갑자기 가는 실 한 가닥이 된 듯한 그 굼뜬 속도가 된다.
웨이터는 테이블 옆에 서서, 예의 바르게 기다리고 있다. 당신은 메뉴 위의 “andouillette” 를 손가락으로 가리키며 휴대폰의 클라우드 번역에 묻는다.
8 초 동안 빙글빙글 돌아간다. 돌아온 답은 “andouillette” 였다.
웨이터는 여전히 기다리고 있다. 어쩔 수 없이 감으로 시킨다. 두 입쯤 먹은 시점에서, andouillette 가 무엇인지 몸으로 알게 된다 — 향이 강한 프랑스 내장 소시지로, 처음 먹으면 보통 한 번 멈칫하게 만드는 종류다.
나는 이런 상황을 “여행형 스트레스 테스트” 라고 부른다. 엣지 케이스 가 아니다. 여행 중에 매일같이 반복적으로 마주하는 평범한 상태 — 망이 약하고, 사람이 있고, 재촉당하고, 판단 비용이 극단적으로 낮은 결정. 이 글이 펼치려는 주장은 단순하다. 이런 압력 아래에서 온디바이스 AI 는 단순한 프라이버시 업그레이드가 아니라, 그 자리에서 무너지지 않는 유일한 형태의 프로덕트 라는 것이다.
논거는 “세 축이 같은 방향을 가리킨다”는 것
처음에 나도 온디바이스 AI 를 프라이버시 이야기 로만 생각했다. 그런데 몇 차례 여행을 다녀온 뒤 깨달은 점이 있다 — 이건 사실 서로 독립적인 세 가지 논거가, 우연히 같은 방향을 가리키고 있는 이야기였다. “셋 중 하나만 성립해도 가치가 있다” 가 아니라 “셋이 동시에 성립한다” — 이런 종류 의 프로덕트 결정은 드물다. 그래서 하나씩 분리해서 살펴볼 가치가 있다.
네트워크 신뢰성
여행은 네트워크 적대적 환경입니다. 지하, 열차, 캡티브 Wi-Fi 포털, eSIM이 「사용 가능」이지만 실질적으로 2 kbps의 가는 흐름인 나라. 클라우드 번역은 원문 텍스트를 보내기 위한 안정된 업스트림 대역폭 과 번역을 받기 위한 안정된 다운스트림 대역폭 에 의존합니다. 어느 한쪽이라도 불안정하면 루프가 깨집니다.
온디바이스 번역은 이 변수를 완전히 제거합니다. 거실에서나 히말라야 능선에서나 똑같이 동작합니다.
프라이버시
클라우드 번역 서비스는 요청을 로깅합니다. 개인정보 정책을 읽어 보면 알 수 있습니다 — 대부분이 「서비스 개선을 위해 번역 요청을 저장・처리할 수 있습니다」 라고 적혀 있습니다. 여기에는 외국 약국에서의 의료 질문, 「정리」하고 싶은 사적 일기, 바텐더와 번역하려 한 어색한 대화도 포함됩니다.
온디바이스는 그 텍스트가 기기를 떠나지 않는다는 의미입니다. 신뢰 모델은 데이터가 신뢰 경계에 도달조차 하지 않는다.
지연
이것이 사람들이 과소평가하는 점. 좋은 연결에서의 클라우드 번역 왕복은 약 300–500 ms. 불안정한 연결에서는 2–8 초. Pixel 9의 온디바이스는 네트워크 변동 없이 500 ms 미만.
500 ms와 5 초의 차이는 「5× 느림」이 아닙니다 — 그것은 대화가 자연 스럽게 느껴짐 과 대화가 포기됨 의 차이입니다.
나란히 테스트
같은 4 문장을 Google 번역(클라우드)과 Cove Travel(Gemma model card 의 Gemma 4 E2B 온디바이스)에 Pixel 9 에서 돌렸습니다.
| 원문 | Google 번역(클라우드) | Cove Travel(온디바이스) |
|---|---|---|
| “Could I have the bill, please?” (EN→FR) | “Puis-je avoir l’addition, s’il vous plaît?" | "L’addition, s’il vous plaît?" |
| "Is this dish spicy?” (EN→JA) | “この料理は辛いですか？" | "この料理、辛いですか？" |
| "Where is the nearest pharmacy?” (EN→ES) | “¿Dónde está la farmacia más cercana?" | "¿Dónde está la farmacia más cercana?" |
| "I have an allergy to peanuts.” (EN→ZH) | “我对花生过敏。" | "我对花生过敏。” |
클라우드와 온디바이스 버전은 거의 동등. 차이는 정확도 갭이라기보다 스타일 (“l’addition” 단독 vs “Could I have” 포함). 여행 스타일 문장 (25 단어 이하, 회화 톤)이라면 양쪽 모두 같은 실용적 출력을 만듭니다.
표에 나오지 않은 것: 클라우드 버전은 강한 연결에서 400–800 ms 걸렸고 불안정한 연결에서 2 번 타임아웃. 온디바이스 버전은 매번 280–410 ms.
클라우드가 지금도 이기는 장면
온디바이스가 모두에서 이긴다고 주장하면 누락에 의한 거짓이 됩니다. 오늘 클라우드가 정직하게 온디바이스를 이기는 케이스가 3 가지:
- 장문 업무 문서. 10 페이지 계약서, 연구 논문, 기술 사양 — DeepL과 Google Cloud 상용 API가 스마트폰 하드웨어 4B 모델이 다룰 수 있는 어떤 것보다도 잘 처리합니다. 다른 카테고리.
- 매우 희귀한 언어. 타갈로그어 ↔ 월로프어 같은 저자원 페어가 필요 하다면, Gemma 4 E2B도 다른 어떤 온디바이스 모델도 아직 충분히 능숙 하다고 느껴지지 않습니다. 훨씬 큰 데이터셋으로 학습된 클라우드 모델이 여기서 앞섭니다.
- 번역 메모리와 팀 워크플로. 팀 간 협업하는 프로 번역가는 번역의 클라우드 기반 버전 관리가 필요. 온디바이스는 정의상 그것을 제공하지 않습니다.
이것이 Cove Travel을 프로 번역의 대체가 아닌 여행 동반자 로 포지셔닝 한 이유입니다. 일에 맞는 도구를 사용하세요.
온디바이스가 해방하고 클라우드가 못하는 것
역방향 리스트는 더 짧지만 더 흥미롭습니다. 온디바이스에는 가능하지만 클라우드가 정직하게 못하는 것:
- 비행기 모드에서 동작. 자명한 하나. 클라우드는 글자 그대로 네트워크 없이 동작할 수 없습니다.
- 진짜 사적인 일기 쓰기. 클라우드 서비스로 번역한 것은 정의상 누군가의 로그에 있습니다. 온디바이스는 신뢰 경계가 당신의 스마트폰 안에 머무는 것을 보장합니다.
- 예측 가능한 지연. 클라우드 지연은 네트워크의 최악 경로로 상한이 결정됩니다. 온디바이스 지연은 CPU/NPU로 상한이 결정되며, 이는 어느 나라에서나 같습니다.
- 구독 의존 없음. 1 회 구매 온디바이스 앱은 그것을 만든 회사가 내일 폐쇄해도 계속 동작합니다. 구독형 클라우드 앱은 구독이 끊긴 순간 멈춥니다.
마지막 항목은 과소평가되어 있습니다. 모델 파일은 당신의 기기에 있습니다. Cove라는 회사가 사라져도 당신의 설치된 Cove Travel은 여전히 번역합니다.
FAQ
온디바이스 번역은 클라우드와 같은 정확도인가요?
고자원 언어 페어의 여행 스타일 문장이라면 네 — 표준 벤치마크에서 약 5% 이내. 장문 업무 문서는 어느 언어에서나 지금도 클라우드가 이깁니다.
번역 중에 스마트폰이 따뜻하게 느껴지는 이유는?
4B 파라미터 모델은 실제 연산 부하입니다. NPU 가속이 있는 Pixel 9에서 따뜻함은 부드럽고, 번역당 배터리 비용은 YouTube 영상을 10 초 재생하는 것과 거의 같습니다.
액센트 부호나 특수 문자 입력은?
그것은 OS 레벨 키보드 문제이며 번역의 문제가 아닙니다. 온디바이스 번역은 키보드가 생성하는 것은 무엇이든 다룹니다.
업로드되지 않는다고 신뢰할 수 있나요?
Cove Travel은 /ko/why-offline 에 통신 감사를 공개하고, 앱이 하는 모든 네트워크 호출을 리스트합니다. 요약: 당신의 Wi-Fi 너머의 옵션 모델 업데이트, 옵트인한 경우의 옵션 크래시 리포트, 그 외에는 아무것도 없음. 사용자가 직접 검증할 수 있도록 호출 종단점, 페이로드 형태, 발생 빈도가 모두 표로 공개되어 있습니다. 「믿어 달라」 가 아니라 「확인해 보라」 가 온디바이스 모델의 신뢰 모델이며, 이는 클라우드 번역이 구조적으로 제공할 수 없는 종류의 보증입니다.
자매 글: