Como a pontuação de tradução da Proxylang se compara ao DeepL e ao Google Translate?

As pessoas nos fazem uma pergunta mais do que qualquer outra: a tradução é boa? Por isso, testamos contra os dois motores nos quais a maioria das ferramentas de tradução de sites opera, e estamos publicando tudo, incluindo os pares em que perdemos.

As pontuações

	Proxylang	DeepL	Google Translate
Average, all 280 sentences	4.72	4.61	4.20
Scored a perfect 5 (Claude Opus 5.5)	74.3%	63.6%	42.1%
No errors found (GEMBA-MQM)	46.1%	40.4%	30.7%

Se você estiver comparando ferramentas para sites: a central de ajuda da Weglot afirma que suas traduções automáticas vêm do DeepL sempre que o DeepL suporta o par. Portanto, para coreano, japonês e inglês, a coluna do DeepL é o ponto de partida da Weglot.

Por par de idiomas

Pair	Proxylang	DeepL	Google
Korean → Japanese	4.69	4.46	3.10
Japanese → Korean	4.84	4.71	3.79
Korean → English	4.76	4.38	4.21
Japanese → English	4.78	4.55	4.34
English → Japanese	4.66	4.65	4.61
English → Korean	4.72	4.85	4.54
English → German	4.61	4.64	4.79

As maiores lacunas estão entre o coreano e o japonês. O Google Translate frequentemente lê uma palavra coreana como os caracteres chineses errados. 초인종 (campainha) saiu como 超人種, “raça sobre-humana”. O japonês parece real, então ninguém que não leia japonês perceberia. Coletamos mais exemplos reais aqui.

Onde perdemos

Juízes de IA não dão exatamente a mesma pontuação duas vezes. Avaliamos as mesmas traduções inalteradas do DeepL e do Google três vezes, e suas médias variaram em até 0,09 entre as execuções. Portanto, considere pequenas diferenças como empates:

• English → Japanese: 4.66 vs DeepL’s 4.65. A tie.
• English → German: 4.61 vs DeepL’s 4.64, a tie. Google is best here at 4.79.
• English → Korean: DeepL 4.85, us 4.72. The gap is 0.13, a bit more than the scores move on their own, so DeepL is slightly ahead. The points we lost were small rewordings, not wrong meanings.

Como testamos

As frases. 40 por par de idiomas do FLORES-200, um conjunto de testes público de frases de notícias e ciência. Cada uma vem com uma tradução feita por um tradutor profissional.

Os sistemas. Proxylang com sua configuração de tradução normal, a API do DeepL em seu modelo otimizado para qualidade e a API do Google Cloud Translation. Desativamos tudo o que um site real fornece ao Proxylang: sem glossário, sem nomes de marcas, sem contexto de página. Isso torna esta a nossa primeira versão pura.

Os juízes. Claude Opus 5.5 (Anthropic) e GPT-5.6 Terra Pro (OpenAI) avaliaram cada tradução individualmente. Nenhuma das empresas produz o Proxylang, o DeepL ou o Google Translate. O Proxylang roda em um modelo do Google, por isso deixamos os modelos do Google fora da avaliação.

Dois métodos de pontuação.

1. A 1 to 5 scale. The judge sees the source, the professional translation and all three candidates, with no names and in a new random order for every sentence. Both judges ranked the three systems in the same order: Claude gave 4.71, 4.58 and 4.13, and GPT-5.6 gave 4.74, 4.64 and 4.27.
2. GEMBA-MQM, a published method from WMT 2023. The judge sees one translation at a time, with no reference and nothing to compare against, and lists every error as critical, major or minor. Claude Opus 5.5 checked all 840 translations this way, before the Japanese update below. Proxylang had the fewest errors.

O que mudou desde nossa primeira execução. Primeiro, avaliamos essas traduções em 14 de outubro com um modelo aberto menor, o Qwen 3.6 35B. Isso nos deixou no mesmo nível do DeepL: 4,53 contra 4,54. As pessoas nos perguntaram qual modelo fez a avaliação, e um modelo pequeno é uma resposta fraca, então reavaliamos as mesmas traduções com dois juízes mais fortes. Todos os três sistemas obtiveram pontuações mais altas, e a ordem mudou a nosso favor. No mesmo dia, refinamos nossas instruções de inglês para japonês e retestamos esse par. Ele passou de 4,60 para 4,66.

Limites. 40 frases por par é pouco, e as pontuações variam em até 0,09 entre as execuções por conta própria. Juízes de IA não são tradutores humanos. E frases de notícias não são textos de sites.

No seu site, isso continua melhorando

This test scores our first attempt at a bare sentence. On your site, Proxylang has more to work with:

• Your glossary and never-translate list. Product names come out the same in every language.
• The whole page. Each sentence is translated knowing what the page is about.
• Re-checks after launch. Proxylang keeps re-reading the translations live on your site, against the rest of your site and your glossary. When a line reads stiff, a name got translated, or the meaning slipped, it puts in a better version. Re-checks are free, don’t use your word allowance, and never overwrite your own edits. How it works.

Links and bold text inside a sentence also move with the words in Japanese and Korean, so a link never ends up half on a word. See examples.

Experimente no seu próprio site

The free trial needs no signup and covers 2,000 words in one language. Paste this into Claude Code, Cursor or any AI coding tool:

Your agent sets up the trial for you. Or open proxylang.dev/start and type your site’s address.

Want the full write-up, with every example sentence? It’s on Proxylang Answers.