Proxylang Blog

Proxylang การแปลของคุณได้คะแนนอย่างไรเมื่อเทียบกับ DeepL และ Google Translate?

ทีมงาน Proxylang · 18 ตุลาคม 2566 · อ่าน 4 นาที

สรุปสั้นๆ: ในการทดสอบแบบไม่เปิดเผยผลลัพธ์ 280 ประโยค ผู้ตัดสิน AI สองคนจาก Anthropic และ OpenAI ให้คะแนน Proxylang 4.72 จาก 5, DeepL 4.61 และ Google Translate 4.20 เราเป็นผู้นำมากที่สุดระหว่างภาษาเกาหลีและญี่ปุ่น เราเสมอชั้นกับ DeepL ในภาษาอังกฤษเป็นภาษาญี่ปุ่นและภาษาเยอรมัน และ DeepL นำเล็กน้อยในภาษาอังกฤษเป็นภาษาเกาหลี

ผู้คนถามเราคำถามมากกว่าคำอื่น ๆ คือการแปลดีหรือไม่? ดังนั้นเราจึงทดสอบกับเครื่องมือสองตัวที่เครื่องมือแปลเว็บไซต์ส่วนใหญ่ใช้ และเราเผยแพร่ทั้งหมด รวมถึงคู่ที่เราเสีย

คะแนน

ProxylangDeepLGoogle Translate
Average, all 280 sentences4.724.614.20
Scored a perfect 5 (Claude Opus 5.5)74.3%63.6%42.1%
No errors found (GEMBA-MQM)46.1%40.4%30.7%

หากคุณกำลังเปรียบเทียบเครื่องมือเว็บไซต์: ศูนย์ช่วยเหลือของ Weglot ระบุว่าการแปลอัตโนมัติของตนมาจาก DeepL เมื่อใดก็ตามที่ DeepL รองรับคู่ ดังนั้นสำหรับภาษาเกาหลี ญี่ปุ่น และภาษาอังกฤษ คอลัมน์ DeepL คือจุดเริ่มต้นของ Weglot

ตามคู่ภาษา

PairProxylangDeepLGoogle
Korean → Japanese4.694.463.10
Japanese → Korean4.844.713.79
Korean → English4.764.384.21
Japanese → English4.784.554.34
English → Japanese4.664.654.61
English → Korean4.724.854.54
English → German4.614.644.79

ช่องว่างที่ใหญ่ที่สุดคือระหว่างภาษาเกาหลีและญี่ปุ่น Google Translate มักจะอ่านคำภาษาเกาหลีเป็นอักขระจีนที่ผิด 초인종 (doorbell) กลายเป็น 超人種, “เผ่าพันธุ์เหนือมนุษย์” ญี่ปุ่นดูเหมือนจริง ดังนั้นจึงไม่มีใครที่ไม่พูดภาษาญี่ปุ่นจะสังเกตเห็น เรารวบรวมตัวอย่างจริงเพิ่มเติมได้ที่นี่

จุดที่เราเสีย

ผู้ตัดสิน AI ไม่ให้คะแนนเดียวกันสองครั้ง เราให้คะแนนการแปล DeepL และ Google ที่เหมือนกันและไม่เปลี่ยนแปลงเป็นสามครั้ง และค่าเฉลี่ยของพวกเขาจะเคลื่อนที่ไปมากถึง 0.09 ระหว่างการรัน ดังนั้นโปรดอ่านช่องว่างเล็กๆ น้อยๆ ว่าเป็นผลเสมอ:

  • English → Japanese: 4.66 vs DeepL’s 4.65. A tie.
  • English → German: 4.61 vs DeepL’s 4.64, a tie. Google is best here at 4.79.
  • English → Korean: DeepL 4.85, us 4.72. The gap is 0.13, a bit more than the scores move on their own, so DeepL is slightly ahead. The points we lost were small rewordings, not wrong meanings.

วิธีการทดสอบ

ประโยค 40 ประโยคต่อคู่ภาษาจาก FLORES-200 ชุดทดสอบสาธารณะของประโยคข่าวและวิทยาศาสตร์ แต่ละประโยคมาพร้อมกับการแปลโดยนักแปลมืออาชีพ

ระบบ Proxylang พร้อมการตั้งค่าการแปลปกติ, DeepL API บนโมเดลที่ปรับให้มีคุณภาพ และ Google Cloud Translation API เราปิดทุกอย่างที่เว็บไซต์จริงมอบให้ Proxylang: ไม่มีพจนานุกรม ไม่มีชื่อแบรนด์ ไม่มีบริบทของหน้า นี่คือการผ่านครั้งแรกที่เรียบง่ายของเรา

ผู้ตัดสิน Claude Opus 5.5 (Anthropic) และ GPT-5.6 Terra Pro (OpenAI) แต่ละคนให้คะแนนการแปลทั้งหมดด้วยตนเอง ไม่มีบริษัทใดที่ผลิต Proxylang, DeepL หรือ Google Translate Proxylang ทำงานบนโมเดล Google ดังนั้นเราจึงละเว้นโมเดลของ Google ในการตัดสิน

วิธีการให้คะแนนสองวิธี

  1. A 1 to 5 scale. The judge sees the source, the professional translation and all three candidates, with no names and in a new random order for every sentence. Both judges ranked the three systems in the same order: Claude gave 4.71, 4.58 and 4.13, and GPT-5.6 gave 4.74, 4.64 and 4.27.
  2. GEMBA-MQM, a published method from WMT 2023. The judge sees one translation at a time, with no reference and nothing to compare against, and lists every error as critical, major or minor. Claude Opus 5.5 checked all 840 translations this way, before the Japanese update below. Proxylang had the fewest errors.

สิ่งที่เปลี่ยนแปลงตั้งแต่การทดสอบครั้งแรกของเรา เราให้คะแนนการแปลเหล่านี้เมื่อวันที่ 14 ตุลาคมด้วยโมเดลเปิดขนาดเล็ก Qwen 3.6 35B ซึ่งทำให้เราเสมอชั้นกับ DeepL: 4.53 เทียบกับ 4.54 ผู้คนถามเราว่าโมเดลใดทำการตัดสิน และคำตอบเล็กๆ น้อยๆ เป็นคำตอบที่อ่อนแอ ดังนั้นเราจึงให้คะแนนการแปลเดียวกันอีกครั้งด้วยผู้ตัดสินที่แข็งแกร่งขึ้น ทั้งสามระบบให้คะแนนสูงขึ้น และลำดับเปลี่ยนไปในทิศทางที่เราได้เปรียบ วันเดียวกันนั้น เราได้ปรับปรุงคำแนะนำภาษาอังกฤษเป็นภาษาญี่ปุ่น และทำการทดสอบซ้ำอีกครั้ง ซึ่งเปลี่ยนจาก 4.60 เป็น 4.66

ข้อจำกัด 40 ประโยคต่อคู่ภาษานั้นมีขนาดเล็ก และคะแนนจะเปลี่ยนแปลงไปมากถึง 0.09 ระหว่างการรันด้วยตนเอง ผู้ตัดสิน AI ไม่ใช่ผู้แปลที่เป็นมนุษย์ และประโยคข่าวสารไม่ใช่สำเนาเว็บไซต์

บนเว็บไซต์ของคุณ มันจะดีขึ้นเรื่อยๆ

This test scores our first attempt at a bare sentence. On your site, Proxylang has more to work with:

  • Your glossary and never-translate list. Product names come out the same in every language.
  • The whole page. Each sentence is translated knowing what the page is about.
  • Re-checks after launch. Proxylang keeps re-reading the translations live on your site, against the rest of your site and your glossary. When a line reads stiff, a name got translated, or the meaning slipped, it puts in a better version. Re-checks are free, don’t use your word allowance, and never overwrite your own edits. How it works.

Links and bold text inside a sentence also move with the words in Japanese and Korean, so a link never ends up half on a word. See examples.

ทดลองใช้งานกับเว็บไซต์ของคุณเอง

The free trial needs no signup and covers 2,000 words in one language. Paste this into Claude Code, Cursor or any AI coding tool:

Your agent sets up the trial for you. Or open proxylang.dev/start and type your site’s address.

Want the full write-up, with every example sentence? It’s on Proxylang Answers.