TRANSLATION
翻訳のプロがAI翻訳の精度を徹底解説！
目次
- 翻訳のプロが4つのAI翻訳エンジンの精度を検証した結果
1.1 【総合ポイント7.2点】DeepL
1.2 【総合ポイント7.0点】T-400
1.3 【総合ポイント6.9点】COTOHA Translator
1.4 【総合ポイント6.8点】Mirai Translator - 一番精度が高かったDeepLでビジネスでの場面ごとに精度を検証してみた
2.1 「契約書」の翻訳精度
2.2 「社内向け通知資料」の翻訳精度
2.3 「情報セキュリティー研修資料」の翻訳精度
2.4 「マニュアル」の翻訳精度
2.5 「プレスリリース」の翻訳精度
2.6 徹底検証DeepLで弱点が判明 - 翻訳のプロが徹底検証して分かったAI翻訳の任せるべきところ、任せるべきではない
3.1 任せるべきところ
3.2 任せるべきではないところ - 結論：AI翻訳に丸投げは無理。ポストエディットとの共存が必要。
4.1 AI翻訳の限界・ポストエディットの必要性
4.2 最適翻訳法 ＝ 文書に合わせて「AI翻訳」と「人手翻訳」を使い分ける
近年、ますます品質が向上しているAI翻訳。ですが、どのAI翻訳サービスの精度が一番優れているのでしょうか？そして実際のビジネス文書にはどの程度活用できるのでしょうか。
20年に及ぶ翻訳サービスの豊富な経験を持つテンナイン・コミュニケーションが、4つの代表的なAI翻訳サービスの精度を徹底検証しました。
ここでは「①正確性」「②文法」「③リーダビリティ(流暢さ)」「④一貫性」「⑤専門用語」「⑥スタイル(語調)」という６つポイントでAI翻訳の精度を測っていきます。
さらに、最も優秀だったAI翻訳サービスを使用して、様々なビジネス文書ごとに精度を検証します。AI翻訳がどの程度ビジネスに使えるかご納得いただけると思いますので、ぜひ参考にしてみてください。
1. 翻訳のプロが4つのAI翻訳エンジンの精度を検証した結果
翻訳のプロが以下4つのAI翻訳エンジンを「①正確性」「②文法」「③リーダビリティ(流暢さ)」「④一貫性」「⑤専門用語」「⑥スタイル(語調)」という６つポイントで検証しました。
1.1 DeepL
ドイツのケルンに拠点を置くDeepL社が開発・提供している機械翻訳エンジンです。よりニュアンスを汲み取った流暢な訳文を出力できるとして、品質面で高い評価を受けています。
1.2 T-400
東京都に本社を置く、株式会社ロゼッタ（Rozetta Corp.）が提供する機械翻訳エンジンです。一般的な翻訳サイトに使われている機械翻訳エンジンとは異なり、各専門分野ごとにAI（人工知能）を使って機械翻訳エンジンを学習させることで、プロ翻訳者レベルの正確さを実現しています。
1.3 Mirai Translator
東京都に本社を置く、株式会社みらい翻訳が提供する機械翻訳エンジンです。ISO27001、ISO27017のセキュリティ要件に準拠して運用しているため、非常に高い水準が求められる金融機関、製薬会社および政府系機関などの厳しいセキュリティ要件や各種情報保護規定にも対応可能です。
1.4 COTOHA Translator
NTTグループが提供する機械翻訳エンジンです。日本語解析技術、株式会社みらい翻訳と国立研究開発法人情報通信研究機構との共同開発による翻訳エンジンを活用しています。ビジネスで利用できる高品質な翻訳を実現したAI翻訳プラットフォームサービスです。
【検証方法】
■言語方向
・英語→日本語
・日本語→英語
■内容
《英語→日本語》
会社案内
作業マニュアル
プレスリリース(医療分野)
プレスリリース(技術分野)
政治・経済・金融記事
《日本語→英語》
ビジネスメール
会社案内
契約書
プレスリリース(医療分野)
プレスリリース(技術分野)
■評価方法
チェッカーが原文と訳文を読み、訳文の精度を「①正確性」「②文法」「③リーダビリティ(流暢さ)」「④一貫性」「⑤専門用語」「⑥スタイル(語調)」という６つポイントに分けてそれぞれ10点満点で評価
【検証結果】
1位 DeepL
2位 T-400
3位 Mirai Translator
4位 Cotoha Translator
1位はDeepL。全ての分野・項目で高得点を出して、僅差ではありましたが、総合ポイントで他エンジンを上回りました。
2. 一番精度が高かったDeepLでビジネスでの場面ごとに精度を検証してみた
次は4つのAI翻訳エンジンの精度を検証した結果、最も精度の高かったDeepLを使って、ビジネスシーンごとの文書を翻訳して、精度を検証していきます。
2.1 「契約書(英日・日英)」の翻訳精度
■良かった点
英語→日本語、日本語→英語、どちらの言語方向でも、ほとんど修正を必要としない高精度の訳文でした。契約書などの定型文が多く含まれる文書はAI翻訳に非常に向いていると言えます。
■気になる点
訳文の精度は高かったものの、細かい箇所で修正を多く必要としました。
例：
・「機密」と「秘密」の用語揺れ
・訳漏れが数カ所
・誤訳が数カ所
・固有名詞の修正
・箇条書き箇所でフォーマットの崩れが発生
2.2 「社内向け通知資料(日英)」の翻訳精度
社員向けのコロナ感染対策フローチャートを使い検証を行いました。
■良かった点
文章内で離れた位置にある「有給休暇取得」と「在宅勤務」という２つの動詞を、曖昧な主語のなか正確に訳していました。他エンジンでは、「Work from home by taking paid holidays (有給休暇を取得して在宅勤務)」などの誤訳になっていました。
■気になった点
契約書と同様に「用語の不統一」「誤訳・訳漏れが数カ所」「固有名詞の修正」が発生しました。
2.3 「情報セキュリティー研修資料(日英)」の翻訳精度
■良かった点
「イメージダウン」という和製英語を正しい文章で訳せていました。他エンジンでは、「Company image down」などのネイティブに通じない直訳の英語になっていました。
■気になった点
これまでと同様に誤訳・訳漏れ・用語不統一を完全には回避できておらず、「大文字・小文字の混同」や「Power Pointのレイアウト崩れ」などが発生して修正が必要でした。
2.4「マニュアル(英日)」の翻訳精度
翻訳支援ツール「Smartling」の操作マニュアルを使用しました。
■良かった点
下線部分はこのツールの特性上、「A and B」の構文を「Aをしたり、Bもしたり出来る」とするのが最適で、DeepLは見事な精度で翻訳対象文章のコンテンツを理解して、それに応じた(=ドメインアダプティブな)翻訳が出来ていました。他エンジンでは、「Aをした後にBをする」などの誤訳が発生していました。
■気になった点
これまでと同様に「用語の不統一」「誤訳・訳漏れが数カ所」「固有名詞の修正」が発生。特に以下の箇所で致命的な誤訳が見られました。
・コロン・セミコロン・句読点を含む文章
・複雑な文法(「関係詞which」や「Ifのない仮定法」など)を含む文章
2.5「プレスリリース(日英)」の翻訳精度
■良かった点
直訳調ではあったが、誤訳・訳漏れがなく十分に一読して内容を理解できる翻訳精度でした。
■気になった点
「訳漏れ」はなかったが、逆に「訳文の重複」が発生してとても読みづらい文章になっていました。また、原文の日本語では短い文章にまとめられていましたが、英語に訳した際に直訳となり、長くて読みづらい文章に。簡潔にまとめる必要のある文書では不都合があるのでは…。
2.6 徹底検証DeepLで弱点が判明
検証の結果、高精度な翻訳ができるDeepLでも、以下のようなポイントで誤訳・訳漏れなどのミスを犯すことがあり、人間による文章の手直しが必要であることが判明しました。
・全体的な誤訳・訳漏れ・用語不統一
・直訳調になり文章が読みづらい
・固有名詞
・大文字・小文字の混同
・レイアウト崩れ
・コロン・セミコロン・句読点を含む文章
・複雑な文法(「関係詞which」や「Ifのない仮定法」など) を含む文章
・箇条書き
・見出し語
・訳文の重複
3. 翻訳のプロが徹底検証して分かったAI翻訳に任せるべきところ、任せるべきではないところ
これまでの検証で見えてきた、ビジネス文書を翻訳する際に「AI翻訳に任せるべきところ」「AI翻訳に任せるべきではないところ」を説明していきます。
3.1 AI翻訳に任せるべきところ
以下のような文書に対してAI翻訳を大いに活用することができます。
・訴求力が求められない文書(例：契約書、通知書、マニュアルなど)
「訴求力が求められない文書」とは、特定のアピールや説得力を持たせる必要がなく、「正確な意味が伝わればよい」文書のことを指します。以下は、訴求力が必要ない文書の例です。
「会社内部で情報を共有するためのメモや報告書」「製品やシステムの技術的な詳細を文書化したマニュアル」「法的な要件を記載した契約書」「実験結果やデータをまとめた科学的研究報告書」などは、単に事実やデータを伝え、共有することが主要な目的となるものです。
これらの文書は、主に情報の伝達や文書化が主要な目的であり、感情的な訴求力や説得力を持たせる必要がないのでAI翻訳を大いに活用できます。
・緊急度が高く、とにかく内容を知りたい場合(突発的に発生したミーティング向けの資料など)
緊急度が高く、内容を素早く知りたい場合に、AI翻訳は非常に便利です。人間では数時間かかってしまうような翻訳も、AI翻訳は数秒で完成させてくれます。完璧な精度ではないにしても、AI翻訳は文書の基本的な趣旨を理解し、コンテキストに応じて翻訳を提供してきますので、緊急な情報を理解するには十分に役立ちます。
AI翻訳はパターン化されて形式のある文章を得意としますので、訴求力があまり求められない文書(例：契約書、通知書、マニュアルなど)に対しては、AI翻訳を大いに活用することができます。また、緊急度が高く、とにかく何が書かれているか知りたい、ある程度でいいから情報が伝わればいい、というような場合でもAI翻訳は積極的に活用すべきです。
例えば、クライアントより英文契約書が送られてきて、自社にとって不利になる項目が含まれていないか明日までに大至急内容を確認する必要がある、などというシチュエーションでは、AI翻訳にかけるだけで内容をおおまかに確認することができます。
3.2 AI翻訳に任せるべきではないところ
以下のような文書はAI翻訳には向いておらず、最終的に人間の目によるチェックが不可欠となる、もしくは最初から翻訳者が作業をすることが必要となります。
・訴求力が求められる文書(例：プレゼン資料、マーケティング資料全般(パンフレット、Web記事など))
「訴求力が求められる文書」とは、読者や受信者に対して特定の情報、アイデア、提案、製品、サービス、イベントなどに対する興味を引き、説得し、行動を促すために、情報を魅力的で説得力のある方法で提示しようとする文書のことを指します。
「訴求力が求められる文書」の主な特徴としては、まず「ターゲットオーディエンス」が設定されています。文書には、対象となる読者や受信者のニーズ、関心、価値観に合わせてカスタマイズされていて、ターゲットオーディエンスの心をつかむ情報やアプローチが含まれます。
また、読者が情報を理解しやすいように論理的に整理されていて、最も重要なポイントやメッセージを強調し、読者に印象づけるための手法が使用されていることがほとんどです。
そして文書の終わりには、読者に対して具体的なアクションを促す「コール・トゥ・アクション」が含まれていることが一般的です。
「訴求力が求められる文書」は、情報を伝えるだけでなく、読者を説得し、行動を促すために設計されています。このような設計された文書を、文化的なニュアンスや慣用句の違いを理解した上で、翻訳するには高度な文章力が求められます。
《例》
男性向けスキンケア用品の説明文を例として見てみましょう。
原文：『実は、男性の肌は、女性と比べてベタつきやすくカサつきやすい。』
×悪い例：『In fact, men’s skin tends to be more sticky, dry and rough than women’s.』
・理由：間違いではありませんが、シンプルに事実が提示されているだけで、商品の最初の一文として引きが強くありません。
〇良い例：『Did you know that men’s skin is more prone to issues like dryness, roughness, and stickiness compared to women’s?』
・理由：proneという「(ネガティブな要素に関して)～する傾向がある」という単語を使い、さらに疑問文にすることで、読み手に問題提起をするマーケティングに適した翻訳となっています。
・社外に公式に発表する文書
「社外に公式に発表する文書」については、たとえ訴求力が求められない通知のような内容でも、正確性と信頼性を最大限に担保する必要があるため、AI翻訳を使用する際は十分な注意が必要です。
機密情報の扱い、コンプライアンスに照らし合わせた文書とするには人間の最終チェックが求められます。
AI翻訳の訳文は基本的に「直訳調」となるため、魅力的な文章で読み手を説得する必要があるプレゼン資料やマーケティング資料全般には不向きとなります。このような資料は、大胆な意訳など翻訳に工夫をこらす必要があるため、人手翻訳(=翻訳者による翻訳作業)が必須となります。また、社外に公式に発表される資料などは訳文の正確性のみならず、コンプライアンス違反のチェックも必要となるため、AI翻訳にのみ任せることは非常にリスクが大きくなります。
4.結論：AI翻訳に丸投げは無理。ポストエディット(PE)との共存が必要。
検証の結果として、「AI翻訳に文書の翻訳の丸投げは無理である」と判断します。AI翻訳の精度は非常に高く、AI翻訳に向いている文書の場合は、ほとんど手を加えなくても十分に意味が通じる訳文を出してくることもありますが、資料全体をAI翻訳にのみ翻訳を任せてしまっては誤訳・訳抜け、コンプライアンス違反など様々なリスクがあります。そこで「ポストエディット(PE)」というプロ翻訳者がAI翻訳の訳文を手直しする作業が必要となります。
4.1 AI翻訳の限界・ポストエディットの必要性
AI翻訳には現時点で２つの技術的な限界があります。２つの限界というのは、「1.資料の文脈に合わせて翻訳する」と「2. 原文の単語をそのまま使用せず意訳する」こととなります。
「資料の文脈に合わせて翻訳する」とは言い換えれば、「同じ言葉でも、使われている場面で訳し方が変わる」ということです。例えば「Yes」と「No」の翻訳になります。単純な「Yes/No」の翻訳ですが、文書の文脈によっては以下の通り、様々な日本語に変える必要があります。
例えば以下のカメラ製品のバージョン比較を見てみましょう。
＜英語＞
Basicのバージョンには、24時間サポートがついておらず、ACアダプターも別売りで、保証がないなど、プレミアと比較してサービスに違いがあることがわかります。
＜DeepL＞
DeepLの翻訳を見てみると、「Yes/No」がほぼ全て「はい/いいえ」で訳されています。また「premier」が「総理」、「Export Data」が「輸出データ」になっています。正しくは「premier」が「プレミア」、「Export Data」が「データのエクスポート」であるべきです。これは、文脈を認識することができていないために発生しているエラーです。
AI翻訳には、文章をまたぐ「文脈の認識」が不得意であるという弱点があります。これはDeepLに限らず、現在利用できるあらゆるAI翻訳に言えることです。
この例の「はい/いいえ」や「総理」のように、短い文章は文脈によって全く意味が異なり、文脈認識の不足によるエラーが発生しやすい箇所です。このようなエラーが発生しやすい箇所を適切に把握しているプロによるチェックが必要であることが分かります。
＜ポストエディット＞
「原文の単語をそのまま使用せず意訳すること」はマーケティング資料の翻訳では必須ですが、AI翻訳はどうしても原文の単語をそのまま使用してしまいます。例としてKATEというブランドの化粧品「フレームレス・フィルム・マスカラ」にかかるキャッチコピー「そのまつ毛は美しく嘘をつく。」のAI翻訳結果は「Those eyelashes beautifully tell lies.」となります。この場合、「嘘をつく」をそのまま 「lie」 としており、英語圏ではネガティブなイメージのある単語が商品の説明に使われてしまっています。また、【嘘＝マスカラを使用しても「盛らず」に「自然に見せる」】の意味を汲んでおらず不適切な訳文となります。
このようにAI翻訳には限界があり、翻訳者の力で訳文を作り上げないといけないケースが多々あります。
4.2 最適翻訳法 ＝ 文書に合わせて「AI翻訳」と「人手翻訳」を使い分ける
文書の翻訳を行う際に、【品質・スピード・コスト】のバランスを取った最適な翻訳方法は、文書ごとのニーズを汲み取り、「AI翻訳」と「人手翻訳」を使い分け、翻訳を仕上げることです。さらに言えば、文書内でも翻訳方法を使い分けることが言えます。
例えば、自社の「会社案内」のパンフレットを「できるだけ良い品質で」「できるだけ早く」「できるだけコストを抑えて」翻訳したい場合は、以下のような使い分けができます。
・人手翻訳→企業理念、代表様メッセージ、アピールポイントなど訴求力が求められるパート
・AI翻訳＋ポストエディット→事業内容、会社概要、沿革、事例など事実の記載のみが求められるパート
どの翻訳方法を選ぶべきか判断に迷う場合は、翻訳エージェントのコーディネーターにご相談することをお勧めします。
まとめ
以上が「翻訳のプロが4つのAI翻訳エンジンの精度を検証した結果」となります。
検証の上、最も高精度と判断されたDeepLでも誤訳・訳漏れを完全に回避することはできません。ビジネス文書の翻訳を行う際に【品質・スピード・コスト】のバランスを取った翻訳を行うためには、「AI翻訳に任せるべきところ」「AI翻訳に任せるべきではないところ」を見極め、文書ごとのニーズを汲み取り、「AI翻訳」と「人手翻訳」を使い分けることが重要です。
どの翻訳方法を選ぶべきか判断に迷う場合は、翻訳エージェントのコーディネーターにご相談することをお勧めします。
