DeepL、ゴミだった。翻訳精度でGPTにボロ負け

日英翻訳ツールで最も優れているAIツールが決定！DeepLを上回ったのはどれか？
TEXAL / by masapoco / July 20, 2023 at 06:11AM
The Japan Timesが、日本語を英語に翻訳する事が出来るAI支援ツールをテストし、どれが優れた結果を示してくれるか検証している。用いられたツールは、OpenAIのChatGPT（GPT-4）、Microsoft Bing AIチャットボット、Google Bard、そしてAI翻訳ツールとして有名なDeepLだ。Japan Timesの上級バイリンガル編集者のKanako Takahara氏が結果を評価している。

テストでは、以下の日本語テキストが用いられた。

文学：ノーベル賞受賞者川端康成著『雪国』の冒頭の一節
歌詞：日本の国歌「君が代」
スピーチ：日本のスーパースター、大谷翔平が3月のワールド・ベースボール・クラシック決勝の対アメリカ戦直前にチームメイトに向けたスピーチ
これらを、それぞれのツールに入力し、英語に変換してもらい、正確さ、英語の自然な表現、翻訳が文脈に則しているかに基づき5段階で評価を下している。

GPT-4は、文学部門で苦戦したものの、全体的に最も高いスコアを獲得し、僅差でBardとBingが続いた。驚くべき事に、AI翻訳の先駆けであったDeepLは常に最下位だった。

ただし、AIチャットボットは、デバイス、タイミング、指示の言い回しなどの様々な要因によって異なる結果を出す可能性があるため、ユーザーの得る結果が常にJapan Timesと同様になるわけではない。ただし、東京大学の言語専門家Tom Gally氏によれば、ChatGPT-4は一貫して最高の品質を提供しているという。

ただし、ChatGPTはそもそもが日本語でのデータ学習量が少ないため、日本語の生成については英語に劣る。Bardも現段階ではまだ劣っているが、Googleが所持するデータ量を考えれば、この分野においては大きな可能性が見込まれると、Gally氏は指摘している。

そして今回のテストで明らかになった意外であり、大きな意味を持つことは、AIチャットボットの翻訳がDeepLの翻訳よりもはるかに優れていたと言う事だ。とはいえ、注目すべきは、どのテキストも100％の正確さで翻訳されていないことである。

https://texal.jp/2023/07/20/the-best-ai-tool-for-japanese-english-translation-has-been-determined-which-one-outperformed-deepl/

俺がオチに使われてて草なんだが