Google Translate fails on simple sentences: Third version, May 2017
Ernie Davis
Note: Systran is
here.
Microsoft is
here.
DeepL is
here
This collection should under no circumstances be taken as any kind of
serious benchmark. Not only is it very small, but, as the title indicates,
it was
originally formed as a collection where Google Translate, specifically,
failed; hence, it is inherently unfair to Google Translate. It is just
an unsystematic collection of translation problems that seem like they
should be easy, but trip up Google Translate and other machine translation
programs as of fall 2016. I check these intermittently to see
what progress has been made. Microsoft Translate hedges its bets by producing
two translations (sometimes the same).
Note: I don't actually speak French, so I am grateful to Pascal Amsili for
his corrections on a number of items.
Updated 5/27/2017.
-
Fr: Nous sommes lundi. [It's an odd idiom.]
En: Today is Monday.
GT. We are Monday.
Bing. We're on Monday.
Systran. It is Monday [Correct]
Microsoft Translate. We're on Monday. We are Monday.
DeepL: It's Monday. [Correct]
-
En: The electrician doesn't work on Sundays.
Fr: L'électricien ne travaille pas le dimanche.
GT: L'électricien ne fonctionne pas le dimanche.
Bing, Systran, DeepL: L'électricien ne travaille pas
le dimanche. [Correct]
MS: L'électricien ne fonctionne pas le dimanche.
L'électricien ne travaille pas le dimanche. [Correct]
-
En: The telephone in Maria's bedroom is working.
Fr. Le téléphone dans la chambre de Maria fonctionne.
GT, Systran. Le téléphone de la chambre de Maria
travaille.
Bing, MS (both). Le téléphone dans la chambre de Maria
travaille.
DeepL: Le téléphone fonctionne dans la chambre de Maria.
[Almost correct]
[GT gets this right in Spanish and Italian, but wrong ("arbeitet") in German.]
-
Fr: Elles
Sp: Ellas
GT. Ellos.
Bing. Que.
Systran. Ellas [Correct].
MS Translate: Se. Que.
DeepL. Ellos son.
-
Fr. Les clés sont à ma mère.
En. The keys belong to my mother.
GT, The keys are to my mother.
Systran: The keys are my own.
MS Translate. The keys are to my mother. The keys are my mother's.
[Correct]
Bing: The keys are my mother's [Correct].
DeepL: The keys are my mother's.
-
Fr. Plus le visage est sérieux, plus le sourire est beau.
En. The more serious the face, the more beautiful the smile.
GT. The more serious the face, the smile is beautiful.
Bing. Systran. The more serious the face, the more beautiful the smile.
[Correct]
Microsoft Translate:
More the face is serious, more of the smile is beautiful.
The more serious the face, the more beautiful the smile. [Correct]
DeepL: The more serious the face, the more beautiful the smile. [Correct]
-
En. Pierre's parents miss him.
Fr. Pierre manque à ses parents.
GT, Systran. Les parents de Pierre lui manquent.
Bing Fr. Les parents de Pierre le manquent.
Microsoft Translate.
Les parents de pierre lui manquer.
Les parents de Pierre lui manquent.
DeepL: Il manque aux parents de Pierre. [OK]
-
En: They were pregnant.
Fr: Elles étaient enceintes.
GT, Systran. Ils étaient enceintes.
Bing. Elles étaient enceintes. [Correct]
Microsoft Translate.
Qu'elles étaient enceintes.
Elles étaient enceintes. [Correct]
DeepL. Elles étaient enceintes. [Correct]
Thanks to Richard Socher.
All five programs translate "They" as "Ils" in "They have beautiful
breasts" and "They have healthy ovaries".
-
Fr. La copine de mon père mange son dîner.
English. My father's girlfriend eats her dinner.
GT. My father's girlfriend eats his dinner.
Bing. My dad's girlfriend eats his dinner.
Systran. My father's girlfriend eats her dinner [Correct].
Microsoft Translate.
My father's girlfriend eats his dinner.
My dad's girlfriend eats his dinner.
DeepL: My dad's girlfriend is eating her dinner. [Correct]
If you change it to
L'amie de mon père mange son dîner (My father's friend (f.)
eats her dinner.), GT, Systran and DeepL gives "his dinner";
Bing sidesteps the issue by saying
"My father's friend eats dinner", and MS Translate gives first
"My father's friend eats his dinner" and second "My father's friend eats
dinner."
-
En. Can you close the door, darling?
Fr. Peux-tu fermer la porte, chéri?
GT. Pouvez vous fermer la porte, chéri?
Systran. Peux-tu fermer la porte, chéri? [Correct]
Bing. Vous pouvez fermer la porte, chéri?
MS.
Tu peux fermer la porte, chéri? [Correct]
Vous pouvez fermer la porte, mon chérie?
DeepL: Tu peux fermer la porte, chéri? [Correct]
If this seems unfair, note that if you turn the sentence around, "Darling,
can you close the door", GT correctly give
"Chéri, peux-tu fermer la porte?". So GT is capable of detecting
the relation between the endearment and the familiar pronoun one way, but
not the other.
-
En. Marie said, "I will always be your friend."
Fr. Marie a dit: "Je serai toujours votre amie."
GT. Marie dit: "Je serai toujours votre ami."
Systran. Marie a dit, "Je serais toujours ton ami."
Bing. Marie a dit, "je serai toujours votre ami."
MS. Marie a dit: "je serai toujours ton ami."
Marie a dit, «Je serai toujours votre ami.»
DeepL. Marie a dit, "Je serais toujours ton amie." [Correct]
-
En. The girls danced and later they sang a song.
Fr. Les filles ont dansé et plus tard elles ont chanté
une chanson.
GT . Les filles ont dansé et plus tard ils
ont chanté une chanson.
Systran. Les filles danced et plus tard elles sang une chanson.
Bing. Les filles dansaient et plus tard elles chantaient
une chanson. [Close. I am told that the use of the imperfect here is
not right.]
MS. Les filles dansées et plus tard ils ont chanté
une chanson.
Les filles dansaient et plus tard, elles chantaient une chanson.
DeepL. Les filles ont dansé et plus tard, elles
ont chanté une chanson. [Correct]
-
En. Alex, who is my neighbor, is talking to her father.
Fr. Alex, qui est ma voisine, parle à son père.
GT. Systran, Bing, MS.
Alex, qui est mon voisin, parle à son père.
DeepL. Alex, qui est ma voisine, parle à son père. [Correct]
-
Fr. Alex, qui est ma voisine, parle à son père.
En. Alex, who is my neighbor, is talking to her father.
GT., Systran. Alex, who is my neighbor, speaks to his father.
Bing. Alex, who's my neighbor, talk to her father. [Correct]
MS. Alex, who's my neighbor, talk to her father. [Correct]
Alex, who is my neighbor, speaks to his father.
DeepL. Alex, who's my neighbor, talk to her father. [Correct]
-
En. My neighbor is a woman.
Fr. Ma voisine est une femme.
GT., Systran. Mon voisin est une femme.
Bing, DeepL. Ma voisine est une femme. [Correct].
MS. Ma voisine est une femme. [Correct]
Ma voisine est une femme. [Correct].
-
En. Marie will be eighteen next month.
Fr. Marie aura dix-huit ans le mois prochain.
GT. Marie aura dix-huit mois le mois prochain.
Systran. Marie sera dix-huit mois prochain.
Bing, DeepL: Marie aura dix-huit ans le mois prochain. [Correct].
MS. Marie sera dix-huit mois prochain.
Marie aura dix-huit ans le mois prochain. [Correct].
-
En. I always tell them that they're ugly, so they hit me.
Fr. Je leur dis toujours qu'ils sont laids, alors ils me frappent.
GT. Je leur dis toujours qu'ils sont moche, alors ils m'ont
frappé.
Systran. Je leur dis toujours qu'ils sont laid, donc ils m'ont
frappé.
Bing. Je leur dis toujours qu'ils sont moches, alors ils m'a
frappé.
MS. Je leur dis toujours qu'ils sont laids, alors ils m'a
frappé.
Je leur dis toujours qu'ils sont moches, alors ils m'ont
frappé.
DeepL. Je leur dis toujours qu'ils sont laids, alors ils me frappent.
[Correct]
-
En. The sheep that I saw last summer in Bordeaux all looked happy.
Fr. Les moutons que j'ai vus l'été dernier à
Bordeaux semblaient tous heureux.
GT. Le mouton que j'ai vu l'été dernier à
Bordeaux a été heureux.
Systran. Les moutons que j'ai vus l'été dernier à
Bordeaux tous semblaient heureux. [Correct]
Bing, DeepL. Les moutons que j'ai vus l'été dernier à
Bordeaux semblaient tous heureux. [Correct]
MS. Les moutons que j'ai vus l'été dernier à
Bordeaux semblaient tous heureux. [Correct]
Les moutons que j'ai vu l'été dernier à
Bordeaux tous l'air heureux. [Incorrect; no main verb] [Correct]
-
Fr. Le train part à deux heures pour Paris. (6/17/17)
En. The train leaves at two o'clock for Paris.
GT: The train leaves Paris at two o'clock.
Bing: The train leaves at two o'clock for Paris. [Correct]
Systran: The train starts two hours for Paris.
MS: The train leaves at two o'clock for Paris. (Both) [Correct]
DeepL: The train leaves at two o'clock for Paris. [Correct]
-
Fr. Je découpe un avocat pour le déjeuner. (6/20/17)
En. I cut up an avocado for lunch.
GT. I cut out a lawyer for lunch.
Bing. I'm cutting out a lawyer for lunch.
Systran. I cut a lawyer for lunch.
MS. I'm cutting out a lawyer for lunch. I cut a lawyer for lunch.
DeepL: I'm cutting up a avocado for lunch.
Thanks to Houda Bouamor for the suggestion.
-
En. I cut my hand every time I use that vegetable peeler. (6/20/17)
Fr: Je coupe ma main
chaque fois que j'utilise cet éplucheur de légumes.
GT: J'ai coupé ma main
chaque fois que j'utilise cet éplucheur de légumes.
Bing: Je me suis coupé la main
chaque fois que j'utilise cet éplucheur de légumes.
Systran:
Je me suis coupé la main
chaque fois que j'utilise ce peeler de légumes.
MS: Je me suis coupé la main
chaque fois que j'utilise cet éplucheur de légumes.
Je me suis coupé la main
chaque fois que j'utilise cet épluche-légumes.
DeepL: Je me suis coupé la main à
chaque fois que j'utilise cet épluche-légumes. [Correct]
-
Fr: On peut maintenant transférer des sous par Messenger en France.
(11/7/17)
En: One can now transfer money by Messenger in France.
GT: We can now transfer sub by Messenger in France.
Systran: You can now transfer from Messenger to France.
MS: You can now transfer money by Messenger in France. [Correct]
We can now transfer sub by Messenger to France.
DeepL: We can now transfer money via Messenger to France.
Yann LeCun posted the original French on Facebook 11/7/17, which is when
these tests were run.
-
German: Na bitte, geht doch. Herzlichen Glückwunsch! (Colloquial idiom,
used when someone finally accomplishes something. 2/24/18)
En: See, you can do it! Congratulations!
GT: Oh look, it works. Congratulations!
Systran: Well, please, go on. Thank you very much.
Microsoft: There you go, we go. Congratulations!.
Come on, please. Congratulations!
DeepL: There you go, there you go. Congratulations! [Pretty good]
Contributed by Christina Behme.
-
Fr: Je t'aime. (2/24/18)
DeepL English: I love you. I love you.
DeepL Spanish: Te amo. Te amo. Te amo.
Similarly doubled in German, Dutch, and Polish and tripled in Italian.
Very strange.
Except for [21], Google Translate gave all the same translations as of 8/25/17.
I didn't check the others.
Machine translation fails from Chinese
found by Yuling Gu, June 20, 2018.