Machine translation fails on simple sentences

Machine translatoine fails on simple sentences

Note: Systran is here.
Microsoft is here.
DeepL is here

This collection should under no circumstances be taken as any kind of serious benchmark. Not only is it very small, but it was originally formed as a collection where Google Translate, specifically, failed; hence, it is inherently unfair to Google Translate. It is just an unsystematic collection of translation problems that seem like they should be easy, but trip up Google Translate and other machine translation programs as of fall 2016. I check these intermittently to see what progress has been made. Microsoft Translate hedges its bets by producing two translations (sometimes the same).

Earlier versions:
September 2016
December 2016 - April 2017

Note: I don't actually speak French, so I am grateful to Pascal Amsili for his corrections on a number of items.

Updated 9/3/2017, with the recent appearance of DeepL.

Fr: Nous sommes lundi. [It's an odd idiom.]
En: Today is Monday.
GT. We are Monday.
Bing. We're on Monday.
Systran. It is Monday [Correct]
Microsoft Translate. We're on Monday. We are Monday.
DeepL: It's Monday. [Correct]
The electrician who came to fix the telephone is working.
Fr: L'électricien qui est venu réparer le téléphone travaille.
GT: L'électricien qui est venu régler le téléphone fonctionne.
Bing, DeepL: L'électricien qui est venu réparer le téléphone fonctionne.
Systran: L'électricien qui est venu réparer le téléphone travaille. [Correct]
Microsoft: L'électricien qui est venu de fixer le téléphone fonctionne.
L'électricien qui est venu réparer le téléphone fonctionne.
En: The telephone in Maria's bedroom is working.
Fr. Le téléphone dans la chambre de Maria fonctionne.
GT, Systran. Le téléphone de la chambre de Maria travaille.
Systran. Le téléphone de la chambre de Maria fonctionne. [Correct]
Bing. Le téléphone dans la chambre de Maria fonctionne. [Correct]
Microsoft. Le téléphone dans la chambre de Maria travaille. Le téléphone dans la chambre de Maria fonctionne. [Correct]
DeepL: Le téléphone fonctionne dans la chambre de Maria. [Almost correct]
Fr: Elles
Sp: Ellas
GT. Ellos.
Bing. Que.
Systran. Ellas [Correct].
MS Translate: Se. Que.
DeepL. Ellos son.
Fr. Les clés sont à ma mère.
En. The keys belong to my mother.
GT, Systran: The keys are to my mother.
Bing, DeepL: The keys are my mother's [Correct].
MS Translate. The keys are my mother's. [Correct] The keys are to my mother.
Fr. Plus le visage est sérieux, plus le sourire est beau.
En. The more serious the face, the more beautiful the smile.
GT. The more serious the face, the smile is beautiful.
Bing. Systran. The more serious the face, the more beautiful the smile. [Correct]
Microsoft Translate: More the face is serious, more of the smile is beautiful. The more serious the face, the more beautiful the smile. [Correct]
DeepL: The more serious the face, the more beautiful the smile. [Correct]
En. Pierre's parents miss him.
Fr. Pierre manque à ses parents.
GT, Systran. Les parents de Pierre lui manquent.
Bing Fr. Les parents de Pierre le manquent.
Microsoft Translate. Les parents de Pierre le manquent. Les parents de Pierre lui manquent.
DeepL: Il manque aux parents de Pierre. [OK]
En: They were pregnant.
Fr: Elles étaient enceintes.
GT, Systran. Ils étaient enceintes.
Bing. Elles étaient enceintes. [Correct]
Microsoft Translate. Qu'elles étaient enceintes. Elles étaient enceintes. [Correct]
DeepL. Elles étaient enceintes. [Correct]
Thanks to Richard Socher.
En: My neighbor was in labor for five hours, but then gave birth to a healthy boy.
Fr: Ma voisine était en travail pendant cinq heures, mais elle a donné naissance à un garçon en bonne santé.
DeepL: Mon voisin était en travail pendant cinq heures, mais il a donné naissance à un garçon en bonne santé.
Google: Mon voisin était en travail pendant cinq heures, mais a donné naissance à un garçon en bonne santé.
Bing: Mon voisin était en travail pendant cinq heures, mais a ensuite donné naissance à un garçon en bonne santé.
Systran: Mon voisin était en travail pendant cinq heures, mais a ensuite donné naissance à un garçon sain.
Microsoft: Mon voisin était en travail pendant cinq heures, mais a ensuite donné naissance à un garçon en bonne santé.
Mon voisin était en travail pendant cinq heures, mais ensuite a donné naissance à un garçon en bonne santé.
En. Can you close the door, darling?
Fr. Peux-tu fermer la porte, chéri?
GT. Pouvez vous fermer la porte, chéri?
Systran. Peux-tu fermer la porte, chéri? [Correct]
Bing. Vous pouvez fermer la porte, chéri?
MS. Tu peux fermer la porte, chéri? [Correct]
Vous pouvez fermer la porte, mon chérie?
DeepL: Tu peux fermer la porte, chéri? [Correct]

If this seems unfair, note that if you turn the sentence around, "Darling, can you close the door", GT correctly give "Chéri, peux-tu fermer la porte?". So GT is capable of detecting the relation between the endearment and the familiar pronoun one way, but not the other.
En. Marie said, "I will always be your friend."
Fr. Marie a dit: "Je serai toujours votre amie."
GT. Marie dit: "Je serai toujours votre ami."
Systran. Marie a dit, "Je serais toujours ton ami."
Bing. Marie a dit, "je serai toujours votre ami."
MS. Marie a dit: "je serai toujours ton ami." Marie a dit, «Je serai toujours votre ami.»
DeepL. Marie a dit, "Je serais toujours ton amie." [Correct]
En: Jacques said to Marie, "You have always been a true friend."
Fr: Jacques a dit à Marie, "Tu as toujours été un véritable amie."
GT, Systran: Jacques a dit à Marie, "Vous avez toujours été un véritable ami."
Bing: Jacques dit à Marie, "tu as toujours été un vrai ami."
Microsoft: Jacques dit à Marie, "tu as toujours été un vrai ami."
Jacques dit à Marie, "tu as toujours été un véritable ami."
DeepL: Jacques a dit à Marie, "Tu as toujours été un véritable ami."
Marie and Yvette came to the party and they sang a song.
Fr: Marie et Yvette sont venues à la fête et elles ont chanté une chanson.
GT: Marie et Yvette sont venues à la fête et elles ont chanté une chanson [Correct].
Bing: Marie et Yvette sont venues à la fête et ont chanté une chanson [Correct].
Systran: Marie et Yvette vinrent au parti et ils sang une chanson.
Microsoft: Marie et Yvette vinrent au parti et ils chantaient une chanson.
Marie et Yvette vinrent au parti et ils ont chanté une chanson.
DeepL: Marie et Yvette sont venues à la fête et ils ont chanté une chanson.
En. Alex, who is my neighbor, is talking to her father.
Fr. Alex, qui est ma voisine, parle à son père.
GT. Systran, Bing, MS. Alex, qui est mon voisin, parle à son père.
DeepL. Alex, qui est ma voisine, parle à son père. [Correct]
Fr. Alex, qui est ma voisine, parle à son père.
En. Alex, who is my neighbor, is talking to her father.
GT., Systran. Alex, who is my neighbor, speaks to his father.
Bing. Alex, who's my neighbor, talk to her father. [Correct]
MS. Alex, who's my neighbor, talk to her father. [Correct] Alex, who is my neighbor, speaks to his father.
DeepL. Alex, who's my neighbor, talk to her father. [Correct]
En. My neighbor is a woman.
Fr. Ma voisine est une femme.
GT., Systran. Mon voisin est une femme.
Bing, DeepL. Ma voisine est une femme. [Correct].
MS. Ma voisine est une femme. [Correct] Ma voisine est une femme. [Correct].
En. Marie will be eighteen next month.
Fr. Marie aura dix-huit ans le mois prochain.
GT. Marie aura dix-huit mois le mois prochain.
Systran. Marie sera dix-huit mois prochain.
Bing, DeepL: Marie aura dix-huit ans le mois prochain. [Correct].
MS. Marie sera dix-huit mois prochain. Marie aura dix-huit ans le mois prochain. [Correct].
En. I always tell them that they're ugly, so they hit me.
Fr. Je leur dis toujours qu'ils sont laids, alors ils me frappent.
GT. Je leur dis toujours qu'ils sont moche, alors ils m'ont frappé.
Systran. Je leur dis toujours qu'ils sont laid, donc ils m'ont frappé.
Bing. Je leur dis toujours qu'ils sont moches, alors ils m'a frappé.
MS. Je leur dis toujours qu'ils sont laids, alors ils m'a frappé. Je leur dis toujours qu'ils sont moches, alors ils m'ont frappé.
DeepL. Je leur dis toujours qu'ils sont laids, alors ils me frappent. [Correct]
En. The sheep that I saw last summer in Bordeaux all looked happy.
Fr. Les moutons que j'ai vus l'été dernier à Bordeaux semblaient tous heureux.
GT. Le mouton que j'ai vu l'été dernier à Bordeaux a été heureux.
Systran. Les moutons que j'ai vus l'été dernier à Bordeaux tous semblaient heureux. [Correct]
Bing, DeepL. Les moutons que j'ai vus l'été dernier à Bordeaux semblaient tous heureux. [Correct]
MS. Les moutons que j'ai vus l'été dernier à Bordeaux semblaient tous heureux. [Correct]
Les moutons que j'ai vu l'été dernier à Bordeaux tous l'air heureux. [Incorrect; no main verb] [Correct]
Fr. Le train part à deux heures pour Paris.
En. The train leaves at two o'clock for Paris.
GT: The train leaves Paris at two o'clock.
Bing: The train leaves at two o'clock for Paris. [Correct]
Systran: The train starts two hours for Paris.
MS: The train leaves at two o'clock for Paris. (Both) [Correct]
DeepL: The train leaves at two o'clock for Paris. [Correct]
Fr. Je découpe un avocat pour le déjeuner.
En. I cut up an avocado for lunch.
GT. I cut out a lawyer for lunch.
Bing. I'm cutting out a lawyer for lunch.
Systran. I cut a lawyer for lunch.
MS. I'm cutting out a lawyer for lunch. I cut a lawyer for lunch.
Thanks to Houda Bouamor for the suggestion.
DeepL: I'm cutting up a avocado for lunch.
En. I cut my hand every time I use that vegetable peeler.
Fr: Je coupe ma main chaque fois que j'utilise cet éplucheur de légumes.
GT: J'ai coupé ma main chaque fois que j'utilise cet éplucheur de légumes.
Bing: Je me suis coupé la main chaque fois que j'utilise cet éplucheur de légumes.
Systran: Je me suis coupé la main chaque fois que j'utilise ce peeler de légumes.
MS: Je me suis coupé la main chaque fois que j'utilise cet éplucheur de légumes.
Je me suis coupé la main chaque fois que j'utilise cet épluche-légumes.
DeepL: Je me coupé la main à chaque fois que j'utilise cet épluche-légumes. [Correct]
The telephone Pierre gave his sister works.
Fr: Le téléphone que Pierre a donné á sa souer fonctionne.
GT: Le téléphone que Pierre a donné á sa souer fonctionne. [Correct]
Bing: Le téléphone Pierre a donné á sa souer travaille.
Systran: Le téléphone Pierre a donné á sa souer.
Microsoft: Au téléphone que Pierre a donné á sa souer travaille.
Microsoft: Le téléphone Pierre a donné á sa souer travaille.
DeepL: Le téléphone Pierre a donné du travail á sa souer.
Note: If you change "Pierre" here to Sam, then most of the translators, naturally, give the same translation as before just changing the name, but DeepL, strangely, makes a different mistake: DeepL: Le téléphone Sam a donné á sa souer travaille.
Fr: Je mange un avocat.
En: I'm eating an avocado.
GT: I'm eating an avocado. [Correct]
Bing, DeepL: I'm eating a lawyer.
Systran: I eat a lawyer.
Microsoft: I'm eating a lawyer. I eat a lawyer.
Fr: L'amie de mon père mange son dîner.
En: My father's friend is eating her dinner.
GT, Systran: My father's friend eats his dinner.
Bing: My father's friend eats dinner [Correct].
Microsoft: My father's friend is eating his dinner. My father's friend eats dinner [Correct].
DeepL: My father's friend is eating his dinner.
This is the telephone that Bell used to call his assistant.
Fr: C'est le téléphone que Bell a utilisé pour appeler son assistant.
GT: C'est le téléphone que Bell utilisait pour appeler son assistant. [Correct]
Bing: C'est le téléphone que Bell avait l'habitude d'appeler son assistante.
Systran: Voici le téléphone que Bell appelait son assistant.
Microsoft: C'est le téléphone que Bell utilisé pour appeler son assistant. [Almost]
C'est le téléphone que Bell avait l'habitude d'appeler son assistante.
DeepL: C'est le téléphone que Bell appelait son assistant.