Google Translate fails on simple sentences: Second collection, December 2016

Ernie Davis

Note: Systran is here.
Microsoft is here.

This collection should under no circumstances be taken as any kind of serious benchmark. Not only is it very small, but, as the title indicates, it was originally formed as a collection where Google Translate, specifically, failed; hence, it is inherently unfair to Google Translate. It is just an unsystematic collection of translation problems that seem like they should be easy, but trip up Google Translate and other machine translation programs as of fall 2016. I intend to check these intermittently to see what progress has been made. Microsoft Translate hedges its bets by producing two translations (sometimes the same).

Note: I don't actually speak French, so any corrections by people who do will received very gratefully.

  1. Fr: Nous sommes lundi. [It's an odd idiom.]
    En: Today is Monday.
    GT and Bing 12/15/16. We are Monday.
    Systran. 12/18/16. It is Monday [Correct]
    Microsoft Translate. 12/18/16. We are Monday. We're on Monday.

  2. En: The electrician who is talking on the telephone is working.
    Fr: L'électricien qui parle au téléphone travaille.
    GT, Bing, MS 12/15/16: L'électricien qui parle au téléphone fonctionne.
    Systran: L'électricien qui parle au téléphone travaille. [Correct]
    (Note: MS got this right on 11/16/16.)

  3. Fr: Elles
    Sp: Ellas
    GT, Bing, 12/15/16: Ellos.
    Systran 12/18/16: Ellas [Correct].
    MS Translate: Ellos. They [Sic].

  4. Fr. Il pense l'avoir aimer.
    En. He thinks he loved her.
    GT En. 12/18/16: He thinks he loves her.
    Bing En. 12/18/16. It thinks I have love.
    Systran 10/17/16. He thinks he loved her. [Correct]
    Microsoft Translate. 12/18/16. He thinks he likes him. It thinks I have love. [both wrong, as far as I know].

  5. Fr. Les clés sont à ma mère.
    En. The keys belong to my mother.
    GT, Systran, Bing, MS translate 12/18/16 The keys are to my mother.

  6. Fr. Mais ça n'a l'air très amusant.
    En. But it does not seem very amusing.
    GT 12/15/16/ But it does look very fun.
    Bing 12/18/16/ But it doesn't look very fun. [Correct].
    Systran 12/18/16. But it looks very funny.
    Microsoft Translate. 11/16/16 But it looks very fun. But it looks very amusing.

  7. Fr. Plus le visage est sérieux, plus le sourire est beau.
    En. The more serious the face, the more beautiful the smile.
    GT. 12/15/16 The more serious the face, the smile is beautiful.
    Bing. 12/18/16. More the face is serious, more of the smile is beautiful.
    Systran 12/18/16. The more serious the face, the more beautiful the smile. [Correct]
    Microsoft Translate 11/16/16. The more the face is serious, the more beautiful the smile. [Correct, though a little awkward.] More the face is serious, more of the smile is beautiful.

  8. En. Pierre's parents miss him.
    Fr. Pierre manque à ses parents. Alternatively: Il manque à les parents de Pierre.
    GT, Systran 12/15/16. Les parents de Pierre lui manquent.
    Bing Fr. 12/18/16. Les parents de pierre lui manquer.
    Systran 10/17/16 Les parents de Pierre lui manquent.
    Microsoft Translate. 12/18/16 Les parents de pierre lui manquent. Les parents de pierre lui manquer.

  9. En: They were pregnant.
    Fr: Elles étaient enceintes.
    GT, Systran 12/15/16. Ils étaient enceintes.
    Bing 12/18/16. Qu'elles étaient enceintes.
    Microsoft Translate. 11/16/16 Ils étaient enceintes. Qu'elles étaient enceintes.
    Thanks to Richard Socher.
    Similarly, all four programs translate "They" as "Ils" in "They have beautiful breasts" and "They all have healthy ovaries". (12/4/16).

  10. Fr. La copine de mon père mange son dîner.
    English. My father's girlfriend eats her dinner.
    GT, Bing 12/15/16. My father's girlfriend eats his dinner.
    Systran. 12/15/16. My father's girlfriend eats her dinner [Correct].
    Microsoft Translate. My father's girlfriend eats his dinner. My dad's girlfriend eats his dinner.

    If you change it to L'amie de mon père mange son dîner (My father's friend (f.) eats her dinner.), all four translators give "his dinner" including both solutions from Microsoft.

  11. En. Can you close the door, darling?
    Fr. Peux-tu fermer la porte, chéri?
    GT 12/17/16. Pouvez vous fermer la porte, chéri?
    Systran 12/18/16. Peux-tu fermer la porte, chéri? [Correct]
    Bing 12/18/16. Vous pouvez fermer la porte, chéri?
    MS 12/18/16. Vous pouvez fermer la porte, chéri?
    Tu peux fermer la porte, chéri? [Correct]

    If this seems unfair, note that if you turn the sentence around, "Darling, can you close the door", GT correctly give "Chéri, peux-tu fermer la porte?". So GT is capable of detecting the relation between the endearment and the familiar pronoun one way, but not the other.

  12. En. Marie said, "I will always be your friend."
    Fr. Marie a dit: «Je serai toujours votre amie».
    GT 12/17/16. Marie dit: «Je serai toujours votre ami.
    Sic. Not only is the gender on "amie" wrong but the close quote is strangely missing. If you incorrectly write in English
        Marie said "I will always be your friend".
    with the close quote first and then the period, GT gets the French punctuation right:
        Marie dit: «Je serai toujours votre ami».
    Systran 12/18/16. Marie a dit, "Je serais toujours ton ami."
    Bing 12/18/16. Marie a dit, «Je serai toujours votre ami.»
    MS 12/18/16. Marie a dit: «je serai toujours ton ami.» Marie a dit, «Je serai toujours votre ami.»

  13. En. The girls danced and later they sang a song.
    Fr. Les filles dansaient et plus tard elles chantaient une chanson.
    GT 12/17/16 . Les filles dansaient et plus tard ils chantaient une chanson.
    Systran 12/18/16. Les filles danced et plus tard elles sang une chanson.
    Bing 12/18/16. Les filles dansaient et plus tard elles a chanté une chanson. [Incorrect; a chanté should be ont chanté]
    MS 12/18/16. Les filles dansées et plus tard ils ont chanté une chanson. Les filles dansaient et plus, ils chantaient une chanson.

  14. En. Alex, who is my neighbor, is talking to her father.
    Fr. Alex, qui est ma voisine, parle à son père.
    GT. Systran, Bing, MS 12/17/16. Alex, qui est mon voisin, parle à son père.

  15. Fr. Alex, qui est ma voisine, parle à son père.
    En. Alex, who is my neighbor, is talking to her father.
    GT., Systran, 12/17/16. Alex, who is my neighbor, speaks to his father.
    Bing 12/18/16. Alex, who is my neighbor, talks to his father.
    MS 12/18/16. Alex, who's my neighbor, talks to his father. Alex, who is my neighbor, talks to his father.

  16. The woman talking to the bald guy is my neighbor.
    En. La femme qui parle au type chauve est ma voisine.
    GT 12/18/16. La femme qui parle au type chauve est mon voisin.
    Systran 12/18/16. La femme qui parle au mec chauve est mon voisin.
    Bing 12/18/16. La femme parle le gars chauve est mon voisin.
    MS 12/18/16. La femme parle le gars chauve est mon voisin. La femme qui parle au chauve est mon voisin.

  17. En. It got dropped on the floor and hasn't worked since.
    Fr. Il a été laissé tomber sur le sol et n'a pas fonctionné depuis.
    GT 12/17/16. Il est tombé sur le sol et n'a pas travaillé depuis.
    Systran, Bing, 12/18/16. Il est tombé sur le sol et n'a pas fonctionné depuis. [Correct]
    MS. 12/18/16 Il a été laissé tomber sur le sol et n'a pas fonctionné depuis. [Correct] Il est tombé sur le sol et n'a pas fonctionné depuis. [Correct]

  18. En. The girls in the class will all be eighteen next month.
    Fr. Les filles de la classe auront toutes dix-huit ans le mois prochain.
    GT 12/17/16. Les filles de la classe seront toutes dix-huit le mois prochain.
    Systran 12/17/16. Les filles de la classe seront tous dix-huit mois le mois prochain.
    Bingi 12/18/16: Les filles de la classe sera tous les dix-huit mois suivant.
    MSi 12/18/16: Les filles de la classe seront dix-huit mois prochain.
    Les filles de la classe sera tous les dix-huit mois suivant.

  19. En. I always tell them that they're ugly, so they hit me.
    Fr. Je leur dis toujours qu'ils sont laids, alors ils me frappent.
    GT, 12/18/16. Je leur dis toujours qu'ils sont laids, alors ils m'ont frappé.
    Systran 12/18/16. Je leur dis toujours qu'ils sont laids, donc ils m'ont frappé.
    Bing 12/18/16. Je leur dis toujours qu'ils sont moches, alors ils m'a frappé.
    MS 12/18/16. Je leur dis toujours qu'ils sont laids, alors ils m'ont frappé. Je leur dis toujours qu'ils sont moches, alors ils m'a frappé.

  20. En. The sheep that I saw last summer in Bordeaux all looked happy.
    Fr. Les moutons que j'ai vu l'été dernier à Bordeaux semblaient tous heureux.
    GT 12/18/16. Le mouton que j'ai vu l'été dernier à Bordeaux semblait heureux.
    Systran 12/18/16. Les moutons que j'ai vus l'été dernier à Bordeaux semblaient heureux. [Incorrect, I think: "vus" should be "vu"]
    Bing 12/18/16. Les moutons que j'ai vu l'été dernier à Bordeaux tous l'air heureux. [?? Not sure. Doesn't seem to have a main verb.]
    MS 12/18/16. Les moutons que j'ai vu l'été dernier à Bordeaux tous l'air heureux. Les moutons que j'ai vu l'été dernier à Bordeaux ont tous l'air heureux. [Correct?]