Google Translate fails on simple sentences

Ernie Davis

Note: Google Translate is here.
Systran is here.
Bing is here.
DeepL is here

This collection should under no circumstances be taken as any kind of serious benchmark. Not only is it very small, but, as the title indicates, it was originally formed in 2016 as a collection where Google Translate, specifically, failed; hence, those versions of this page were inherently unfair to Google Translate. In this latest pass, I have particularly aimed at DeepL, which is the acknowledged leader of the pack for the languages it covers; hence, it is systematically unfair to DeepL. It is just an unsystematic collection of translation problems that seem like they should be easy, but trip up Google Translate, DeepL, and the other translation programs, during the time period I have been doing this. I check these intermittently to see what progress has been made, and update the page accordingly. As you can see by comparing with the earlier versions, the state of the art has improved steadily, but there are still plenty of "easy" sentences that trip up the best publicly available systems.

Earlier versions:
September - December 2016
December 2016
May 2017
August 2018
March 2019
June 2018
December 2019
April 2020
December 2020

Note: I don't actually speak French, so I am grateful to Pascal Amsili for his corrections on a number of items.

Updated 12/26/2020

Some general comments on this pass:

Examples

  1. The mechanic who we called to fix the clock doesn't work any longer, unfortunately.
    Fr: Le mécanicien que nous avons appelé pour réparer l'horloge ne travaille plus, malheureusement.
    DeepL: Le mécanicien que nous avons appelé pour réparer l'horloge ne travaille plus, malheureusement. [Correct]
    GT, Systran, Bing: Le mécanicien que nous avons appelé pour réparer l'horloge ne fonctionne plus, malheureusement

    The point here is that "works" in English can mean either "labors" or "functions correctly". Many other languages have separate words for these. As of 12/23/2020 Bing and Systran use the word for "functions correctly" in translating into French. The programs have certainly improved over time in making this distinction (see the previous versions of this page) but can still be fooled.

    GT, Systran, and Bing make the corresponding error in translating it into in Spanish, Italian, and German. DeepL gets it right in all four languages. However if you modify the sentence to be "The mechanic who I called to fix the washing machine that is in my basement doesn't work any longer." then DeepL gets it wrong in all four languages.

  2. En: The dishwasher I got from the plumber works.
    Ge: Der Geschirrspüler, den ich vom Klempner bekommen habe, funktioniert. GT: Die Spülmaschine habe ich vom Klempnerwerk bekommen.
    Bing: Die Spülmaschine, die ich vom Klempnerwerk bekommen habe.
    Systran: Die Spülmaschine, die ich vom Klempner bekam, funktioniert. [Correct]
    DeepL: Der Geschirrspüler, den ich vom Klempner bekommen habe, funktioniert. [Correct]

  3. Fr: Je ne peux pas nager.
    En: I can't swim.
    GT: I can not swim. [A small mistake, but an odd one for so simple a sentence]
    Bing, Systran, DeepL: I can't swim. [Correct]

  4. Fr: Elles
    Sp: Ellas
    GT, Systran: Ellas [Correct]
    Bing, DeepL: Ellos. DeepL offers as alternatives "En", and "Se puede consultar en" neither of which is at all right.

  5. En: Pierre called to Julia and her sister but they didn't hear him.
    Fr: Pierre a appelé Julia et sa soeur mais elles ne l'ont pas entendu.
    GT: Pierre appela Julia et sa sœur mais ils ne l'entendirent pas.
    Systran, Bing: Pierre a appelé Julia et sa soeur mais ils ne l'ont pas entendu.
    DeepL: Pierre a appelé Julia et sa soeur mais elles ne l'ont pas entendu. [Correct]

    With a more complex similar example, all four programs get it wrong.
    En: Pierre pointed to Jacques, and Marie and her sister shouted to him, but they weren't loud enough.
    Fr: Pierre a pointé du doigt Jacques, et Marie et sa sœur ont crié vers lui, mais elles n'étaient pas assez bruyantes.
    GT: Pierre désigna Jacques, et Marie et sa sœur lui crièrent, mais ils n'étaient pas assez forts.
    Systran, Bing: Pierre montra Jacques du doigt, et Marie et sa soeur lui crièrent, mais ils n'étaient pas assez bruyants.
    DeepL: Pierre a pointé du doigt Jacques, et Marie et sa sœur ont crié vers lui, mais ils n'étaient pas assez forts.

  6. En. Pierre's parents miss him.
    Fr. Pierre manque à ses parents.
    GT. Les parents de Pierre lui manquent.
    Bing Systran, DeepL: Il manque aux parents de Pierre. [OK]

  7. En. They gave birth.
    Fr. Elles ont acouché.
    GT, Bing. Ils ont accouché.
    DeepL. Ils ont donné naissance.
    Systran. Elles ont acouché. [Correct]
    Contributed by Francois Charton, 3/14/21.

  8. En. They went to a school for girls.
    Fr. Elles sont allées dans une école pour filles.
    GT, Bing. Ils sont allés dans une école pour filles.
    Systran, DeepL. Elles sont allées dans une école pour filles. (Correct)
    . Contributed by Francois Charton, 3/14/21.

  9. En. The dog that I gave to my sister is pregnant.
    Fr: La chienne que j'ai donné à ma soeur est enceinte.
    GT, Bing: La chienne que j'ai donné à ma soeur est enceinte. [Correct].
    Systran, DeepL: Le chien que j'ai donné à ma soeur est enceinte.
    Adapted from a suggestion of Richard Socher.

  10. En. Pierre's sister said, "I am your neighbor."
    Fr: La soeur de Pierre a dit : "Je suis votre voisine."
    DeepL: La soeur de Pierre a dit : "Je suis ton voisin."
    GT, Systran, Bing: La soeur de Pierre a dit : "Je suis ta voisine." [Correct]

  11. En. Pierre said to his wife, "You are intelligent."
    Fr. Pierre dit à sa femme : "Tu es intelligente".
    GT, Systran. Pierre dit à sa femme : "Tu es intelligent".
    Bing, DeepL. Pierre dit à sa femme : "Tu es intelligente". [Correct]

  12. En. Pierre met his neighbor at the gym and she sent regards to his father.
    Fr. Pierre a rencontré sa voisine au gymnase et elle a envoyé ses salutations à son père.
    GT: Pierre a rencontré sa voisine au gymnase et elle a envoyé des salutations à son père. [Correct]
    Systran: Pierre a rencontré son voisin à la salle de gym et elle a envoyé des salutations à son père.
    Bing: Pierre a rencontré son voisin au gymnase et elle a envoyé des salutations à son père.
    DeepL: Pierre a rencontré sa voisine au gymnase et elle a envoyé des salutations à son père. [Correct]

  13. En. My neighbor is a woman.
    Fr. Ma voisine est une femme.
    GT, Systran, Bing: Ma voisine est une femme. [Correct].
    DeepL : Mon voisin est une femme. (DeepL got this right in June 2019, but not in December 2019 through December 2020.)

  14. En: I always tell my brothers that they fell on their head when they were babies, so they hit me.
    Fr: Je dis toujours à mes frères qu'ils sont tombés sur la tête quand ils étaient bébés, alors ils me frappent.
    GT, Systran, Bing, DeepL: Je dis toujours à mes frères qu'ils sont tombés sur la tête quand ils étaient bébés, alors ils m'ont frappé.

  15. Fr. Je suis allé à l'épicerie et j'ai choisi un avocat.
    En. I went to the grocery store, and I picked out an avocado.
    GT, Bing: I went to the grocery store and chose a lawyer.
    Systran: I went to the grocery store and picked a lawyer.
    DeepL. I went to the grocery store, and chose an avocado. [Correct]
    Thanks to Houda Bouamor for the suggestion.

  16. En: The soup is hot because it contains jalapenos.
    Sp: La sopa está picante porque contiene jalapeños.
    GT, Systran, Bing: La sopa está caliente porque contiene jalapeños. (i.e. hot in temperature)
    DeepL: La sopa está picante porque contiene jalapeños. [Correct]
    (Contributed by Robert Krovetz).

  17. En: The florist says that Sam often comes into her shop but he never buys her flowers.
    Fr: Le fleuriste dit que Sam vient souvent dans son magasin mais qu'il n'achète jamais ses fleurs.
    GT, Bing, DeepL: Le fleuriste dit que Sam vient souvent dans sa boutique mais qu'il ne lui achète jamais de fleurs.
    Systran: Le fleuriste dit que Sam vient souvent dans son magasin mais qu'il n'achète jamais ses fleurs. [Correct]

    Adapted from a cartoon pointed out by Christina Behme, which goes the other way:

    Marriage counsellor: Your wife says you never buy her flowers.
    Clueless husband: To be honest, I never knew she sold flowers.
    --- from "Sad and Useless Humor".

  18. Ger: Johann bekam zwei Beagles im Tierheim, aber sie griffen seine Tochter an, also brachte er sie zurück.
    En: Johann got two beagles at the pound, but they attacked his daughter, so he brought them back.
    GT, Systran, Bing: Johann got two beagles at the shelter, but they attacked his daughter, so he brought her back.
    Bing: John got two beagles in the shelter, but they attacked his daughter, so he brought her back.
    DeepL: Johann got two beagles at the pound, but they attacked his daughter, so he brought them back. [Correct]

  19. En: The workers at the canning factory wash fish.
    Fr: Les ouvriers de la conserverie lavent les poissons.
    GT, Systran, Bing, DeepL: Les ouvriers de la conserverie lavent le poisson.
    In 12/20, DeepL got this right, but as of 7/21 DeepL gets it wrong.

Machine translation fails from Chinese found by Yuling Gu, June 20, 2018.