El tenis de mesa no tiene un origen claro y concreto. Parece ser que surgió casi por casualidad en algún club de tenis del Reino Unido, durante la década de 1870, en un día lluvioso en el que no se podía jugar en el exterior, entonces idearon una especie de tenis en miniatura, utilizando una mesa de billar.
En 1891, James Gibb utilizó una mesa de madera dividida por una red sujeta por unos pequeños postes y jugando a 21 puntos, utilizaba pelotas de goma; poco después, el propio Gibb encontró en Estados Unidos unas pelotas pequeñas de celuloide que tuvieron mucho éxito. James llamó a este juego «gossima» y Wiames Gibb sugirió el nombre de «pingpong» por el sonido que hacía la pelota al impactar con las raquetas y con la mesa. Sin embargo, este nombre se registró como marca comercial en Estados Unidos, por lo que, finalmente, se optó por la denominación actual de «tenis de mesa».
En 1901 se celebraron en Inglaterra los primeros torneos y se constituyó la Asociación Inglesa de Ping Pong, que cambió su denominación en 1927, por Asociación Inglesa de Tenis de Mesa. En 1922 este nuevo deporte ya se conocía en Suecia, Francia, Gales, Centro Europa, etc.
En 1926, en Londres, se constituyó la Federación Internacional de Tenis de Mesa (International Table Tennis Federation, ITTF), emprendiendo la tarea de organizar el primer Campeonato del Mundo, en el que participaron Hungría, Austria, Inglaterra, India, País de Gales, Checoslovaquia y Alemania. El primer vencedor fue el húngaro R. Jacobi. La participación femenina fue muy baja, pues se redujo a catorce jugadoras: 11 inglesas, 2 austríacas y 1 húngara.
En 1952, con la irrupción de los japoneses en este deporte y la incorporación de nuevas técnicas y materiales, empezó una nueva época de la historia del tenis de mesa. En la actualidad, China es quien domina el panorama mundial, seguida por Japón, Hungría, la República Checa, el Reino Unido, la República de Corea y Suecia.
El Comité Olímpico Internacional (COI) reconoció el tenis de mesa como deporte olímpico en 1977, aunque su debut oficial no tuvo lugar hasta 1988 en Seúl.
En España las distintas competiciones (superliga y campeonato de España) están organizadas por la Real Federación Española de Tenis de Mesa.
La mayoría de los clubes españoles han incorporado jugadores asiáticos, particularmente chinos; de hecho, el mejor jugador de la historia del tenis de mesa en España, es el nacionalizado He Zhi Wen (bautizado popularmente como «Juanito») de origen chino. En cuanto al equipo nacional, ocupa el puesto veinte del ranking mundial.