1770年，英國科學家約瑟夫·普利斯特里說："我見到一種非常合適于擦去鉛筆筆跡的物質。" 當時，整個歐洲均采用切成小立方體的橡膠粒來擦走筆跡。這種物質稱為橡皮擦。

另一位英國工程師Edward Naime 則被認為是發明橡皮擦的人，時間也是在1770年。在此之前，人們使用面包屑來擦去筆跡。 Naime 稱他一次在無意之中拾起一塊橡膠當作面包屑，但發覺它的效果很好，于是開始生產和售賣橡皮擦。

初期的橡皮擦并不算方便，因為未經加工的橡膠容易腐壞。直至1839年，發明家 Charles Goodyear 發現了硫化可以使橡膠的質素提升，橡皮擦才變得可靠。

1858年一位來自美國費城的李普曼因為把橡皮擦嵌在鉛筆尾部而取得了一項專利，但后來這種附有橡皮擦的鉛筆因為被判定為「只是把兩項已有的東西嵌在一起而不是新產品」而被取消專利。