甘溪是古时广州城区的重要水道。因为当时广州的珠江受到潮汐影响，水质呈咸苦，而甘溪却水质甘甜，因此得名。甘溪的上游（今小北路以北）又称菖蒲涧，下游则称文溪或越溪。其历来不仅给予广州城航运、灌溉之利，也是城内饮水、用水的重要来源。
甘溪发源于白云山东麓，流经蒲涧滴水岩、濂泉（今濂泉路北），向西南流经今广园路，南流至上塘、下塘，经越秀山东麓，然后分东西两支继续南流。东支流（主流）经今小北路、仓边路汇入珠江；西支流经今教育路、西湖路流入西湖，再汇入珠江。
在三国时期，陆胤主持疏浚了甘溪，并建塘储水，使甘溪水成为既可饮用，又能航行和灌溉农田，促进了当时的广州发展。唐朝会昌年间，时任广州节度使的卢钧继续疏浚甘溪，利于船只航行，又在两岸广植树木，使之成为踏青旅游的好地方。但在宋朝时，由于沙河的溯源侵蚀，上游菖蒲涧的水流改道流入沙河，下游逐渐淤塞。明朝成化三年（1467年），下游在今越秀北路西段被人工改道，流入东濠涌。
