Jamu diklaim berasal dari zaman Kerajaan Mataram, sekitar 1300 tahun yang lalu. Lesung batu dan alu dengan lesung batu silinder panjang – jenis yang umum digunakan dalam pembuatan jamu tradisional saat ini, ditemukan di situs arkeologi Liyangan di lereng Gunung Sundoro, Jawa Tengah. Situs dan peninggalan itu berasal dari zaman kerajaan Medang Mataram sekitar abad ke 8 hingga 10, yang menunjukkan bahwa tradisi jamu sudah dipegang pada saat itu. Relief pada Borobudur menggambarkan gambar orang menggiling sesuatu dengan lesung dan alu batu, penjual minuman, dokter, dan pemijat yang merawat klien mereka. Semua adegan ini dapat ditafsirkan sebagai jamu tradisional dan perawatan yang berhubungan dengan kesehatan di Jawa kuno. Prasasti Madhawapura dari periode Majapahit menyebutkan profesi khusus pencampur ramuan dan penggabung (jamu), yang disebut Acaraki. Buku pengobatan dari Mataram yang berasal dari sekitar tahun 1700 berisi 3.000 entri resep jamu, sedangkan literatur klasik Jawa Serat Centhini (1814) menjelaskan beberapa resep ramuan jamu.

Meskipun sangat dipengaruhi oleh Ayurveda dari India, Indonesia adalah negara kepulauan yang luas dengan banyak tanaman asli yang tidak ditemukan di India, dan termasuk tanaman yang mirip dengan Australia di luar Garis Wallace. Jamu dapat bervariasi dari satu daerah ke daerah lainnya, dan seringkali tidak ditulis, terutama di daerah-daerah terpencil di negara ini.

Salah satu dokter Eropa pertama yang mempelajari jamu adalah Jacobus Bontius (Jacob de Bondt), yang adalah seorang dokter di Batavia (sekarang Jakarta) pada awal abad ketujuh belas. Tulisan-tulisannya berisi informasi tentang obat-obatan asli. Sebuah buku komprehensif tentang obat herbal asli di Hindia diterbitkan oleh Rumphius, yang bekerja di Ambon pada awal abad ke-18. Ia menerbitkan buku berjudul Herbaria Amboinesis (Buku Rempah Ambonese). Selama abad kesembilan belas, dokter-dokter Eropa tertarik pada jamu, karena mereka sering tidak tahu bagaimana mengobati penyakit yang mereka temui pada pasien mereka di Hindia. Dokter Jerman Carl Waitz menerbitkan jamu pada tahun 1829. Pada tahun 1880-an dan 1890-an, A.G. Vorderman menerbitkan akun yang luas tentang jamu juga. Penelitian farmakologis pada pengobatan herbal dilakukan oleh M. Greshoff dan W.G. Boorsma di laboratorium farmakologis di Kebun Raya Bogor.