Tanaman yang tumbuh paling baik di taman batu kompak, menggumpal, dan tumbuh lambat. Tanaman taman batu tumbuh subur di tanah yang dikeringkan dengan baik, toleran kekeringan, dan mentolerir sinar matahari penuh hingga teduh parsial. Karena taman batu meniru kondisi yang ditemukan di pegunungan, tanah berbatu, tanaman yang ditemukan secara alami di daerah pegunungan tumbuh dengan baik di taman batu. Beberapa contoh termasuk sukulen, sedum, telinga domba, dan columbine.
Sebelum menanam taman batu, sebaiknya rencanakan lokasi dan kondisinya dengan cermat. Sebuah tegakan pohon dan semak asli dapat berfungsi sebagai sandaran tinggi ke taman batu dan menjaganya agar tidak terlihat buatan. Tanaman menghargai perlindungan dari angin tetapi masih membutuhkan sinar matahari. Menanam di bawah dedaunan lebat pohon dewasa sebaiknya dihindari.
Tanaman taman batu harus memiliki tinggi kurang dari satu kaki (sekitar 30 cm) dan kuat hingga -20º Fahrenheit (-29 Celcius). Geranium keras, edelweiss, dan phlox merayap adalah semua tanaman taman batu yang menyukai sinar matahari yang memberikan dedaunan dan bunga yang menarik pada waktu yang bervariasi sepanjang tahun. Thyme adalah ramuan yang dapat tumbuh di celah-celah dan celah-celah di taman batu, di daerah yang tidak ramah dan sinar matahari penuh di mana tanaman lain tidak akan tumbuh. Banyak varietas thyme akan mentolerir lalu lintas pejalan kaki yang ringan juga. Oregano adalah ramuan lain yang sedikit lebih tinggi dari thyme dan tumbuh dengan baik di lokasi berbatu, cerah, bertingkat.
Pilihan lain termasuk hosta, dengan daunnya yang besar, lebar, dan pakis, dengan daunnya yang tipis; keduanya dapat menambahkan tekstur yang bagus ke area yang teduh. Di daerah yang lebih cerah, sedum dan ayam betina dan anak ayam adalah dua tanaman taman batu yang tumbuh rendah yang menambahkan tekstur yang menarik juga. Succulents paling menarik bila dipasangkan dengan varietas tanaman yang lebih tinggi, seperti jumbai rumput bekas.
Kelompok tanaman yang memiliki ketinggian bervariasi dapat menambah daya tarik visual pada taman batu. Campuran tanaman rendah, gundukan dan rumpun tegak, ditanam di depan latar belakang semak rendah dapat menciptakan taman batu yang tampak alami. Spesimen tunggal harus digunakan dengan hemat. Di alam, tumbuhan biasanya muncul dalam kelompok dengan pengelompokan yang berdekatan memberikan tekstur dan warna yang kontras.
Popularitas taman batu awalnya tumbuh dari ketertarikan dengan tumbuhnya tanaman alpine di awal abad ke-20. Sebelum waktu ini, tanaman alpine tidak diketahui atau tidak tersedia di sebagian besar dunia. Ketersediaan mereka mengilhami banyak tukang kebun untuk mencoba menumbuhkan spesimen baru yang eksotis. Versi sederhana dari taman batu eksperimental abad ke-20 ini tetap populer karena bentuk alami taman menambah daya tarik taman modern. Taman batu juga menawarkan pilihan menarik untuk menangani area taman yang miring dan bertingkat.