Cây hương đá thường được đặt trong sân mỗi gia đình. Khi đến những thời điểm quan trọng như giao thừa hoặc cầu cúng, người ta thường sắp lễ vật để thắp hương và khấn.
Tại Việt Nam, ta thường bắt gặp những cây hương bên đường, trong gò đồi, ngõ xóm, gốc cổ thụ… Đây là những cây hương thờ ma quỷ hoặc những vị thần nhỏ lẻ chứ không phải thờ cúng trời đất. Theo tín ngưỡng dân gian, ở dưới những cây cổ thụ như đa, si, duối, hay ở núi đồi đều có thần cư ngụ nên người ta thường dựng cây hương đá để thờ.