3500 ईसा पूर्व से 2500 ईसा पूर्व के बीच का काल प्राचीन सभ्यताओं के उदय का समय था, और इस अवधि में शिवलिंगों की पूजा के
प्रमाण भी मिलते हैं। इस समय के दौरान, सिंधु घाटी सभ्यता (इंडस वैली सिविलाइजेशन) का विकास हुआ, जो आधुनिक पाकिस्तान और उत्तर-पश्चिमी भारत में फैली हुई थी।
सिंधु घाटी सभ्यता के उत्खननों में मोहनजोदड़ो और हड़प्पा में शिवलिंग जैसे प्रतीकों और संरचनाओं के प्रमाण मिले हैं। पुरातत्वविदों ने यहाँ पर शिवलिंग के आकार की पत्थरों की संरचनाएँ खोजी हैं, जो यह संकेत देती हैं कि इस काल में भी शिवलिंग की पूजा की जाती थी। ये संरचनाएं 3500 ईसा पूर्व से 2500 ईसा पूर्व के बीच की मानी जाती हैं।
सिंधु घाटी सभ्यता में पाई गईं ये शिवलिंग आकृतियाँ इस बात की पुष्टि करती हैं कि शिवलिंग की पूजा का इतिहास अत्यंत प्राचीन है और यह प्राचीन सभ्यताओं के धार्मिक आस्थाओं का हिस्सा था। हालांकि, इनका सटीक धार्मिक संदर्भ और पूजा की विधियाँ स्पष्ट रूप से ज्ञात नहीं हैं, लेकिन यह निश्चित रूप से भारतीय उपमहाद्वीप की प्राचीन धार्मिक परंपराओं का संकेत देती हैं।