ยังไม่สามารถหาหลักฐานในระยะก่อตั้งเริ่มแรกที่เป็นข้อมูลสรุปอย่างชัดเจนได้ เพียงแต่อาศัยการบอกเล่าของกลุ่มพ่อค้าชาวจีนรุ่นเก่าที่เล่าสืบมาว่าประมาณปี พ.ศ. 2488 กลุ่มพ่อค้าชาวจีนในจังหวัดอุดรธานี ได้อัญเชิญผงธูปที่เรียกกันว่า "ผงมงคล" หรือ "ผงอิทธิเจ"แห่งองค์เทพเจ้าปู่จากใต้ร่มไม้ใหญ่ทางทิศตะวันตกของจังหวัดอุดรธานี อันได้แก่เส้นทางที่มุ่งไปสู่อำเภอหนองบัวลำภู (ปัจจุบันเป็นที่ตั้งของจังหวัดหนองบัวลำภู) ซึ่งมีสถานภูมิประเทศที่อุดมสมบูรณ์ไปด้วยขุนเขา หนองน้ำ และต้นไม้ใหญ่นานาชนิด เป็นลักษณะพื้นที่ที่มีสิ่งศักดิ์สิทธิ์สถิตอยู่ ตามตำราโหราศาสตร์จีน จึงได้อัญเชิญมาประทับที่ศาลไม้เล็กๆ ใต้ต้นไม้ใหญ่ริมฝั่งหนองบัว ตำบลหนองบัว จังหวัดอุดรธานี ใกล้สถานีรถไฟ ปัจจุบันคือบริเวณศาลเจ้าปู่-ย่าที่มีความร่มรื่นอันเป็นสัญลักษณ์ของความสงบสุข บนเนื้อที่ประมาณ 9 ไร่ เบื้องหน้าศาลไม่มีสิ่งกีดขวางใดๆ เป็นสัญลักษณ์ความเจริญรุ่งเรืองของชีวิตชาวเมืองอุดรธานี

          เมื่อถึงเทศกาลสำคัญๆของพี่น้องชาวจีนในจังหวัดอุดรธานี การกราบไหว้สักการะสิ่งศักดิ์สิทธิ์ในจังหวัดอุดรธานีจะเป็นเรื่องปกติ จนกลายเป็นประเพณีประจำที่รู้จักกันโดยทั่วไปของหมู่พี่น้องชาวจีนในจังหวัดอุดรธานี โดยสถานที่ศักดิ์สิทธิ์ที่เป็นศูนย์กลางในการยึดเหนี่ยวจิตใจก็คือ "ศาลเจ้าปู่ย่า"จังหวัดอุดรธานีนั่นเอง ภายในบริเวณศาลเจ้าปู่ย่า จะประกอบด้วยสิ่งศักดิ์สิทธิ์ทั้งหมด 6 สิ่ง เวลาท่านไปกราบไหว้ต้องจุดธูปทั้งหมด 30 ดอก ถ้าเป็นไปได้ ก็เตรียมน้ำมันพืชไปสำหรับเติมในตะเกียง ตามความเชื่อที่ว่าเพื่อความสว่างไสวกับชีวิต ถ้าท่านไม่มีเวลาตระเตรีนมไป ท่านสามารถไปบูชาได้ที่ศาลเจ้าเลย ทางคณะกรรมการศาลเจ้าจะมีเตรียมไว้อยู่ตลอดเวลา