ถึงแม้จะเป็นปราสาทหินที่มีขนาดไม่ใหญ่เท่ากับปราสาทหินพิมายหรืออีกหลายแห่งที่พบทางอีสานตอนใต้แต่ก็นับเป็นปราสาทเขมรที่สมบูรณ์มากแห่งหนึ่ง ปราสาทเปือยน้อย หรือ ที่ชาวบ้านเรียกว่า พระธาตุกู่ทอง สร้าง ขึ้นในราวพุทธศตวรรษที่ 16-17 เป็นศิลปะผสมระหว่างศิลปะเขมรแบบบาปวนและแบบนครวัด สร้างขึ้นเพื่อใช้เป็นเทวสถานในศาสนาฮินดู แผนผังการก่อสร้างมีความหมายเป็นเขาพระสุเมรุซึ่งถือเป็นแกนจักรวาลอันเป็นที่สถิตย์ของเทพเจ้าที่เรียกว่า “ศาสนบรรพต” สิ่งก ่อสร้างภายในบริเวณปราสาทเป็นไปตามแบบแผนของศาสนสถานขอมโบราณ หน้าบันขององค์ปรางค์ประธานสลักเป็นพระยานาคราชมีลวดลายสวยงามมาก ทับหลังสลักเป็นรูปนารายณ์บรรทมสินธุ์ที่นับว่ายังอยู่ในสภาพที่สมบูรณ์ "โคปุระ" (ซุ้มประตู) อยู่ทางทิศตะวันออก และทิศตะว ันตก ด้านข้างโคปุระเจาะเป็นช่องหน้าต่าง "กำแพงแก้ว" มีฐานเป็นบัวคว่ำบัวหงาย มีการสลักศิลาแลงเป็นร่องแบบลาดบัว < br />