قرر وزير الشرطة الإسرائيلي بيكور شالوم شطريت في نهاية عام 1949 إنشاء سجن مركزي في الرملة يتمركز فيه جميع السجناء في دولة إسرائيل. يعد مبنى سجن أيالون واحدًا من 55 قلعة تيغارت التي تم استخدامها كمراكز للشرطة البريطانية وتم بناؤها خلال الحرب العالمية الثانية. تم افتتاح السجن رسميًا في عام 1954، بعد أن خضع لأعمال التجديد والبناء والتكيف مع المعايير الجديدة لخدمة السجون. وفي الأعوام 1961-1962، احتُجز النازي أدولف أيخمان في السجن وفي 31 مايو 1962 تم إعدامه فيه. وفي منتصف الثمانينات تم تغيير اسمه من سجن "الرملة" إلى اسمه الحالي - سجن "أيالون"، وهو الاسم الذي أطلق عليه نظراً لموقعه الجغرافي في قلب وادي أيالون. يوجد في سجن أيالون سجناء محكومون بمدد طويلة تتراوح بين 7 سنوات وحتى السجن مدى الحياة. 

يعتقل الاحتلال في هذا السجن الأسرى الفلسطينيين والجنائيين. يتم عزل الأسرى الفلسطينيين داخل هذا السجن ولطالما تعمدت سلطات الاحتلال التنكيل بالأسرى الفلسطينيين المعزولين في هذا السجن.