Đền Gắm là ngôi đền cổ linh thiêng của xã Toàn Thắng, huyện Tiên Lãng, Hải Phòng, từ lâu đã được người dân địa phương và du khách gần xa biết đến. Đền nằm ở vị trí đắc địa, hòa quyện giữa cảnh sắc sông nước và bầu trời, với mặt hướng ra sông Văn Úc và lưng tựa vào vùng đất bờ đê, ruộng đồng, làng mạc, mang đến cảm giác che chở, bảo vệ cho cư dân nơi đây.
Ngôi đền được xây dựng vào thời vua Lý Cao Tông để nơi tôn thờ, tưởng niệm Thái phó Ngô Lý Tín - vị tướng lĩnh tài ba thời nhà Lý. Thái phó Ngô Lý Tín qua đời ở tuổi 64. Tương truyền rằng khi đất nước đã thanh bình, ông cùng một đoàn thuyền mang theo tướng sĩ và gia nhân trở về thăm lại trang Cẩm Khê xưa. Tuy nhiên, khi đi đến khúc sông Quán Trang - Văn Úc, đoàn thuyền gặp bão lớn, khiến thuyền bị chìm và ông cùng đoàn người đều tử nạn vào ngày 9/10 năm Canh Tuất 1190.
Thi hài của ông sau đó được sóng đưa dạt vào bãi sông trang Cẩm Khê, nơi ông từng mang gươm ra trận để chinh phạt giặc ngoại xâm và dẹp hải tặc. Người dân trong vùng, vì tiếc thương ông, đã đưa thi hài lên bãi và chôn cất tại khu đất mà ông từng dựng nhà dạy học (nay là hậu cung của đền Gắm), đồng thời lập đền thờ để tưởng nhớ công lao của vị tướng tài ba, anh dũng.
Theo quan niệm của người dân địa phương, chính những nét đặc biệt này đã tạo nên sự linh thiêng cho đền Gắm, khiến người dân trong vùng luôn tôn thờ và bảo vệ ngôi đền qua bao thế hệ.
Trải qua thời gian và nhiều lần trùng tu, đền vẫn giữ được nét kiến trúc cổ kính với kiểu dáng "tiền nhất hậu đinh", bao gồm 5 gian tiền đường, 3 gian tiền tế và 1 gian hậu cung. Các kèo gỗ được thiết kế theo kết cấu "thuận chồng, đốc thước", mái đền lợp ngói mũi hài, và các cửa được làm theo kiểu "cửa thùng khung khách". Một số hạng mục khác đã được phục dựng và xây mới, bao gồm nghi môn, nhà bia, nhà trưng bày, nhà đón khách và tường rào bao quanh, tạo nên không gian hoàn thiện và hài hòa cho khu đền.
Năm 1958, đền Gắm được người dân địa phương khôi phục và tôn tạo, giữ gìn cho đến ngày nay. Đến năm 1992, đền Gắm chính thức được công nhận là di tích lịch sử văn hóa cấp quốc gia. Trong những năm gần đây, lễ hội đền Gắm đã trở thành một sự kiện thu hút đông đảo người dân Hải Phòng và du khách thập phương đến thăm viếng.
Năm 2010, đền tiếp tục được Nhà nước đầu tư để trùng tu và mở rộng quy mô lên gần 2ha, nhưng vẫn bảo tồn nguyên vẹn nét kiến trúc cổ kính. Khuôn viên sân đền được mở rộng gấp 4 lần, phía trước có hồ bán nguyệt và đôi rồng phun nước tạo điểm nhấn. Đặc biệt, đền còn lưu giữ 4 viên gạch cổ từ thời Lý, được lát trước cửa đền, tượng trưng cho vai trò to lớn của danh tướng Ngô Lý Tín đối với triều đình nhà Lý.