הוא נחשב לאחד מבתי הכנסת הקטנים ביותר שהוקמו בקרקוב שבפולין. עם זאת, הוא בית הכנסת היחיד בעיר שעדיין פעיל עד עצם היום הזה.

בית הכנסת הרמ"א הוקם כבניין מעץ בשנת 1553. זמן מה שירת היטב את הקהילה היהודית, למרות שכלל כ-110 מושבים בלבד, אולם נחרב בשריפה שפרצה בעיר וכילתה בתים רבים ברובע היהודי.

בשנת 1557 הקים הרב ישראל איסרל, שהיה מקורבו של מלך פולין דאז, מבנה אבן על חורבות בית הכנסת. המבנה המחודש הוקם במטרה לשמש את ישיבת קרקוב שאותה ניהל בנו של איסרל - רבי משה איסרליש (הרמ"א). המבנה התאפיין בקירות מאבן סיד ובחלונות גדולים. עבודות הבנייה מומנו בכספי העיזבון של אשת הרב, מלכה איסרל, שנפטרה באותה שנה.

איסרליש היה אסטרונום ידוע בפולין, היסטוריון, פילוסוף וגדול הפוסקים האשכנזים בדורו. אחד מחיבוריו החשובים ביותר, אם לא החשוב מביניהם, הוא "המפה", שעיקרו תוספות והתאמות לספר שולחן ערוך על פי מנהגי יהדות אשכנז.

עם פריצתה של מלחמת העולם השנייה, רוכזו יהודי קרקוב בגטו שהוקם בעיר, ומשם הועברו למחנות השמדה שונים בפולין. הנאצים בזזו את בית הכנסת והפכו אותו למחסן לאמצעי לחימה.

למרות ההרס שזרעו הנאצים בבית הכנסת, מספר חפצים עתיקים השתמרו, ביניהם קופת הצדקה מהמאה ה-16 הנמצאת בסמוך לדלת הכניסה לאולם התפילה. גם ארון הקודש, שבו נשמרים ספרי התורה, הוא הארון המקורי שגולף בשנת 1553. בתום המלחמה ושחרור פולין החלו עבודות השיקום במקום, ובית הכנסת נפתח מחדש בשנות ה-50 של המאה הקודמת.

בחצר בית הכנסת נמצאת הכניסה לבית הקברות הרמ"א, שבו קבורים בכירי הקהילה היהודית של קרקוב במאות ה-16, ה-17 וה-18, ביניהם הרב איסרליש (הרמ"א), שנפטר בשנת 1572. קברו משמש כמוקד עלייה לרגל של יהודים מכל רחבי העולם.

בשנת 1968 ביקר בבית הכנסת הבישוף של קרקוב, ובשנת 1992 התפלל במקום נשיא מדינת ישראל דאז, חיים הרצוג ז"ל.

• כתובת: רחוב Szeroka מס' 40. שעות הפתיחה: מדי יום בין 09:00 ל-16:00. בימי שבת וחג - סגור. דמי כניסה: 5 זלוטי (2 זלוטי לילדים, סטודנטים ופנסיונרים). התשלום כולל כניסה גם לבית הקברות הסמוך.