ישיבת קדומים הוקמה בחנוכה ה’תשל”ו בעלייה של גרעין “אלון מורה” לסבסטיה, על ידי תלמידי הרב צבי יהודה קוק.

לאחר מכן, כאשר קיבל גרעין “אלון מורה” אישור לעלות לקרקע באזור מחנה קדום, הצטרפה הישיבה לעלייה.

ראש הישיבה הראשון בישיבת קדומים היה הרב נחום רכל, ולצידו כיהן הרב יוסי אנטמן כר”מ.

בסוף שנת ה’תשל”ח החל הרב יצחק בן שחר לשמש כראש הישיבה, ובראשה עמד למעלה מ-40 שנה, אל הרב יצחק בן שחר הצטרפו בהמשך רבנים נוספים מבוגרי ישיבת מרכז הרב.

בשנת ה’תשפ”ב ביקש הרב יצחק מהרב אורי גנץ לבוא לעמוד תחתיו בראשות הישיבה, וזאת להקל עליו קצת, על מנת שיוכל להמשיך למסור שיעורים ולהעביר את התורה לדורות הבאים בעז”ה. 

לאחר משכנה הראשון, הישיבה עברה למבנים משלה במעלה היישוב, ובאלול תשנ”ו עברה ישיבת קדומים לשכונת גבעת רש”י בקדומים, שם הוקמה שכונה סביב הישיבה.