ولد حزب «التجمع اليمني للإصلاح» بعد تحقق الوحدة اليمنية عام 1990، بعدما كان موجوداً في السلطة وفي الشارع من دون إطار رسمي. خرج الحزب الإسلامي من رحم «المؤتمر الشعبي العام» الحاكم آنذاك، برئاسة الشيخ الأكبر نفوذاً في الوسط القبلي اليمني، عبدالله بن حسين الأحمر، الذي أسّس الحزب بمعية عدد من شخصيات «الإخوان المسلمين» وقادة ومشائخ السلفية الجهادية العائدة من أفغانستان.
في كتاب مذكراته، يقول الشيخ الأحمر إنه أنشأ الحزب بالتفاهم مع الرئيس السابق علي عبدالله صالح بغرض مواجهة الحزب الاشتراكي الذي كان يحكم اليمن الجنوبي قبل الوحدة، والذي بات شريكاً في الحكم. وكشف الأحمر أن ضرورة مواجهة «خطر» الحزب الاشتراكي القادم بثقافة شيوعية جديدة، جعلت النظام في الشمال «يفرّخ» حزباً يقابله أيديولوجياً. ثم جاءت أحداث حرب 1994، وما سبقها، بمثابة ترجمة عملية للحزب الذي تولى الحشد الشعبي والعقائدي والميليشيوي لمواجهة قيادات «الاشتراكي».