Земли вокруг Гороховца уже в 11 веке были заселены славянами. Первоначальное ядро города составлял детинец, находящийся на Никольской горе. Высота его земляных валов, которые сооружены в 12 веке, достигала пяти метров.
В 1239 г. Гороховец был сожжен монголо-татарами до конца, после чего жизнь в городе надолго замирает. В 15 веке Гороховец принадлежал нижегородскому, а далее московскому князю и числился центром волости.
Старая часть Гороховца В 1539 г. волость пережила набег казанских татар и была разграблена. Как говорится в легенде, когда враги осаждали Гороховец, над горой в лучах заходящего солнца возник образ огромного воина с мечом в руках. Враги в панике отступили, а место с той поры носит название Пужаловой горы. Это возвышенность, которая отделена от древнего детинца глубоким оврагом, сейчас на ней расположен городской парк.
В 17—18 веках здесь был сооружен Никольский монастырь. В его облике присутствует двухэтажный Троицкий собор (1681—1689).
После Февральской революции, когда с марта по июль по Владимирской губернии прошла волна рабочих демонстраций, на предприятиях Гороховца в июне явочным порядком был введен 8-часовой рабочий день. В июле 1917 года находящийся в городе пехотный полк отказался выехать на фронт — сказалась агитационная работа большевиков. В первые дни Октябрьской революции большевики во главе с К. А. Киселевым создали в городе Советскую власть.
В годы Великой Отечественной войны 17 тыс. гороховчан ушли на фронт, из них 39 человек приняли участие в героической обороне Брестской крепости. Одиннадцать человек получили в годы войны звание Героя Советского Союза, именем одного из них, А. В. Беседина, была названа улица города.