La ville avait la forme d'un triangle dont l'angle le plus aigu était occupé au nord par le château. La Canche traversait le milieu de la ville et on la franchissait par 3 ponts correspondant à 3 rues. Les rues de la ville n'étaient vraisemblablement pas pavées et les maisons étaient bâties pour la plupart en bois. A la place du Marché, la plus importante, aboutissaient 7 rues. On trouvait en outre la place de la Garenne et la place du marché aux bestiaux. Au XIII° siècle, il existait déjà 3 moulins dont 2 à moudre le blé et un dernier à faire le tan (écorce de chêne réduite en poudre pour le tannage des peaux). Les fortifications datant du X° siècle, consistaient en une ceinture de murailles, jalonnée de tours, et percée par 6 portes. Au moment de sa destruction, Hesdin était entourée d'un large et profond fossé sans eau, de l'enceinte et de ses douze tours entre lesquelles on voyait des courtines et des éperons saillants. La maçonnerie était en moellons de craie, en gros silex ou en briques, liés avec du mortier de chaux et de sable. Tout cela avait deux ou trois mètres d'épaisseur.
On estime que la population a pu se monter à 6000 habitants.
Un château existait déjà à Hesdin en 1067. De forme pentagonale et muni d'une tour à chaque angle, on y entrait par 2 portes, l'une d'elles précédée par un pont-levis. L'une de ces tours, la « vieze tour », avait 25 mètres de diamètre environ. Elle survécut à la destruction de 1553 et ne fut rasée qu'en 1659. La superficie du château devait être de 5 hectares environ. A l'intérieur, plusieurs cours sans doute pavées, 75 chambres et cabinets sans compter le logement de la garnison. Un préau central embrassait la basse-cour, la demeure du châtelain, une maison pour le secrétariat ducal et la grande chapelle. De l'aile orientale du château, les appartements du duc et de la duchesse donnaient sur une grande fontaine, un petit vivier et un jardin de roses appelé « le petit paradis ».
Dans l'aile septentrionale, un appartement pour les hôtes importants, consistant en une salle et une chambre appelées « aux écus » d'après leur décoration murale et une « chapelle de verre » aux grands vitraux de couleur, était relié à celui du duc par les « galeries d'esbatement ». Ces dernières comprenaient en fait deux galeries superposées, une petite chambre avec un miroir déformant et la salle des peintures de la Toison d'Or. Les galeries furent construites par le Comte Robert II, pour lequel un certain maître Guissin, ingénieur et sculpteur sur bois, inventa quelques engins en forme de visages ou de personnages entiers pour jeter de l'eau. Dans le courant du XIV° siècle, on y ajouta d'autres machines, y compris devant la petite salle la statue en bois d'un ermite qui parlait à ceux qui y entraient, par la voix d'un serviteur caché derrière le lambris.
Quand Philippe le Hardi hérita du château, il le fit complètement rénover, et confia les galeries à son peintre attitré, Melchior Broederlam d'Ypres. Le peintre s'installa à Hesdin de 1385 à 1392, pour surveiller les travaux, la réinstallation des « engiens », et pour décorer plusieurs pièces du château. Son travail principal était de peindre des histoires.
Les sujets demeurent inconnus dans les galeries. Dans la salle devant l'ermite, le thème de la Toison d'Or fut retenu. Cette salle carrée de 33 pieds de côté avait un plafond de bois taillé en 4 travées avec un ange polychrome pendant de chaque clef de voûte. 8 figures nues, représentant les dieux anciens, accrochés à la grande bosse centrale jetaient de l'eau et d'autres substances de la machine aux orages qui était installée dans le grenier. Les peintures se trouvaient sous les arcades des parois au-dessus d'un lambris peint pour simuler une tapisserie. A cette réalisation d'un château magique, les ducs ajoutèrent l'élément théâtral : dans leur salle de Jason, le visiteur se trouvait dans un théâtre complet d'architecture, de sculpture et de peinture, réunies pour lui inspirer le désir de partir en croisade.
Les faubourgs avaient pour nom :le faubourg de Saint-Georges avec le prieuré du même nom, le faubourg de Beaumont, le faubourg de la Puterie (le plus peuplé) et le faubourg de Saint-Quentin.
Hesdin était une ville commerçante et industrielle, organisée, du moins à l'origine sur le type de celle de Péronne. En effet, Philippe-Auguste attribua à Hesdin une charte de commune en 1192, créa un bailli comme juge royal (d'où le bailliage d'Hesdin dont ressortissaient environ 100 communes) et obtint que l'évêque de Thérouanne renonçât à ses droits féodaux sur ce fief.
Vers 1238, la ville obtint 2 foires franches par an. Le tissage de la laine était la principale activité industrielle, et la ville participait aux foires de Champagne et exportait à travers l'Europe occidentale et en particulier en Italie. Elle comptait sous Philippe le Bon 14 corporations et confréries, des moulins à tan, à taillants, des brasseries, des tanneries et mégisseries, des fabriques de drap et de soie, de verres peints, de carrelage, de faïences et céramiques, hautement appréciées dans toute la Flandre et la Bourgogne. En 1512, on y établit une imprimerie d'où sortit le premier livre édité en Artois : « L'Agrégatoire des coutumes ».
Les divers princes qui ont résidé à Hesdin ont tous été séduits par le charme des lieux. Les contemporains nous disent que les princes « se délectoient grandement de la bonté de l'air, scituation du lieu et fertilité du pays », tout en affirmant également que cette place forte servait de « froncq et de couverture au pays de Flandre et aultres Pays-Bas de sa Majesté ». En un mot, Hesdin est « la clef du dit pays » (1) Il est vrai qu'Hesdin paya cher tous ces charmes, puisqu'elle fut, on l'a vu, entièrement détruite.
(1) Archives du Nord, B/387/17307.Citations tirées des remontrances présentées en novembre 1544 par les 3 Etats d'Artois à sa « majesté impériale » pour qu'elle ne cède pas la place de Hesdin au roi de France.