Le développement industriel de la manufacture et le succès de la première unité d’habitation (aile gauche du Palais et économats achevés en 1860) favorisent l’ouverture rapide d’une seconde campagne de travaux. Le pavillon central du Palais social et la nourricerie-pouponnat sont édifiés entre 1862 et 1866. Le nouveau bâtiment d’habitation, dont les dispositions sont identiques à celles de l’aile gauche primitive, est le plus vaste du Palais projeté en 1858 : il comprend près de 150 appartements ; sa cour intérieur couvre une superficie de 900 m². Une horloge et un belvédère, souvenir de la tour d’ordre du Phalanstère, dominent la façade sud sur la place qui prend alors forme. La construction est achevée en 1864. Les deux bâtiments du Palais social accueillent déjà 700 habitants en 1865 et près de 900 en 1974.

Un édifice de liaison permet la communication entre l’aile gauche et le pavillon central à tous les niveaux de la construction, des caves aux combles. La circulation continue et à couvert sur les coursives dans l’ensemble du Palais satisfait d’une façon originale et pragmatique l’une des exigences de l’architecture unitaire fouriériste. Les fonctionnalités de l’habitation collective sont soigneusement étudiées ; l’ingénierie de la construction, très développée, fait du Palais une étonnante machine à habiter. La modularité des espaces habités, l’aération de la cour et des appartements, la diffusion de la lumière naturelle ou artificielle dans toutes les parties de l’édifice, la rationalisation des réseaux, l’adduction en eau, l’évacuation des déchets, la sécurité ou le confort des personnes trouvent des solutions inventives et le plus souvent efficaces.

Une épicerie et une mercerie (également quincaillerie) occupent le rez-de-chaussée de l’aile sud du pavillon central. Ils sont complémentaires des magasins logés dans les économats et permettent aux habitants de s’approvisionner sans quitter le Palais. Le service médical et la pharmacie mutualistes du Palais social sont également installés dans une salle du rez-de-chaussée du pavillon central.

Le pavillon central remplit une fonction sociale particulière. Chaque jour, les enfants du Familistère sont rassemblés dans la cour intérieure avant d’être conduits aux écoles situées de l’autre côté de la place. La cour est aussi le théâtre principal des fêtes familistériennes - la fête de l’Enfance qui a lieu en septembre à partir de 1863 et la fête du Travail célébrée le premier dimanche de mai depuis 1867.

A l’extérieur comme à l’intérieur, l’architecture du pavillon central du Palais social a été peu altérée. La mosaïque de pavement de la cour intérieure est un décor ajouté après 1918 ; des tôles de plastique ont, après 1968, remplacé le verre de la couverture de la charpente originale en bois. L’entrée nord de la cour ouvre désormais sur le parc ; elle communiquait, jusque 1918 avec la nourricerie-pouponnat du Familistère. Cet accès est encadré par deux plaques de pierre noire enchâssées dans le mur de la cour. Elles portent deux maximes gravées : « Dieu nous soit en aide. 1859 » et « Hommes soyez-nous favorables. 1859 ». Ces plaques proviennent de la cour de l’aile gauche primitive du Palais incendiée en 1914, déplacées dans le pavillon central après 1918. Elles commémorent la fondation du Familistère en avril 1859. L’appel aux hommes et à Dieu (un dieu transcendant) exprime l’espoir et l’incertitude des futurs familistériens.