Nel dicembre 1980, mentre il gruppo è negli Stati Uniti, impegnato nell'ennesima estenuante maratona concertistica, Andy Partridge incomincia ad accusare una stanchezza emotiva e mentale che sfocerà ben presto in qualcosa di ben più visibile.
I segnali sono già presenti. La prima decisione presa per uscire da quello stato d'animo è di cercare di interrompere quella vita, visti anche i modesti rientri economici che il gruppo continua ad avere. Il prossimo disco, pensa Andy, senza tuttavia rendere gli altri partecipi dell'idea, almeno non ancora, non necessiterà dei concerti per essere promosso.
Intanto, ha iniziato a collaborare con vari musicisti, tra cui Ryuichy Sakamoto e i Residents ("Gente molto normale e piacevole che fa musica strana"), e, seguito da Colin, ha incominciato a buttare giù spunti e idee sul suo registratore portatile. "Ero annoiato dai tour, dalla chitarra elettrica, volevo sentire nuove trame e mi comprai una chitarra acustica. Scrivevo sulla acustica e non volevo ripensare i pezzi in chiave elettrica. Questa idea era in linea con l'ingresso di nuovi strumenti. Dave si comprò una chitarra a 12 corde, cosa che aveva sempre voluto fare dato che era un fan dei Byrds, Colin si era preso un basso fretless. In realtà ne aveva già avuto uno ai tempi degli Helium Kidz, ma la mossa all'epoca si era rivelata disastrosa, perché in alcuni concerti non vedeva bene dove metteva le dita e dovetti dipingergli i tasti sul manico. Volevamo che la musica si espandesse e crescesse, che avesse più sfumature. Volevo più synth e più strumenti acustici". I lavori veri e propri hanno inizio nell'estate del 1981, in una sala prove di Swindon, dove i quattro assemblano e provano i nuovi pezzi.
La Virgin, al momento di far entrare il gruppo al Manor per registrare, spinge per il coinvolgimento di due produttori di grido come Clive Langer e Alan Winstaley, responsabili del successo dei Madness.
Ma non sembra crearsi il necessario affiatamento e così, licenziato il duo, si preferisce ripiegare sul fidato Padgham. Se il nucleo della scrittura è fondamentalmente acustico, il maggiore spazio tra gli strumenti consente di muoversi in più direzioni.

Lo schema creativo funziona, tanto che ne uscirà un doppio. "Credo che fosse il primo dei nostri dischi "tecnici". Prima erano più monocromatici. White Music era bianco e nero, Go 2 era bianco e nero con un po' di grigio, Drums And Wires era nero e giallo, Black Sea rosso e grigio, o rosso e blu. English Settlement fu il primo in cui ci mettemmo a cercare altri colori: più verdi, più marroni. È il primo degli album colorati e credo sia 'Il migliore tra i nostri primi lavori". La teoria dei colori di Partridge si adatta perfettamente a un album policromo e ambizioso. Il chitarrista è contento dei risultati: è riuscito a incidere con i tempi dovuti, avendo la possibilità di dedicare la concentrazione necessaria a scrittura e arrangiamenti. Un disco complesso, che, visto il tono bucolico che lo contraddistingue, sembra meno adatto a una resa energica sui palchi. Uno dei brani, Senses Working Overtime, manda però all'aria i piani pantofolai di Andy, finendo inaspettatamente in classifica, per la prima e unica volta nella carriera degli XTC addirittura nei Top 10. La casa discografica, è iniziato intanto il 1982, è convinta che il fuoco del successo vada alimentato con un tour.
Tour che però si interrompe quasi immediatamente: durante le prime battute della data parigina, Partridge è vittima di un attacco di panico mentre il gruppo sta suonando Respectable Street. Saltano le date successive ma, credendo che il problema sia momentaneo, il manager convince il chitarrista a intraprendere una serie di date negli Usa. La carriera live degli XTC termina al Palladium di Los Angeles: Partridge non sale neppure sul palco, bloccato dall'ennesimo attacco, i concerti successivi cancellati. "Ciò che alla fine, al di là di un comprensibile stress per il genere di vita che facevo, mi provocò tutti questi guai fu la scelta avventata di "'smettere" di prendere il Valium. Ne ero stato dipendente dai tredici ai ventisei anni, e mi tirai fuori da questa droga senza sapere quali sarebbero state le conseguenze, che furono pesanti. Mi venne una sorta di esaurimento nervoso, avevo perdite di memoria, continue fobie, dolori psicosomatici. Era una pessima cosa la dipendenza dal Valium, ma fu altrettanto spiacevole smettere di botto dopo tanto tempo. Mi imposi di rimanere per un anno in astinenza, ma non funzionavo correttamente come persona, il che mi convinse che non dovevo più andare in tour. Volevo una vita normale, e starmene lontano da un management truffaldino che ci rubava i soldi, e dall'ininterrotto susseguirsi dei concerti. Volevo solo lavorare in studio e creare musica adulta di buona qualità, nel clima più adatto. Ma non me ne resi conto fino a quando non smisi col Valium e il mio mondo cadde a pezzi.

Fu davvero stupido da parte mia dire di sì alle date americane, perché le cose stavano peggiorando.
Ero molto ingenuo e non ero consapevole dì quello che sarebbe successo se avessi mollato le medicine.
Non sapevo cosa fossero gli attacchi di panico, quale fosse la causa delle amnesie, che cosa spingesse la mia vita in quella direzione. Pensavo semplicemente di stare impazzendo. Cercai di fermare il tutto appena possibile". Dice Moulding:
"Non avevo mai sentito commenti davvero negativi sui concerti da parte di Andy fino al 1982, quando il suo problema divenne evidente. Fino a quel punto mi era sembrato decisamente a suo agio, sembrava nato per esibirsi. In ogni caso credo che la sua riluttanza a suonare dal vivo in quel momento abbia spinto la band a fare dischi un po' più speciali, sfaccettati rispetto al passato. Alla fine diventammo pure più bravi a scrivere canzoni, sebbene avessimo finito per chiuderci un po' troppo in una dimensione di studio, questo era stato negativo. Dal mio punto di vista, andare in tour era un po' una incombenza, qualcosa che teneva lontano dalla famiglia, mentre Terry e Dave erano single e si godevano quel genere di vita. Era anche molto difficile scrivere quando eravamo in giro. Mettendo sulla bilancia tutti gli aspetti, credo che smettere abbia portato parecchi vantaggi" .
La notizia che il gruppo non si esibirà più dal vivo incrina i rapporti tra Partridge e Chambers. "A Terry piaceva girare il mondo, fare filmini, sbronzarsi. Ma non lavorava tutto il giorno come me che facevo interviste per stampa e tv, incontravo tecnici delle luci, firmavo i contratti... Lui prendeva la sua telecamera e andava a spasso, lavorava tutti i giorni un'ora e mezza, mentre io lo facevo dall'istante in cui mi svegliavo la mattina all'istante in cui posavo la testa sul cuscino. Non capiva perchè qualcuno gli volesse togliere la possibilità di andare in vacanza".
Il 1983 inizia all'insegna di una tranquillità conquistata a fatica, e il progetto di dedicarsi completamente alla composizione e allo studio prende finalmente forma, anche se le cose non sono così semplici come possono sembrare. "I pezzi di Mummer vennero scritti in un momento in cui i tour erano definitivamente fuori dalla mia testa, e in cui non sapevo quello che mi sarebbe successo. Mi ero trasferito nella casa dove vivo tuttora, stavo in giardino a strimpellare una chitarra acustica. Temevo che sarei impazzito, non capivo bene cosa mi fosse successo e speravo di non seguire le orme di Syd Barrett, anche se sapevo di non essermi fritto il cervello con gli acidi. Volevo continuare a lavorare in studio. Credo che la musica live sia qualcosa di adatto ai più giovani.

Improvvisamente desiderai restare nella mia sfera privata: una vita normale, una casa, dei bambini, lo studio, luogo in cui dare sfogo alla propria creatività, e credevo che il palco non lo permettesse.
Sul palco mi pareva di essere una scimmia ammaestrata sull'organetto, messa lì per divertire il pubblico, non mi sentivo a mio agio e continuo a pensarla così. Volevo avere uno spazio tranquillo in cui poter creare musica dagli standard sempre migliori". La nuova situazione che si è creata, e che ha portato a un nuovo approccio e un nuovo modus operandi, viene metabolizzata senza scossoni da Moulding, che si mette a lavorare al nuovo album, la cui produzione viene affidata, non senza azzardo, a Steve Nye, noto per aver lavorato con i Japan. "Credo che English Settlement e Mummer siano legati in qualche modo da strumentazione e stile. Nessuna prova o soundcheck ad alto volume, solo due autori che strimpellano canzoni di fronte ai loro registratori a bobine. Facemmo a meno di spiegare le canzoni al resto del gruppo in una situazione da sala prove, e ci mettemmo a distribuire cassette con su tutte le idee che ci venivano.
E quindi la chitarra acustica era lo strumento che veniva naturale scegliere con questa modalità, non c'era un disegno preciso. Alcune restavano canzoni acustiche, altrove si aggiungeva un piano, ma in generale i suoni si fecero più tranquilli. Lo stile più meditativo e pensieroso sembrava adattarsi all'attitudine di Steve Nye, anche se sapevamo che i pezzi più rumorosi avrebbero potuto soffrirne. Nye era un buon ingegnere del suono, ma in quanto alle sue doti di produttore preferisco non pronunciarmi". Non sono session tranquille, quelle con Nye, che si rivela subito poco adatto ad interpretare le idee del trio. Sì, siamo rimasti a tre: Terry Chambers non è riuscito ad abbracciare il nuovo corso. Suonare in una band da studio non fa per lui, e ha abbandonato tutti per raggiungere la fidanzata in Australia, nel bel mezzo delle registrazioni, che verranno completate dal più malleabile Pete Phipps, già batterista di Gary Glitter. Anche la Virgin, però, non è convinta dalla scelta di Nye. In un primo momento respinge addirittura il disco. Il motivo? Manca il singolo. Partridge scrive prontamente Great Fire che, nonostante la bontà del pezzo, ironia della sorte, non sfiorerà neppure le classifiche. Discontinuo, certamente, ma anche ricco di trovate, Mummer verrà considerato da più parti un mezzo passo falso.

La popolarità è comunque in calo, anche presso i discografici. Il trio, tuttavia, si mette subito al lavoro su nuove canzoni (non prima di aver pubblicato, per il Natale del 1983, un divertente singolo natalizio a nome The Three Wise Men, Thanks For Christmas), con un nuovo produttore, David Lord, con il quale Partridge ha già lavorato su A Naked Shakespeare di Peter Blegvad. "Intorno all'epoca di The Big Express, credo che la Virgin sia stata sul punto di scindere il nostro contratto, poiché da tempo non avevamo un hit e le vendite erano in calo. La situazione iniziava a farsi disperata. Tanto per cominciare, rifiutarono Mummer e Andy se ne uscì con Great Fire, ultimo tentativo di compiacerli.
Il risultato fu che non riuscì neppure ad entrare in classifica e, ironicamente, vendette meno della selezione di singoli tratti dall'album, una volta deciso di pubblicarlo. David Lord fu un buon ingaggio e ci diede un sacco di suggerimenti per gli arrangiamenti delle canzoni, anche se a me sembrava che molti dei brani non fossero semplicemente al passo con quello che stava accadendo in Gran Bretagna in quel momento". The Big Express il disco più swindonano, a partire dalla scelta del titolo, un riferimento alla Great Western Railway a cui viene abbinata in copertina l'immagine della ruota di un locomotore (che si trova all'interno del museo ferroviario di Swindon) e all'interno del booklet una foto dei tre vestiti da macchinisti e sporchi di carbone, con titoli come Train Running Low On Soul Coal e The Everyday Story Of Smalltown in scaletta. Moulding è forse troppo severo nei confronti di un disco che, a dispetto di un produttore tradizionalista e classico, uno che aveva snobbato i Beatles pensando che non fossero musicisti seri, rifiutando di registrare gli archi di She's Leaving Home, fa largo uso di sintetizzatori e introduce con una certa insistenza la batteria elettronica, una Linn Drum che si divide gli spazi con il già collaudato Pete Phipps. Certo, si tratta di un album a tratti un po' pomposo (una chiave che però funziona benissimo nella corale All You Pretty Girls) e, secondo il gruppo, un po' datato proprio a causa del suono della batteria elettronica, ma anche caratterizzato da una strana, futuribile atmosfera vittoriana. Non c'è nulla di imminente che faccia pensare a una risalita delle quotazioni, comunque: solo l'idea estemporanea, aiutata dal caso, di un omaggio alla psichedelica storica attraverso la creazione di un gruppo fittizio, i Dukes Of Stratosphear (vicenda approfondita nel box apposito). Ad attendere i Nostri dietro l'angolo, tuttavia, c'è quello che Partridge definirà "un giorno d'estate cucinato all'interno di un dolce".