Pour sa part, Arthur Koestler est partisan de cette République de Weimar. Il est antibelliciste et antimilitariste, croit au progrès social, au droit des peuples à disposer d’eux-mêmes et à la libération des populations coloniales. Mais il pense par ailleurs qu’il est urgent de résister aux nazis, et le moyen le plus efficace est probablement l’adhésion au Parti communiste. Koestler se met "à lire sérieusement pour la première fois Marx, Engels et Lénine(4)". Dans Le Dieu des ténèbres, il explique son attirance pour leurs thèses et comment il va en arriver à adhérer au Parti.

"Avec Feuerbach et L’Etat et la Révolution, écrit Koestler, je sentis un déclic dans mon cerveau et fus secoué comme par une explosion mentale. En disant que l’on a "vu la lumière", l’on ne rend compte que bien faiblement du ravissement spirituel du converti. La lumière nouvelle semble converger sur le cerveau de tous les points de l’espace ; l’univers entier ressemble alors aux pièces éparses d’un puzzle, qui se trouveraient rassemblées d’un coup comme par magie. Désormais plus de problèmes sans réponse ; les doutes et les débats font partie d’un passé de déchirements, de l’époque déjà lointaine où l’on vivait dans la triste ignorance et l’univers insipide de ceux qui ne savent pas. Désormais, plus rien ne saurait troubler la paix intérieure et la sérénité du converti, sauf, de temps à autre, la peur de perdre cette foi qui seule rend la vie digne d’être vécue, et de retomber dans les ténèbres extérieures, avec leurs lamentations et leurs grincements de dents(5)".

Le 31 décembre 1931, Arthur Koestler demande à être inscrit au Parti communiste allemand (KPD). Pour ce faire, il envoie une lettre au comité central du KPD, en y résumant son curriculum vitae. Il est contacté environ une semaine plus tard par Ernst Schneller, chef de la section Agit. Prop. du Parti. A ce moment-là, Koestler a une nouvelle idée en tête : après avoir souhaité bêcher la terre dans un kibboutz en Palestine, il veut maintenant conduire un tracteur en Union soviétique et s’intégrer à la masse des travailleurs. Mais le Parti lui fait comprendre qu’aller conduire des tracteurs en Union soviétique est peu réaliste et qu’il serait plus utile au Parti en restant journaliste pour la presse libérale Ullstein. A ce poste, il pourrait procurer de précieux renseignements. Il est donc décidé que son adhésion demeurerait secrète. Il est déçu, lui qui voulait connaître l’activité militante dans les cellules et s’insérer dans un groupe.

Koestler fait donc régulièrement des rapports sur son travail. Depuis septembre 1931, il a obtenu le poste de rédacteur de politique étrangère pour le quotidien du midi de la presse Ullstein, ce qui lui permet d’avoir accès à des informations très intéressantes pour le Parti. Cette activité de renseignement ne va pourtant pas durer. Au journal, Koestler endoctrine son assistant, un jeune homme de 21 ans, fils d’un ancien ambassadeur d’Allemagne, ce qui lui permet d’enrichir encore ses sources d’information. Malheureusement, le jeune homme est un jour pris de remords ; il écrit une lettre-confession destinée à la rédaction du journal et menace de se tuer si Koestler ne donne pas son consentement pour la lettre. Koestler pourrait certainement discuter et probablement dédramatiser ce scandale qui lui coûtera son poste, mais il laisse faire. L’activité de renseignement pour le Parti s’arrête avec le départ de Koestler du groupe Ullstein. Koestler s’en réjouira plus tard, affirmant qu’il serait sinon devenu probablement un apparatchik.

Arthur Koestler change de quartier et va habiter dans ce que l’on appelle le Bloc Rouge, un lieu qui abrite des artistes et des écrivains désargentés et révolutionnaires. Il vit alors une période de rêve car il peut enfin rejoindre une cellule de quartier ; c’est ce qu’il voulait en adhérant au Parti, mais qu’il ne pouvait réaliser en raison de son activité de renseignement. Il s’adonne alors aux activités militantes ; il participe aux campagnes électorales, notamment en faisant du porte à porte : "Nous sonnions à la porte, gardions du pied la porte entrebâillée et proposions nos brochures, plus une belle discussion politique improvisée. En somme, nous placions la Révolution mondiale comme des vendeurs d’aspirateurs(6)". Par ailleurs, la petite Fiat rouge(7) qu’il possède lui est parfois empruntée pour aller tirer sur des bistros où se réunissent des nazis, "suivant la plus pure tradition de Chicago(8)".

Au sein de la cellule, Koestler remarque que les intellectuels d’origine bourgeoise sont acceptés au Parti par faveur et non de plein droit. Ils ne sont que tolérés et n’inspirent guère confiance. "Un intellectuel, écrit Koestler, ne pouvait jamais devenir un véritable prolétaire, mais son devoir était de s’en rapprocher autant que possible. Certains tentaient d’y parvenir en renonçant aux cravates, en portant des chandails de polo et en gardant les ongles noirs(9)". Koestler a également du mal, lui qui est journaliste, à accepter le vocabulaire et la littérature du Parti : "Après une causerie à la cellule, au cours de laquelle j’avais à plusieurs reprises employé le mot "spontané", un camarade bien intentionné m’avertit que je ferais bien de l’éviter à l’avenir, parce que les "manifestations spontanées de l’esprit révolutionnaire" appartenaient à la théorie trotskyste de la "Révolution permanente"(10)".

Première étape : Kharkov, capitale de l’Ukraine. Il reste plusieurs semaines chez Alexandre Weissberg et sa femme. Il a connu à Berlin ce physicien de grande renommée, communiste convaincu, qui a émigré en Ukraine pour y développer les sciences et l’industrie. Les Weissberg seront par la suite des martyrs des purges staliniennes auxquelles ils réchapperont finalement. Alexandre Weissberg rapporte ainsi les premières impressions d’Arthur Koestler sur la vie en Union soviétique : "Ce qui m’irrite le plus, ce sont les mensonges de la presse. On a trouvé des mots pour dissimuler une effroyable réalité. On parle de "difficultés dans la fourniture du courant". Pourquoi ne pas dire tout simplement : "A Kharkov, en hiver, la lumière ne marche que pendant deux heures, vers midi le plus souvent". On parle de "difficultés de ravitaillement". On ferait mieux de dire : "Les gens de la campagne n’ont rien à bouffer depuis trois mois et meurent comme des mouches". Je crois que nous nous trouvons devant la plus grande famine de l’histoire mondiale. Et des menteurs parlent de "difficultés de ravitaillement"...(11)"

Arthur Koestler est effectivement témoin des ravages de la famine, une famine qui dépeuple des régions entières. Il est aussi frappé par la fouille obsessionnelle des douaniers, par les campements installés dans les stations de chemin de fer, par l’absence de téléphone, d’électricité et de moyens de transport. Bref, il est abasourdi par la pénurie généralisée. Dans un premier temps, il ne comprend pas la conspiration du silence. Comment se fait-il que rien de tout ceci ne se sache hors d’Union soviétique ? Mais très vite, la foi dans le communisme va reprendre le dessus : "J’étais étonné, éberlué, mais les pare-chocs élastiques que je devais à l’éducation du Parti se mirent aussitôt à opérer. J’avais des yeux pour voir, et un esprit conditionné pour éliminer ce qu’ils voyaient. Cette "censure intérieure" est plus sûre et efficace que n’importe quelle censure officielle(12)".

En effet, progressivement, Koestler en arrive à justifier ce dont il est témoin ; il essaie de se persuader : "Le niveau de vie était bas, mais il l’avait été davantage encore sous les tsars. Les classes ouvrières vivaient mieux dans les pays capitalistes qu’en Union soviétique, mais c’était là une comparaison statique, car ici, le niveau ne cessait de monter, et là, de descendre. A la fin du second Plan quinquennal, les deux mondes seraient au même niveau ; jusqu’à ce moment, les comparaisons ne pouvaient qu’égarer les esprits et affaiblir le moral soviétique. Aussi n’acceptai-je pas seulement le caractère inévitable de la famine, mais aussi la nécessité d’interdire les voyages à l’étranger, les livres et journaux étrangers, et de propager une grotesque caricature de la vie dans le monde capitaliste(13)".

Koestler continue son périple ; il se rend à Gorki, à Moscou, au barrage du Dniepr, à Erivan, la capitale de l’Arménie. A l’automne 1932, il va dans le Caucase. Il découvre Tiflis, la Géorgie, le mont Ararat et Bakou, la capitale de l’Azerbaïdjan. Puis il traverse la Caspienne de Bakou à Krasnovodsk, dans le Turkestan, où il assiste à un procès de travailleurs d’un kolkhoze ; il va ensuite à Achkhabad, la capitale du Turkménistan, passe en Ouzbékistan et visite Bokhara, Samarkand et Tachkent. Il rentre ensuite à Moscou par le Kazakhstan, puis revient à Kharkov. Koestler fait ses trajets par chemin de fer, bateau à vapeur, automobile et à cheval. Pour vivre, il n’a pas vraiment de problème d’argent. Il explique le phénomène dans Le Dieu des Ténèbres.

"Lorsque j’arrivais dans une capitale de province, Tiflis par exemple, je me rendais à la Fédération locale des écrivains, à qui je montrais la lettre du Komintern. Aussitôt, le secrétaire de la Fédération organisait les banquets et les réunions habituels avec les chefs politiques et les membres de l’intelligentsia de la ville, désignait quelqu’un pour s’occuper de moi et me mettait en contact avec le directeur de la revue littéraire locale, ainsi qu’avec le directeur du Trust des Publications d’Etat – en l’espèce, le Trust de la République soviétique de Géorgie. Le directeur de la revue déclarait que ç’avait été son plus cher désir, depuis des années, de publier un texte de moi. Je lui remettais la copie d’une nouvelle publiée naguère en Allemagne ; le jour même, un chèque de 2 000 ou 3 000 roubles m’était adressé à l’hôtel. Le directeur du Trust des Publications d’Etat me demandait le privilège de publier une traduction en géorgien du livre que j’allais écrire ; je signais un contrat imprimé et recevais un autre chèque de 3 000 à 4 000 roubles. (A cette époque, le salaire moyen d’un travailleur était de 130 roubles par mois.) C’est ainsi que je vendis la même nouvelle à huit ou dix revues littéraires différentes, de Léningrad à Tachkent, et que je cédai les droits pour le russe, l’allemand, l’ukrainien, le géorgien et l’arménien d’un livre qui n’était pas écrit, moyennant des avances équivalant à une petite fortune. Or j’y étais officiellement invité, et d’autres écrivains en faisaient autant : je puis donc confirmer de bon cœur que la Russie soviétique est le paradis de l’écrivain et que nulle part ailleurs l’artiste créateur n’est mieux payé ni tenu en plus haute estime. J’avoue que j’eus la simplicité d’esprit de ne jamais soupçonner que contrats et avances m’avaient été accordés non point sur la base de ma réputation littéraire, mais pour de tout autres raisons(14)".

Le manuscrit – tant attendu – de Journées rouges, nuits blanches est achevé en avril 1933. Mais le livre est finalement refusé par la censure soviétique, car il est jugé "trop frivole et léger". Seule l’édition allemande paraîtra pour la minorité germanophone d’Ukraine. Arthur Koestler peut quitter l’Union soviétique à la fin de l’été 1933. Pendant son absence, Adolf Hitler est arrivé au pouvoir en Allemagne. Koestler a ordre du Komintern de gagner Paris, qui devient le centre de la campagne antifasciste du Komintern. Au retour d’Union soviétique, il est surpris : "Dès la frontière franchie, un changement magique avait eu lieu. Les buffets des gares regorgeaient d’aliments que je n’avais pas vus depuis un an : sandwiches, fromage, œufs, saucisson, jambon, café, petits pains, gâteaux. Il y avait aux kiosques à journaux des quotidiens, des magazines et des livres étrangers ; les quais et les guichets n’étaient plus des champs de bataille ; et ce qui me frappa encore davantage, les gens dans le train avaient tous des personnalités différentes au lieu d’être les molécules d’une masse grise et amorphe(15)".

Koestler est maintenant réfugié politique. Il n’a plus un sou, et ce qu’il possède à Berlin lui a été confisqué. Il passe quelques semaines à Vienne et à Budapest, où il retrouve sa famille et ses amis. Il part ensuite pour Paris en septembre 1933. Il y séjournera trois ans dans une extrême pauvreté, mais dans une intense activité politique.

C’est une période où l’activité de la propagande bat son plein. Voici comment Koestler la décrit : "L’objectif des deux adversaires était de prouver que c’était l’autre qui avait mis le feu au Parlement allemand. Le monde suivit le spectacle avec passion et sans plus comprendre son véritable sens qu’un petit enfant regardant un film à l’intrigue compliquée. Car le monde n’était pas encore habitué à la mise en scène, aux énormes mensonges, aux méthodes de grand guignol des propagandes totalitaires. Et, dans ce cas, il n’y avait pas qu’un metteur en scène comme plus tard aux procès de Moscou, mais deux, opposant leurs trucs, comme des sorciers noirs devant la tribu assemblée.

"Les deux sorciers s’appelaient le docteur Joseph Goebbels et Willi Münzenberg [...]. Le monde croyait assister à un combat classique entre la vérité et le mensonge, le coupable et l’innocent. En réalité, les deux partis étaient coupables, mais non des crimes dont ils s’accusaient l’un l’autre. Les deux mentaient, et les deux craignaient que l’autre n’en sût davantage qu’il n’en savait réellement(17)".

Koestler travaille ainsi au centre du "trust Münzenberg(18)" qui élabore la propagande communiste antifasciste. Son objectif principal à ce moment-là est de prouver que ce sont les nazis qui ont allumé l’incendie du Reichstag et que les communistes sont injustement accusés. Un contre-procès est organisé à Londres pour informer l’opinion internationale et faire pression sur le véritable procès qui s’ouvre en Allemagne juste après. Koestler décrit ainsi sa tâche au quartier général : "Je devais suivre les répercussions du procès et de notre propagande dans la presse britannique et à la Chambre des communes, étudier les courants de l’opinion publique britannique, et en tirer les conclusions tactiques appropriées. Pendant quelque temps, je rédigeai en outre un bulletin quotidien que nous distribuions à la presse française et anglaise(19)".

La propagande passe aussi par la publication du Livre brun sur l’incendie du Reichstag et la terreur hitlérienne, traduit en 17 langues, pour un million d’exemplaires. Willi Münzenberg crée également un Comité international d’aide aux victimes du fascisme hitlérien, comprenant des personnalités de toutes tendances – des duchesses anglaises jusqu’à des journalistes américains en passant par des savants français.

Mais l’activité d’Arthur Koestler pour Münzenberg ne dure pas. Fin 1933, une fois le procès du Reichstag terminé, Koestler peut être fonctionnarisé. Mais l’idée d’être employé et salarié du Parti ne lui plaît guère. "J’étais à un carrefour. Ou bien je devais faire ma carrière au trust Münzenberg, comme je l’avais faite naguère au trust Ullstein, et vivre en communiste professionnel ; ou bien je devais gagner ma vie par un autre moyen et recouvrer mon autonomie matérielle. Je sentais que tout mon avenir dépendait de ce choix ; or, comme à chaque tournant analogue de ma vie, la décision se fit d’elle-même, sans que j’eusse consciemment pensé le pour et le contre. Je démissionnai au début de 1934 [...](20)".

Koestler se met alors à rédiger une Encyclopédie de la vie sexuelle en trois volumes sous le pseudonyme du Dr. A. Costler. L’opération est purement économique ; pour Koestler, c’est une bonne façon de gagner sa vie, lui qui est un ancien vulgarisateur scientifique. L’ouvrage connaît un très grand succès d’édition puisqu’il se vendra à des centaines de milliers d’exemplaires, dans quatre langues. Mais Koestler se fait rouler par son éditeur et touche finalement très peu d’argent.

Par la suite, pendant deux mois, Koestler s’occupe d’un foyer pour les enfants des travailleurs communistes clandestins d’Allemagne, ouvert par le Parti dans une villa de Maisons-Laffitte. Münzenberg l’a chargé d’écrire une brochure sur ce lieu. Et Koestler prend ainsi les fonctions de maître d’école, de gouvernant et d’infirmier... Sur place, il peut au moins manger et dormir. Puis il devient "une sorte d’intendant" à l’INFA, un Institut pour l’étude du fascisme, "bureau d’archives et de recherches, organisé par des membres du Parti et contrôlé, mais non financé, par le Komintern(21)". Il y travaille par conviction, bénévolement, et dort la nuit dans un grenier à foin. Il quitte l’INFA à l’automne 1935, car le Parti y a envoyé un commissaire chargé de faire respecter la ligne. L’INFA s’arrêtera de toute façon peu de temps après.

Koestler se lance par ailleurs dans l’écriture. Jusque là, il n’a écrit qu’une pièce lors de son séjour à Moscou, intitulée Le Bar du soleil(22). Son premier roman est inspiré par l’ambiance du foyer pour enfants réfugiés de Maisons-Laffitte ; il s’intitule Les Aventures d’Exil du Camarade Cui-Cui et de ses Amis. Koestler le soumet à l’Association des écrivains allemands en exil – qui sont bien sûr communistes. Le roman est condamné car il reflète des "tendances individualistes bourgeoises(23)". Désespéré, Arthur Koestler tente de se suicider au gaz, sans succès.

Fin 1934, Koestler cherche le nom du gladiateur Spartacus dans le dictionnaire. Il veut comprendre d’où vient le nom des Spartakistes. Il s’indigne alors de la révolte des esclaves et des gladiateurs de 73 à 71 avant Jésus-Christ. Il décide d’en raconter l’histoire. Outre quelques piges pour vivre, Koestler travaille alors beaucoup chez lui et dans les bibliothèques. La rédaction est longue et laborieuse ; elle ne sera finie qu’à l’automne 1938. Entre-temps, Koestler aura également écrit deux nouveaux textes sur la sexualité – toujours pour vivre – et deux volumes sur la guerre d’Espagne ; il aura accompli aussi quelques missions pour le Parti, par exemple la création d’un hebdomadaire humoristique en Sarre avant le référendum de 1935 sur le rattachement au Reich. Par ailleurs, quand Spartacus est terminé, Koestler a déjà rompu avec le Parti. Ce livre est le premier, avant Le Zéro et l’Infini, de la trilogie autour du problème de la fin et des moyens.

"Spartacus est une victime de la "loi des détours" qui oblige le meneur de foules sur la route de l’Utopie à se montrer "impitoyable par pitié". Il est "condamné à faire toujours ce qui lui répugne le plus, à massacrer pour abolir les massacres, à fouetter les gens pour leur enseigner à ne plus se laisser fouetter, à rejeter tous ses scrupules au nom d’un ordre de scrupule plus élevé, et à exciter la haine de l’humanité par amour pour elle – amour abstrait et géométrique"(24)".