← Tous les travaux← All work
PrépublicationPreprintÉtude préenregistréePreregistered study2026PrépublicationPreprint

Before the Choice: An Evidential Framework for Studying Prospective Representations in Language Models

Sion Israel Sion

arXiv (prépublication, cs.SE, cs.AI, cs.LG)arXiv preprint (cs.SE, cs.AI, cs.LG)

Le récitThe story

Quand un modèle de langage choisit, on voit l'action retenue. On ne voit pas les alternatives qu'il s'est peut-être représentées avant de répondre. Le chemin non choisi, par définition, n'apparaît jamais dans la sortie.

Le contexte

Beaucoup de questions importantes en AI Safety portent sur des propriétés difficiles à observer directement. On ne les établira pas d'un seul coup. L'approche que je défends est progressive : isoler une propriété minimale, testable, et la cerner rigoureusement. Puis une autre, puis une autre. Ce sont ces briques qui pourront servir de fondation à des travaux plus ambitieux.

Ce papier s'intéresse à l'une d'elles : la représentation, avant le choix, de futurs possibles. Il s'inspire de la recherche sur la prospection en psychologie et des « forward sweeps » observés dans l'hippocampe du rat, sans prétendre transposer ces mécanismes aux réseaux de neurones.

Le concept

Le cadre Before the Choice sépare trois questions souvent confondues : le modèle a-t-il une information sur un futur possible, la construit-il activement, et l'utilise-t-il pour choisir ? Quatre principes d'inférence en découlent : un bon choix ne dit pas comment il a été produit, décoder un futur ne prouve pas qu'on l'a simulé, une information décodable n'est pas forcément utilisée, et ne rien détecter ne prouve pas l'absence.

La grille PREM associe ensuite à chaque type d'expérience ce qu'elle permet d'exclure, et ce qui reste indéterminé.

L'expérience

J'ai voulu terminer par un premier test concret : des graphes symboliques où l'on cherche, dans les activations de Gemma-4-31B, la trace du chemin non choisi. Le test préenregistré a échoué face à une baseline simple, et les analyses qui ont suivi ont montré pourquoi : connaître le chemin choisi suffisait à retrouver l'autre par élimination. Une fois le dispositif corrigé, avec des paires de mondes contrôlées au bit près, le chemin non choisi n'était toujours pas détecté.

Ce résultat négatif est assumé. Il ne prouve pas l'absence de ces représentations : il montre que l'identifiabilité, la sensibilité de l'instrument et le bon modèle nul doivent passer avant toute conclusion tirée d'un décodage.

When a language model makes a choice, we see the action it selected. We do not see the alternatives it may have represented before answering. The path not taken, by definition, never appears in the output.

The context

Many important questions in AI Safety concern properties that are hard to observe directly. They will not be settled in one step. The approach I argue for is progressive: isolate a minimal, testable property and pin it down rigorously. Then another, and another. These building blocks are what more ambitious work can later stand on.

This paper focuses on one of them: the representation, before a choice, of possible futures. It draws on prospection research in psychology and on the hippocampal "forward sweeps" observed in rats, without claiming that these mechanisms transfer to neural networks.

The concept

The Before the Choice framework separates three questions that are often conflated: does the model hold information about a possible future, does it actively construct it, and does it use it to choose? Four inference principles follow: a correct choice does not reveal how it was produced, decoding a future does not prove it was simulated, decodable information need not be used, and failing to detect something does not prove its absence.

The PREM matrix then maps each type of experiment to what it can rule out, and to what remains undetermined.

The experiment

I wanted to end with a first concrete test: symbolic graphs in which we look, inside Gemma-4-31B's activations, for a trace of the unchosen path. The preregistered test failed against a simple baseline, and the follow-up analyses showed why: knowing the chosen path was enough to recover the other one by elimination. Once the design was repaired, with paired worlds controlled down to the bit, the unchosen path was still not detected.

This negative result is deliberate. It does not prove that such representations are absent: it shows that identifiability, instrument sensitivity and the right null model must come before any conclusion drawn from decoding.

RésuméAbstract

An observable decision reveals the selected action but does not determine which alternatives were internally represented. Drawing on prospection research and hippocampal forward-sweep observations, we develop Before the Choice, an evidence-oriented framework distinguishing future-directed content, prospective computation, and causal guidance. The framework organizes four experimental contrasts and makes their alternative explanations explicit. Its first test case concerns unchosen trajectories in deterministic symbolic environments. A preregistered low-rank probe evaluated once on a sealed TEST did not meet its criterion (paired accuracy 0.020 versus 0.195 for a text-and-observed-choice baseline; 293 admissible pairs). Exploratory H1b exposed a reconstruction-by-elimination problem: identifying the chosen candidate can determine the unchosen target. In H1c, matched worlds varied an unchosen continuation while keeping candidate keys bitwise invariant. With specified positive controls passed, decoding in the late-key condition remained at 0.521 (p = 0.18; 141 contributing families). These observations do not identify prospective simulation or establish an absence of prospective representations. They illustrate why identifiability, sensitivity, and a dependence-aware null model must constrain inferences from decodability. PREM is proposed as an organizational framework and is not validated by these results.

prospective representationprospectionforward sweeplanguage modelsmechanistic interpretabilityprobingunchosen continuationscounterfactual identifiability

Lire le papierRead the paper

CiterCite

APA

Sion, S. I. (2026). Before the Choice: An Evidential Framework for Studying Prospective Representations in Language Models. arXiv preprint (cs.SE, cs.AI, cs.LG). https://doi.org/10.48550/arXiv.2611.25170

BibTeX
@misc{sion2026before,
  title = {Before the Choice: An Evidential Framework for Studying Prospective Representations in Language Models},
  author = {Sion Israel Sion},
  howpublished = {arXiv preprint (cs.SE, cs.AI, cs.LG)},
  year = {2026},
  doi = {10.48550/arXiv.2611.25170}
}

HistoriqueHistory

  1. 2026-11-18Prépublication sur arXivPreprint on arXiv