L'indépendance

1) Introduction

La notion d'indépendance est la clef de voute permettant de construire des univers idéaux avec le moins d'arbitraire possible...

2) L'indépendance de deux évènements

L'indépendance de deux évènements A, B est définie par la relation suivante :

P(A et B) = P(A)*P(B)

Noter que c'est une relation symétrique.

Nous dirons que l'ensemble {A,B} est indépendant, ou simplement {A,B} indépendant.

P(A et B) = P(A)*P(B) est équivalent à P(A et B) / P(B) = P(A) et donc à P(A / B) = P(A). Cela signifie que {A,B} est indépendant si et seulement si la probabilité de A sachant B ne diffère pas de la probabilité de A. Lorsque la proportion est la même sur chaque fraction alors elle est la même sur l'ensemble réuni des fractions, c'est à dire que la propriété P(A / B) = P(A /¬B) entraine que P(A / B) = P(A) et donc entraine l'indépendance de {A,B}. Cette dernière assertion peut s'écrire à l'aide du symbole @ comme suit : L'expression P(A / @B) constant signifie exactement P(A / B) = P(A / ¬B). Et donc signifie exactement l'indépendance de {A,B}.

En résumé, les 5 assertions suivantes sont équivalentes :

{A,B} indépendant
Les évènements A et B sont indépendants l'un de l'autre.
P(A et B) = P(A)*P(B)
La probabilité de (A et B) est égale au produit des probabilités de A et de B.
P(A / B) = P(A)
La probabilité de A est la même que la probabilité de A sachant B.
P(A / B) = P(A / ¬B)
La probabilité de A sachant B est la même que la probabilité de A sachant ¬B.
P(A / @B) constant
La probabilité contingente de A sachant la valeur de B est invariante.

D'autre part nous avons :

P(A) = P(A et B) + P(A et ¬B)

Et donc en supposant que {A,B} soit indépendant, nous avons :

P(A et ¬B) = P(A) - P(A et B)
                    = P(A) - P(A)*P(B)
                    = P(A)*(1-P(B))
                    = P(A)*P(¬B)

Ce qui entraine que {A, ¬B} indépendant. Et donc par symétrie {A,B} indépendant entraine {A,¬B} indépendant et {¬A,B} indépendant et {¬A,¬B} indépendant.

3) Un langage pour la notion d'indépendance

L'indépendance a comme notion duale l'invariance. En utilisant le symbole @ et les propriétés d'invariances relatives à chaque variable, on crée un langage pertinent pour exprimer les relations d'indépendance. Intéressons-nous au pouvoir d'expression de ce langage.

L'expression P(A / @B) constant signifie exactement P(A / B) = P(A / ¬B). Autrement dit cela signifie que {A,B} est indépendant.

L'expression P(@A / B) constant signifie exactement P(A / B) = P(¬A / B). Cela signifie que P(A/B) = 1/2 puisque P(A / B) + P(¬A / B) = 1. Cela signifie que la probabilité de A sachant B vaut 1/2. Autrement dit cela signifie que si B est réalisé alors nous n'avons aucune connaissance sur A.

L'expression P(@A / @B) constant signifie exactement P(A/B) = P(¬A/B) et P(A/B) = P(A/¬B) et P(A/B) = P(¬A/¬B). Cela signifie que P(A/B) = 1/2 et P(A/¬B) = 1/2, et cela entraine que P(A) = 1/2. Autrement dit cela signifie que nous n'avons pas de connaissane sur A et que la connaissance de la valeur de B n'apporte aucune connaissance sur A.

L'expression P(@A / @B) constant en A signifie exactement P(A/B) = P(¬A/B) et P(A/¬B) = P(¬A/¬B). Cela signifie aussi que P(A/B) = 1/2 et P(A/¬B) = 1/2, et cela entraine que P(A) = 1/2. Autrement dit cela est équivalent à P(@A / @B) constant.

L'expression P(@A / @B) constant en B signifie exactement P(A/B) = P(A/¬B) et P(¬A/B) = P(¬A/¬B). Cela signifie aussi que {A,B} est indépendant. Autrement dit cela est équivalent à P(A / @B) constant.

En résumé nous avons :

P(A / @B) constant
P(A / B) = P(A / ¬B)
{A, B} indépendant
P(@A / B) constant
P(A / B) = 1/2
P(¬A / B) = 1/2
si B = 1 alors nous n'avons aucune connaissance sur A.
P(@A / @B) constant
P(A / B) = 1/2
P(¬A / B) = 1/2
P(A / ¬B) = 1/2
P(¬A / ¬B) = 1/2
Nous n'avons pas de connaissance sur A. Et la connaissance de la valeur de B n'apporte aucune connaissance sur A.
P(@A / @B) constant en A
P(@A / @B) constant
 
P(@A / @B) constant en B
P(A / @B) constant
 

4) Un univers à 3 dimensions booléennes

Nous allons enrichir notre intuition en présentant différents langages.

On définie l'univers U(x,y,z) de dimension booléenne 3. Il y a dans cet univers 3 variables booléennes définies dans cette ordre x,y,z. Un monde de cet univers correspond à une instantiation de ces 3 variables. Par exemple (0,1,0) est un monde où x=0, y=1, z=0. Il y a 2^n mondes ou n est le nombre de variables booléennes de l'univers. Chaque monde (x,y,z) est codé par le numéro x*2⁰ + y*2¹ + z*2².

Une formule complète est une conjonction où toutes les variables de l'univers apparaissent une et une seul fois, soit affirmativement ou soit négativement. Par exemple dans l'univers U(x,y,z), la formule x et ¬y et z est complète. L'ordre n'a pas d'importance, mais un ordre particulier existe qui est celui des variables définies dans l'univers c'est à dire selon l'ordre (x, y, z). Une formule complète définie exactement un monde, et détermine donc exactement un évènement élémentaire, qui n'est vrai que dans ce seul monde. Et reciproquement chaque monde correspond à une seul formule complète, à l'ordre près, autrement dit, en respectant l'ordre des variables définie dans l'univers. Les formules complètes sont alors codables comme les mondes (selon l'ordre des variables dans l'univers, et selon l'endianess big-endian). Par exemple dans l'univers U(x,y,z), le monde (0,1,0) qui correspond plus explicitement au monde (x=0, y=1, z=0), correspond à la formule complète ¬x et y et ¬z, et est codé par l'entier  0*2 + 1*2¹ + 0*2² = 2.

On ajoute encore une notation plus dense et en italique dite implicite où seuls les variables affirmatives de la formule complète sont listées. Le monde (0,1,1) correspond à l'évènement yz qui est l'évènement élémentaire (¬x et y et z). Ci-dessous le tableau récapitulant les différentes notation

Synonyme
Type de notation
Notation
Monde,
Événement élémentaire,
Etat microscopique,
Formule complète
Etat entier :
6
Etat en liste de vérité :
(0,1,1)
Etat en liste d'évènements de base :
(x=0, y=1, z=1)
Etat en formule complète :
¬x et y et z
Etat en formule complète anonyme :
¬0 et 1 et 2
Etat implicite :
yz

L'univers, pour être complètement défini, doit fixer la probabilité de chacun de ses mondes.

Pour parfaire notre intuition, on choisi une représentation plus géométrique où l'on définie un niveau encore plus fin d'évènements élémentaires dits corpusculaires qui sont par principe équiprobables. Les mondes où évènements élémentaires deviennent alors des ensembles disjoints d'évènements corpusculaire, couvrant l'univers.

On adopte la notation implicite en italique des 8 évènements élémentaires ainsi que leur notation indicée par leur code x + 2*y + 4*z :

Etat
implicite
Etat en
liste de
vérité
Etat
entier
Formule
complète
(0,0,0)
0
¬x et ¬y et ¬z
x
(1,0,0)
1
x et ¬y et ¬z
y
(0,1,0)
2
¬x et y et ¬z
z
(0,0,1)
4
¬x et ¬y et z
xy
(1,1,0)
3
x et y et ¬z
xz
(1,0,1)
5
x et ¬y et z
yz
(0,1,1)
6
¬x et y et z
xyz
(1,1,1)
7
x et y et z

Les évènements élémentaires peuvent être désignés par une variable ei indicée par leur code entier i. De même, les probabilités élémentaires peuvent être désignés par une variable Pi indicée par le code entier i de l'évènement élémentaire correspondant.

Ainsi, en prenant par exemple l'évènement de code 3, nous pouvons écrire que la probabilité P3 = P(e3), P3 = P(x et y et ¬z), P3=|e3|/N, où |e3| désigne le nombre d'évènements corpusculaires appartenant à l'évènement élémentaire e3 et où N désigne le nombre total d'évènenements corpusculaires de l'univers.

Les trois évènements de base x,y,z sont représentés par trois ensembles en forme de cercle :

Il faut donc une suite de 8 entiers à un facteur près pour définir un univers relatant les trois évènements de base x,y,z. Ce sont les 8 cardinalitées ||, |x|, |y|, |z|, |xy|, |xz|, |yz|, |xyz|, qui sont des nombres d'évènements corpusculaires équiprobables.

Noter que l'on peut étendre cette analogie à des probabilitées non rationelles en prenant une distribution non discrète.

L'univers est donc défini en choisissant librement ces 8 probabilités élémentaires avec comme seul contrainte que leur somme soit bien égale à 1, c'est à dire tel que :

P(¬x et¬y et ¬z) + P(x et ¬y et ¬z) + P(¬x et y et ¬z) + P(¬x et y et ¬z) + P(¬x et ¬y et z) + P(x et y et ¬z) + P(x et ¬y et z) + P(¬x et y et z) + P(x et y et z) = 1

C'est un libre choix d'une suite de 8 réels à un facteur multiplicatif commun près, représentant les poids des 8 évènements élémentaires. Comme pour les espaces projectifs, la dimension est égale à la dimension de l'espace moins un. Le modèle d'univers possède donc 7 degrés de liberté probabiliste, la 8 ième probabilité se calculant à partir des 7 premières.

5) L'indépendance de 3 évènements

Un ensemble de 3 évènements est dit indépendant si les évènements pris deux à deux sont indépendants, et si la probabilité de la conjonction des trois évènements est égale au produit des probabilités de chaque évènements. Ainsi {x,y,z} est un ensemble d'évènements indépendants si et seulement si il vérifie les 4 équations suivantes :

P(x et y) = P(x)*P(y)
P(x et z) = P(x)*P(z)
P(y et z) = P(y)*P(z)
P(x et y et z) = P(x)*P(y)*P(z)

Montrons que ces 4 équations ne sont pas redondantes. Par raison de symétrie, il suffit d'exiber un univers U où :

P(x et y) ≠ P(x)*P(y)
P(x et z) = P(x)*P(z)
P(y et z) = P(y)*P(z)

P(x et y et z) = P(x)*P(y)*P(z)

N = 2

P(x) = 1/2
P(y) = 0
P(z) = 1/2
P(x et y) = 0
P(x et z) = 0
P(y et z) = 0
P(x et y et z) = 0

 

et un univers V où :

P(x et y) = P(x)*P(y)
P(x et z) = P(x)*P(z)
P(y et z) = P(y)*P(z)
P(x et y et z) ≠ P(x)*P(y)*P(z)

N = 4

P(x) = 2/4
P(y) = 2/4
P(z) = 2/4
P(x et y) = 1/4
P(x et z) = 1/4
P(y et z) = 1/4
P(x et y et z) = 0

 

Et c'est ce qu'il fallait démontrer.

Si {x,y} est indépendant, l'équation P(x et y et z) = P(x)*P(y)*P(z) qui est équivalente à P(x et y et z) / P(z) = P(x)*P(y), est équivalente à P(x et y / z) = P(x et y), et est aussi équivalente à P(x et y / z) = P(x et y / ¬z). Nous avons donc pour résumer, les 4 assertions équivalentes suivantes :

{x,y,z} indépendant  
P(x et y) = P(x)*P(y)
P(x et z) = P(x)*P(z)
P(y et z) = P(y)*P(z)
P(x et y et z) = P(x)*P(y)*P(z)
P(x/y) = P(x)
P(x/z) = P(x)
P(y/z) = P(y)
P(x et y / z) = P(x et y)
P(x/y) = P(x/¬y)
P(x/z) = P(x/¬z)
P(y/z) = P(y/¬z)
P(x et y / z) = P(x et y / ¬z)

D'autre part nous avons :

P(x et y) = P(x et y et z) + P(x et y et ¬z)

Et donc en supposant que {x,y,z} soit indépendant, nous avons :

P(x et y et ¬z) = P(x et y) - P(x et y et z)
                         = P(x)*P(y) - P(x)*P(y)*P(z)
                         = P(x)*P(y)*(1-P(z))
                         = P(x)*P(y)*P(¬z)

Ce qui entraine que {x,y,¬z} est indépendant. Et donc par symétrie, {x,y,z} indépendant entraine {x,y,¬z} indépendant et {x,¬y,z} indépendant et {¬x,y,z} indépendant et {x,¬y,¬z} indépendant et {¬x, y,¬z} indépendant et {¬x,¬y,z} indépendant et {¬x,¬y,¬z} indépendant.

Cette propriété peut s'exprimer ainsi : Etant donné un ensemble d'évènements indépendants {x,y,z}, la probabilité d'une conjonction d'évènements parmis ceux-ci ou leur négations, à condition de ne pas choisir à la fois un évènement et sa propre négation, est égale au produit des probabilités des évènements ou de leur négations qui la compose.

si {x,y,z} indépendant alors nous avons par exemples, :

P(x et ¬y et z) = P(x)*P(¬y)*P(z)
P(y et ¬z) = P(y)*P(¬z)

6) Un langage pour la notion d'indépendance (suite)

En utilisant le symbole @ et les propriétés d'invariances relatives à chaque variables, on peut écrire 7 types d'expressions nouvelles :

P(x / @y et z) constant
P(x / y et z) = P(x / ¬y et z) si z=1 alors {x,y} indépendant.
P(x / @y et @z) constant
P(x / y et z) = P(x / ¬y et z)
P(x / y et z) = P(x / y et ¬z)
P(x / y et z) = P(x / ¬y et ¬z)
 ?
P(@x / @y et z) constant
P(x / y et z) = 1/2
P(x / ¬y et z) = 1/2
Nous n'avons pas de connaissance sur x et si z = 1, la connaissance de la valeur de y n'apporte aucune connaissance sur x.
P(@x / @y et @z) constant
P(x / y et z) = 1/2
P(x / ¬y et z) = 1/2
P(x / y et ¬z) = 1/2
P(x / ¬y et ¬z) = 1/2
Nous n'avons pas de connaissance sur x et la connaissance des valeurs de y et de z n'apportent aucune connaissance sur x.
P(@x / @y et z) constant en x
P(x / y et z) = 1/2
P(x / ¬y et z) = 1/2
P(@x / @y et z) constant
P(@x / @y et z) constant en y
P(x / y et z) = P(x / ¬y et z)
P(¬x / y et z) = P(¬x / ¬y et z)
P(x / @y et z) constant
P(¬x / @y et z) constant
P(@x / @y et @z) constant en x P(x / y et z) = 1/2
P(x / ¬y et z) = 1/2
P(x / y et ¬z) = 1/2
P(x / ¬y et ¬z) = 1/2
P(@x / @y et @z) constant
P(@x / @y et @z) constant en y P(x / y et z) = P(x / ¬y et z)
P(¬x / y et z) = P(¬x / ¬y et z)
P(x / y et ¬z) = P(x / ¬y et ¬z)
P(¬x / y et ¬z) = P(¬x / ¬y et ¬z)
P(x / @y et @z) constant

Lorsque la proportion est la même sur chaque fraction alors elle est la même sur l'ensemble réuni des fractions. L'expression P(x / @y et @z) constant est donc équivalante à :

P(x) = P(x / y et z)
P(x) = P(x / ¬y et z)
P(x) = P(x / y et ¬z)
P(x) = P(x / ¬y et ¬z)

et cela entraine aussi la même égalité pour chaque union de fractions. Il y a 8 fractions et donc 8 + 8*7/2 + 8*7*6/3! + 8*7*6*5/4! + 8*7*6*5*4/5! + 8*7*6*5*4*3/6! + 8*7*6*5*4*3*2/7! + 8!/8! = 255 unions possibles. Et par chaqu'une de ces unions, la prpobabilité conditionnelle à cette union vaut P(x).

---- 24 avril 2013 ----

 

 

 

 

 

P(x) = P(x / y et z)
P(x) = P(x / ¬y et z)
P(x) = P(x / y et ¬z)
P(x) = P(x / ¬y et ¬z)

 

 

 

{x,y} indépendant.
{x,z} indépendant.
{x,(y et z)} indépendant.
{x,(y ou z)} indépendant.
...

Aussi {x,y,z} indépendant est équivalent à P(x / @y et @z) constant et P(y /@z) constant

7) L'indépendance de n évènements

Un ensemble de n évènements est dit indépendant si la probabilité de la conjonction de 2 évènements distincts est égale au produit des probabilités des 2 évènements, puis si la probabilité de la conjonction de 3 évènements distincts est égale au produit des probabilités des 3 évènements, puis si la probabilité de la conjonction de 4 évènements distincts est égale au produit des probabilités des 4 évènements, etc..., puis si la probabilité de la conjonction des n évènements est égale au produit des probabilités des n évènements.

Ainsi par exemple, {x,y,z,t} est indépendant si et seulement si :

P(x et y) = P(x)*P(y)
P(x et z) = P(x)*P(z)
P(x et t) = P(x)*P(t)
P(y et z) = P(y)*P(z)
P(y et t) = P(y)*P(t)
P(z et t) = P(z)*P(t)

P(x et y et z) = P(x)*P(y)*P(z)
P(x et y et t) = P(x)*P(y)*P(t)
P(x et z et t) = P(x)*P(z)*P(t)
P(y et z et t) = P(y)*P(z)*P(t)

P(x et y et z et t) = P(x)*P(y)*P(z)*P(t)

L'indépendance de n évènements correspond à un système d'équation dont le nombre d'équation est :

n*(n-1)/2! + n*(n-1)*(n-2)/3! + n*(n-1)*(n-2)*(n-3)/4! ... + n!/n!

ce qui est égale à :

2n - n - 1

---- 23 avril 2013 ----

 

 

 

 

 

 

 

 

 

P(y /@z) constant
P(x / @y et @z) constant

Cela fait 4 équations nécessaires. Et dans le cas de n évènements indépendants, il y a 2n - n - 1 équations.

Etant donné un ensemble d'évènements indépendants {x,y,z}, la probabilité d'une conjontion d'évènements parmis ceux-ci ou leur négations, à condition de ne pas choisir à la fois un évènement et sa négation, est égale au produit des probabilités des évènements ou de leur négations qui la compose. Par exemple nous avons :

P(x et ¬y et t) = P(x)*P(¬y)*P(t).

Il semble pertinent de définir une notion d'indépendance plus précise opérant entre deux séquences d'évènements non nécessairement indépendants. On dira que x,y sont indépendants de a,b et on notera x,y | a,b, si et seulement si la probabilité contingente de x sachant la valeur de a et de b est invariante, et qu'il en soit de même pour y, et reciproquement que la probabilité contingente de a sachant la valeur de x et de y est invariante, et qu'il en soit de même pour b. On transcrit cette définition à l'aide du symbole @ comme suit :

x,y | a,b     <=>      P(@x et @y / @a et @b) constant selon a et b
                              et P(@a et @b / @x et @y) constant selon x et y

Et cela ne présage pas du caractère indépendant ou non des ensembles d'évènements {x,y} et {a,b} pris isoléments.

 

Suite de la discussion : La composition de brouillages booléens