Let’s define the Poisson Bracket as in the math books and modify the symbols { } so they become some sort of operator:

<<Notation`

(* Poisson Bracket defined as function and as symbolic operator *)
Notation[(NotationTemplateTag[(Subscript[{x_,y_}, Full])]) ⟹ (NotationTemplateTag[poissonBra[x_,y_]])]

makeMatrix[dim_, a_]:=Array[Subscript[a,#1,#2]&,dim]
makeVar[dim_, a_]:=Array[Subscript[a,#1]&,dim]
poissonBra[xx_, yy_]:=Module[{},

(∑_(i=1)^n)(((∂_(Subscript[q, i]))xx)*((∂_(Subscript[p, i]))yy)-((∂_(Subscript[p, i]))xx)*((∂_(Subscript[q, i]))yy))
]

Notation[(NotationTemplateTag[(Subscript[{x_,y_}, 𝒩ℯ𝓌])]) ⟹ (NotationTemplateTag[makeNewBra[x_,y_]])]
Notation[(NotationTemplateTag[(Subscript[H, i_])]) ⟹ (NotationTemplateTag[H[[i_]]])]

makeF[]:= Module[{},

Table[Table[((∂_(Subscript[u, i]))(Subscript[H, j]))- ((∂_(Subscript[u, j]))(Subscript[H, i]))+(Subscript[{(Subscript[H, j]),(Subscript[H, i])}, Full]), {i, 1, M}], 
{j, 1, M}]
]

makeNewBra[x_, y_]:=Module[{v1, v2},

v1=Table[((∂_(Subscript[u, i]))x)+(Subscript[{x,(Subscript[H, i])}, Full]), {i, 1, M}];
v2=Table[((∂_(Subscript[u, i]))y)+(Subscript[{y,(Subscript[H, i])}, Full]), {i, 1, M}];


(Subscript[{x,y}, Full]) + v1.G.v2


]

For this draft of the code I assume n = 4, M = 2. If you need the general such formal system with n and m arbitrary, I have to consult some experts in Boston to get back to you.

At lease we get an idea how the symbolic mechanisms work. 

We can simply change n and m below to any numbers and all the code works without modification!

n=3;
M=2;
f=.;
g=.;
h=.;
makeVar[n,p]
makeVar[n,q]
makeVar[M,u]

X:=  f[(Subscript[p, 1]),(Subscript[p, 2]),(Subscript[p, 3]) ,(Subscript[q, 1]),(Subscript[q, 2]),(Subscript[q, 3]),(Subscript[u, 1]),(Subscript[u, 2])] ;
Y:=  g[(Subscript[p, 1]),(Subscript[p, 2]),(Subscript[p, 3]) ,(Subscript[q, 1]),(Subscript[q, 2]),(Subscript[q, 3]),(Subscript[u, 1]),(Subscript[u, 2])] ;
Z:=  z[(Subscript[p, 1]),(Subscript[p, 2]),(Subscript[p, 3]) ,(Subscript[q, 1]),(Subscript[q, 2]),(Subscript[q, 3]),(Subscript[u, 1]),(Subscript[u, 2])] ;

(* vector of functions *)
H = Table[(Subscript[h, i])[(Subscript[p, 1]),(Subscript[p, 2]),(Subscript[p, 3]) ,(Subscript[q, 1]),(Subscript[q, 2]),(Subscript[q, 3]),(Subscript[u, 1]),(Subscript[u, 2])], {i, 1, M}]

H indexing to match the paper:

(Subscript[H, 1])

(Subscript[H, 2])

Let’s mak F:

F=makeF[];

(*Let's check for the enteries, too long to output properly *)
F[[1]][[1]]

F[[1]][[2]]

F[[2]][[1]]

F[[2]][[2]]

For experimentation make G inverse of F:

G = Inverse[F];
Dimensions[G]

G[[1]][[1]]

G[[1]][[2]]

G[[2]][[1]]

G[[2]][[2]]

new=(Subscript[{X,Y}, 𝒩ℯ𝓌]) ;
Dimensions[new]

new

Very large, so was placed in a separate file:

(Subscript[{(Subscript[{X,Y}, 𝒩ℯ𝓌]),Z}, 𝒩ℯ𝓌])+(Subscript[{Y,(Subscript[{X,Z}, 𝒩ℯ𝓌])}, 𝒩ℯ𝓌])-(Subscript[{X, (Subscript[{Y,Z}, 𝒩ℯ𝓌])}, 𝒩ℯ𝓌])

Let’s see how the Poisson Bracket looks like:

(Subscript[{X,Y}, Full])

Check the anti-symmetic property:

(Subscript[{X,Y}, Full])+(Subscript[{Y,X}, Full])

(∂_(Subscript[u, 1]))X

(∂_(Subscript[u, 1]))Y

(∂_(Subscript[u, 1]))(Subscript[{X,Y}, Full])

(Subscript[{(∂_(Subscript[u, 1]))X,Y}, Full])+(Subscript[{X, (∂_(Subscript[u, 1]))Y}, Full])

(∂_(Subscript[u, 1]))(Subscript[{X,Y}, Full]) === (Subscript[{(∂_(Subscript[u, 1]))X,Y}, Full])+(Subscript[{X, (∂_(Subscript[u, 1]))Y}, Full])

Let’s go thru all parameters and see if the latter is correct, and print True each time:

Table[(∂_(Subscript[u, i]))(Subscript[{X,Y}, Full]) === (Subscript[{(∂_(Subscript[u, i]))X,Y}, Full])+(Subscript[{X, (∂_(Subscript[u, i]))Y}, Full]), {i, 1, M}]

Table[(∂_(Subscript[v, i]))(Subscript[{X,Y}, Full]) === (Subscript[{(∂_(Subscript[v, i]))X,Y}, Full])+(Subscript[{X, (∂_(Subscript[v, i]))Y}, Full]), {i, 1, M}]

(* Expand is a function that distributes all terms and undoes the factors *)
Expand[(Subscript[{(Subscript[{X,Y}, Full]),Z}, Full])+(Subscript[{Y,(Subscript[{X,Z}, Full])}, Full])-(Subscript[{X, (Subscript[{Y,Z}, Full])}, Full])]