Opa amigo, tudo bem?
Vamos lá aos passos iniciais desta analise.
1 - Como vc compilou esse binário?
2 - Realmente setou o ASLR para 0 ? Rode ldd ./binario e veja se o endereço da libc esta sendo randomizado
3 - O que usou para chegar no endereço da system() ?
4 - Testou fora do GDB?
Após validarmos isso, vamos para os próximos passos.
Abraços