Acho que o maior problema é o "marketing" que fazem com o TLS/SSL. A única segurança proporcionada pelo HTTPS é transferência dos dados de maneira encriptada e autenticada, assumindo que os CA confiados pelo cliente são honestos.
Isso não é pouca coisa, mas é muito menos do que os usuários são levados a acreditar. É comum ver artigos sobre "como comprar na internet" (e afins) onde destacam a verificação do "cadeado verde", levando a crer que isto realmente irá lhe proteger de qualquer coisa. Hoje, vários sites de phishing usam HTTPS, isso não é nenhum problema do HTTPS, isso é um problema dos usuários que sempre foram mal instruídos e a confiarem "num cadeado verde". Acho que esse mito ao redor do SSL é o problema e acho benéfico que removam o "Seguro" da barra.