De Imperva, VirusTotal y la utilidad de los antivirus

No sé si lo sabes, pero se ha publicado ultimamente un estudio acerca de la efectividad de los antivirus que ha causado bastante revuelo. Algunos de vosotros nos habéis preguntado al respecto, así que aquí os traemos nuestra postura corporativa al respecto, escrita originalmente por uno de nuestros investigadores más veteranos, David Harley. 

Introducción

Espero que el escándalo levantado por el pseudo-estudio de Imperva, conocido en noviembre, en el que se afirmaba que los antivirus detectan menos del 5% del nuevo malware, haya muerto definitivamente en el momento en el que estamos escribiendo este artículo. Después de todo, la actitud crítica ha llevado a Imperva a modificar su posición tanto en su informe público (la versión original enviada a periodistas parece que era sustancialmente diferente) como en el artículo de su blog. Sin embargo, parece que algunos medios de comunicación, como el New York Times o The Register, siguen manteniendo el mismo argumento.

Una segunda oleada de reportajes han ignorado totalmente los grandes agujeros metodológicos que existen en el informe de Imperva y están reciclando sus estadísticas más que dudosas sin ningún tipo de crítica. ¿Por qué dudosos? Porque a pesar de las protestas de la comunidad antivirus y de VirusTotal, el estudio publicado por Imperva y el Instituto Israelí  de Tecnología se basa en el mito de que los datos que reporta VirusTotal son tomados como hechos contundentes que prueban si un producto antivirus es capaz de detectar o no un ejemplar de amenaza informática o de malware, tal y como lo llamamos en la jerga del sector.

Sumario ejecutivo

El estudio de Imperva es frustrante no solo para la comunidad de investigadores del sector de antivirus sino para cualquiera que se tome muy en serio el llevar a cabo análisis precisos de evaluación de los productos de seguridad. VirusTotal es un gran servicio, pero su objetivo principal es dar una idea al usuario de si el fichero que está enviando al sistema pudiera ser o no malicioso. Simplemente, no está diseñado para evaluar la habilidad de uno o más productos de seguridad para detectar dicho ejemplar de malware. Es más, el sistema te dice qué productos son capaces de detectar la amenaza utilizando los módulos particulares de programación y configuración que está utilizando VirusTotal (para más detalles, ver la sección cronológica debajo correspondiente al 28 de noviembre).

Utilizar estos datos en el contexto de evaluar la capacidad de detección de una solución antivirus es como evaluar la musicalidad de una banda de rock escuchando solo los coros vocales que hace el batería. Algunos baterías cantan muy bien, pero aportan mucho más a la banda que el simple doo-wop que pueden cantar o corear en segundo plano. Incluso el antivirus comercial más simple o básico hace mucho más que simplemente comparar archivos con el fichero de firmas estático que contiene porciones del código malicioso encontrado y analizado, lo que permite su identificación (algunas suites de seguridad incluyen, además, otras capas de seguridad que reducen las oportunidades que tiene una amenaza informática de infectar un sistema. Y digo reduce, no que provea una protección absoluta al 100% contra cualquier tipo de amenaza).

El informe de Imperva llega a esta conclusión basándose en estadísticas falsas, y han intentado decirnos que su queja (que menos del 5% de las nuevas amenazas informáticas son detectadas por los antivirus) está confirmado por un informe de AV-Test (entidad certificadora de soluciones antivirus independiente con una gran trayectoria de objetividad y rigor). Dado que el informe al que hace referencia no está presente en ningún sitio, interpretamos que el pantallazo incluido en el artículo del blog de Imperva parece mostrar la media de detección de la industria de la seguridad en tres escenarios:

• Ataques 0-day: de media = 87% (n=102)
• Amenazas descubiertas en los últimos 2 o 3 meses: de media = 98% (n=272.799)
• Amenazas que se distribuyen y permanecen en el tiempo: de media = 100% (n=5.000)

Entre el 5% y el 87% hay una gran diferencia, ¿verdad? 😉

De hecho, lo que prueba este gráfico es que los productos de seguridad brindan protección contra todo tipo de amenazas informáticas de forma proactiva, no solo por las tradicionales formas de detección mediante ficheros de firmas genéricos o tecnologías heurísticas (análisis de comportamiento, sandboxing, análisis del tráfico, etc.) sino también gracias a otras tecnologías que funcionan a modo de protección multi-capa y que permiten llegar más allá.

Ningún investigador de seguridad te va a decir jamás que tener un antivirus debe ser el único sistema de seguridad que vas a necesitar, o que su software es capaz de detectar el 100% del malware conocido o desconocido, ya que no existen soluciones 100% efectivas. Mientras que llegue el momento en el que tanto el sistema operativo como las aplicaciones sean tan seguras que no sea necesario ningún sistema de detección de amenazas informáticas que se aprovechen de sus fallos, el uso de un antivirus sigue siendo necesario. Decir lo contrario, intentando confirmar que no merece la pena pagar por un antivirus, es incluso irresponsable. Si no hubiera dinero para pagar a los especialistas en investigación en seguridad informática porque no hubiera antivirus de pago, la industria de la seguridad en general perdería la batalla contra los cibercriminales y sus amenazas informáticas.

Cronología

Alrededor de finales de noviembre 2012, Imperva difundió la primera versión de su informe entre periodistas. Aunque ningún periodista compartió el informe en sí mismo, algunos de ellos describieron en sus reportajes la metodología básica y solicitaron comentarios al respecto: por ejemplo, Kevin Townsend introdujo en su información publicada en Infosecurity Magazine unas declaraciones de David Harley (autor original de este artículo) y de David Emm (de Kaspersky).

28 de noviembre. De acuerdo a Kevin:

… Estos son los resultados más que oscuros resultantes del análisis de 80 nuevos virus encontrados y testados por Imperva. La compañía utilizo la red TOR para explorar y encontrar el malware más nuevo, y desarrollaron y automatizaron un proceso de testeo y monitorización para testar los ejemplares utilizando el sitio de Virustotal. Los resultados no son muy alentadores. “La media de detección de un virus de nueva creación es del 0%” y “típicamente, tiene que pasar cuatro semanas para que el 25% de los desarrolladores de antivirus empiecen a detectarlos”.

 Aunque merece la pena leer el artículo entero, extraemos aquí la respuesta inicial de David Harley, que resumiendo viene a decir por qué VirusTotal no puede ser utilizado como sistema de medición del rendimiento y de detección de amenazas de los diferentes antivirus del mercado:

VirusTotal nunca ha intentado ser un test de rendimiento de análisis, y no es la herramienta indicada para este trabajo. Esto significa que algunos productos, por ejemplo, pueden detectar aplicaciones potencialmente no deseadas como malware, pero puede no ser así con otros motores, ya que es debido a la configuración de sus opciones por defecto. En otros casos, el propio VirusTotal ha sido el que ha solicitado que se hayan activado opciones que en la configuración por defecto habitualmente no están operativas. En otras palabras, algunos productos han sido configurados por VirusTotal y nunca van a detectar algunos tipos de ejemplares porque pueden no ser maliciosos de forma inequívoca. Otros pueden ser capaces de detectar amenazas según llegan al equipo, pero pueden no serlo si ejecutamos el análisis bajo demanda, dado que no todas las tecnologías de detección por análisis de comportamiento y por heurísticas pueden ser implementadas en un análisis estático o pasivo.

Si esto ha sido un test real, realmente dudamos de sus resultados, ya que no hay forma de validarlos. No tenemos ni idea de qué tipo de ejemplares han estado analizado y si estos han sido correctamente clasificados como malware o no. En ausencia de estos datos o de un estudio real que efectivamente analice la eficacia en la detección de amenazas tanto bajo demanda como en ejecución, tenemos que decir que nos huele un poco a maniobra de marketing que bien pudiera estar buscando la atención mediática.

El propio VirusTotal ha hablado en numerosas ocasiones acerca del mal uso que se suele dar a su servicio utilizándolo como una herramienta de análisis. De hecho, Julio Canto, de VirusTotal, junto a   David, hicieron hace un par de años un estudio que precisamente hablaba de este tema, entre otros asuntos: http://go.eset.com/us/resources/white-papers/cfet2011_multiscanning_paper.pdf.

Extraemos aquí algunos fragmentos que hablan de este asunto:

• VirusTotal no ha sido diseñada como una herramienta de medición del rendimiento de los antivirus ni para utilizarla en comparativas, sino para que revisar ejemplares maliciosos con muchos motores de soluciones de seguridad y para ayudar a los laboratorios antivirus enviándoles el malware que no son capaces de detectar.
• VirusTotal utiliza un grupo muy heterogéneo de motores. Cada solución de seguridad es capaz de implementar funcionalidades  de seguridad de muchas maneras diferentes. VirusTotal no aprovecha todas las capas de funcionalidad que pueden estar presentes en un producto moderno de seguridad.
• VirusTotal utiliza versiones en línea de comando: esto también afecta al contexto de ejecución, que quiere decir que un producto pudiera fallar en la detección de algo que detectaría en condiciones normales de funcionamiento.
• El sistema utiliza los parámetros indicados por los fabricantes. Si crees que esto pudiera dar como resultado una configuración acorde con los test, considera que estás efectivamente probando la filosofía del vendedor en términos de configuraciones por defecto, y no con un objetivo de rendimiento.
• Algunos productos están diseñados para proteger el Gateway: los productos de Gateway normalmente están configurados teniendo como punto de partida diferentes presunciones que difieren de aquellos que están específicamente diseñados y preparados para proteger el ordenador personal.
• Algunos de los parámetros heurísticos que se utilizan son muy sensitivos, por no llamarlos paranoicos.

Conclusión

VirusTotal, según se describe, es una HERRAMIENTA, no una SOLUCIÓN: es una empresa muy colaborativa, que permite la industria y a los usuarios ayudarse mutuamente. Y como cualquier otra herramienta es mucho mejor utilizarla para unos fines determinados, pero no para todos. Puede ser utilizada con propósitos de investigación o puede ser malamente usada para conseguir objetivos para los cuales nunca fue diseñada. El lector debe tener un mínimo de conocimiento y de comprensión para interpretar los resultados de la manera correcta.

Pero sigamos con nuestra cronología…

4 de diciembre. Righard Zwienenberg comentó en el blog el estudio de Imperva intentando contener la falsa afirmación de que no merece la pena pagar por un antivirus.

6 de diciembre: el sitio alemán security.nl mencionó el artículo de Righard y le dio el derecho a réplica a Imperva.

10 de diciembre: publicamos las objeciones de utilizar VirusTotal como sustituto de un estudio de análisis serio en el blog de (ISC)2 e incluimos en este artículo en inglés la reclamación de aclarar algunos datos de Imperva ya publicada en el artículo original de security.nl.

13 de diciembre: Caroline Donnelly incluyó el testimonial de Rik Ferguson, de Trend, en IT Pro. Rik puntualizó que:

“Analizar simplemente una colección de ficheros, sin importar cómo de grandes son o sin tener en cuenta ni la fuente ni el funcionamiento de los productos de seguridad, no significa que los productos hayan sido expuestos a las amenazas de la forma en como se lo encontrarían en la vida real.”

17 de diciembre. Imperva publicó un artículo en su blog, “From A to V: Refuting Criticism of Our Antivirus Report” (“De la A a la V: combatiendo las críticas a nuestro informe antivirus”), en el que manifestaba saber las “limitaciones de su metodología”. De hecho, ofrecían una copia pública del estudio que incluía un nuevo resumen de algunos de los temas que habían surgido a raíz de la publicación del estudio original. Sin embargo, ni el artículo del blog ni el estudio solucionaba su debilidad más grande: seguía llegando a la misma conclusión a pesar de partir de datos erróneos. David escribió otro artículo en el blog contestando a Imperva, “Imperva-ious to Criticism”.

1 de enero de 2013: El New York Times (en un artículo sindicado a un montón de sitios) nos dijo que “La industria antivirus tiene un sucio secreto: sus productos no son siempre buenos combatiendo virus”. El artículo aceptaba las estadísticas del estudio de Imperva, sin ningún tipo de visión crítica, tal y como hizo Richard Chirgwin en The Register. Al menos, ambos periodistas sí se dieron cuenta de que Imperva tenía unos objetivos claramente comerciales, tal y como Richard Chrigwin apuntó en su artículo:

«Imperva sugiere a las empresas que presten más atención a la seguridad de sus sistemas y servidores. Lo que, sorprendentemente, es la especialidad comercial de la compañía.»

2 de enero de 2013: nuestro colega Old Mac Bloggit se mostró totalmente enfurecido con la gran cantidad de desinformación y con la actitud de los periodistas, que habían ignorado todo el material generado por la industria de seguridad, y escribió el artículo Journalism’s Dirty Little Secret. No fue el único… yo mismo twiteé el link, y así lo hicieron también otra gente que trabaja para la industria así como investigadores. Roel Schouwenberg de Kaspersky también twiteó: “Criticar al industria antivirus está bien. Pero háganlo utilizando los tests o las investigaciones adecuadas. Lo repetiré 2013 veces: VirusTotal no es una herramienta de testeo ni de análisis.

El dueño de VirusTotal, Bernardo Quintero, también twiteó: “evaluar un antivirus con menos de 100 muestras y utilizando VirusTotal es más una broma que un estudio”.

Algunos medios de comunicación tuvieron también una visión más equilibrada. Paul Wagenseil, de Tech News Daily, escribió el artículo “Study Faulting Anti-Virus Effectiveness May Itself Be Flawed” y le dio a Rik Ferguson, a Graham Cluley, y a un portavoz sin nombre de Kaspersky la opción a comentar, mientras que Graeme Burton escribió para Computing que: “la metodología de este estudio ha sido ampliamente criticada por los especialistas de seguridad… VirusTotal es un website que analiza ficheros y URLs para identificar virus, gusanos, troyanos y otro tipo de malware – y no su comportamiento en la vida real. El estudio no tuvo en consideración los diferentes parámetros que utilizan los productos”.

3 de enero de 2013: Max Eddy, de PC Magazine, tomó otro acercamiento diferente y preguntó por la opinión de los analistas profesionales (incluyendo comentarios de AV-Test, AV-Comparative, NSS Labs y Dennis Labs) y publicó “Los expertos destrozan el estudio de antivirus de Imperva”. 

En dicho artículo, Randy abrams (ahora con NSS) dice: “Es extraño que encuentre esta increíble y nada sofisticada metodología de análisis, que utiliza un criterio erróneo de selección de ejemplares y conclusiones que no se pueden soportar envueltas en un solo pdf.” Y Simon Edwards (de Dennis Labs) comentó sobre la afirmación de Imperva de que los antivirus gratuitos funcionan mejor que los de pago que “Este es el resultado de todo lo que hemos encontrado después de muchos años de análisis y testeo… Sin excepción, los mejores productos son los de pago”.

Conclusión

Olvídate de la ofensa a la industria antivirus si quieres –nadie más presta atención a este punto- pero considera si basarías tu estrategia de seguridad (en casa o en el trabajo) en un ejercicio de relaciones públicas basado en unas estadísticas que no representan a ningún producto ni a ninguna premisa y que, además, no se entienden. No busques la Gran y Verdadera Solución: busca combinaciones de soluciones que te ofrezcan la mayor seguridad al precio que puedas pagar.

En este artículo estamos pensando más en empresas que en usuarios domésticos, pero los principios básicos aplican a ambos: el correcto antivirus gratuito es mejor que no tener ningún tipo de protección, pero la inversión en una suite de seguridad competente que ofrezca múltiples capas de protección merece la pena en el día a día.

Escrito originalmente por:

David Harley CITP FBCS CISSP – ESET Senior Research Fellow

Adaptado por Yolanda Ruiz Hervás