AV-Test Mai 2016

[Werderforever]

Hallo,

 

beim AV-Test Mai 2016 hat Emsisoft bei unbekannter Malware im März 95,1% und im Mai 95,2% erhalten. Die Verhaltensanalyse soll ja das Prunkstück von Emsisoft sein.

Wie ist da ein solches Ergebnis möglich?

 

Bei weit verbreiteter Malware erhielt Emsisoft 99,8% und 99,9%. Sicherlich ein sehr gutes Ergebnis, doch Bitdefender selbst bekam 99,9% und 100%.

 

Ich weiß, dass Emsisoft die Signaturen von Bitdefender nutzt, wenngleich nicht die komplette Technik. Im Zusammenwirken mit der Emsisoft-Engine hätte ich aber vermutet, dass die Ergebnisse nicht schlechter

als bei Bitdefender ausfallen.

 

Hier der Link zum Test:  https://www.av-test.org/de/antivirus/privat-windows/windows-10/april-2016/emsisoft-anti-malware-11.5--11.6-161415/ 

Würde mich freuen, wenn der Support etwas dazu sagen könnte.

 

Werderforever

[Fabian Wosar]

Es gab einen Bug auf Windows 10 Systemen, der vorher nicht aufgefallen ist, der verhindert hat das bestimmte Verhaltenstrigger auf Windows 10 Systemen funktionieren. Das hat dazu gefuehrt, dass wir jeweils 1 Sample in jedem Monat nicht gefunden haben. Das Problem ist zwischenzeitlich behoben worden mit einem Update.

[Werderforever]

Hallo Fabian,

 

vielen Dank für die Erläuterung! Nicht nachvollziehen kann ich allerdings, dass jeweils 1 Sample in jedem Monat nicht gefunden wurde. Bei 164 Samples (lt. AV-Test) entsprechen 95,1% und 95,2% rd. 8 Samples in jedem Monat, die nicht gefunden wurden.

Oder sehe ich da was falsch?

[Werderforever]

Sehe ich das nun richtig oder nicht?

[Fabian Wosar]

Ich bin mir nicht sicher wie genau AV-T Blocks vs. Partial Blocks (wo also beim Cleanen am Ende mitunter eine Verknuepfung oder eine Registry Referenz uebrig bleibt, die allerdings auf Malwarekomponenten verwaist, die nicht mehr existieren) zaehlt in der Berechnung. Im Endeffekt ist das fuer uns auch relativ uninteressant, weil alles andere als 100% ohnehin indiskutabel ist. Genaue Aufschluesselungen der Samples pro Monat und wie diese in den Prozenten beruecksichtigt werden ist denke ich eher eine Frage an AV-T.

[Werderforever]

Hallo Fabian,

 

danke für die Erläuterung des Sachverhalts.  Jetzt geh ich mal schwer davon aus, dass Emsisoft beim nächsten Mal wieder 100% erzielt.

[Fabian Wosar]

Wird es nicht. Das kann ich Dir jetzt schon sagen

[Werderforever]

War auch nicht ernst gemeint von mir...  Nutze trotzdem gerne Emsisoft.

[Werderforever]

Es gibt wieder einen neuen AV-Test, auf den Patlok bereits hingewiesen hatte: http://support.emsisoft.com/topic/24940-av-test-ergebnisse/ 

 

Da ich das Thema ursprünglich eröffnet hatte, schreibe ich aus Gründen der Übersichtlichkeit hier weiter.

 

Der neue Test macht mir ein wenig Bauchschmerzen. Im letzten Test waren die die Resultate mit 95,1 bzw. 95,2% bei Zero-Day-Malware nicht sehr erfreulich. Begründet wurde dies von Fabian durch einen Bug auf Windows 10-Systemen, der unentdeckt blieb und offenbar dazu führte, dass die Verhaltenserkennung nicht einwandfrei funktionierte.

 

Im neuen Test wurde nun auf einem Windows 8.1-System getestet. Im Mai war das Ergebnis mit 95,5% wieder nicht optimal. Dabei war der Bug doch nun bekannt und sollte eigentlich nur Window 10 betreffen. Wie konnte es daher jetzt wieder im Mai zu einem solchen Ergebnis kommen?

 

Und zweitens, bei weit verbreiteter und häufig auftretender Malware wurden 99,9% im Mai und 99,4% im Juni erzielt. Andere Programme mit der Bitdefender-Engine wie Bitdefender selbst, Bullguard, F-Secure und GDATA erzielten jeweils 100%.

Rein theoretisch müsste Emsisoft mit 2 Engines ja zumindest das gleiche Ergebnis wie Bitdefender & Co erzielen und kein schlechteres.

 

99,4% im Juni hören sich erstmal ja auch nicht so schlecht an. Bei 16.735 Samples entsprechen nicht entdeckte 0,6% aber 100 nicht entdeckten Samples und das ist doch eine ganze Menge.

 

Diese Ergebnisse geben mir zu denken, zumal es nun 2 Tests hintereinander mit relativ schwachen Ergebnissen sind.

 

Ich würde mich daher über eine Stellungnahme seitens Emsisoft freuen.

[Patlok]

Da würde mich eine Stellungnahme auch wirklich mal interessieren..

[AndyG]

Auch mich interessiert das sehr, denn sonst müsste man ja wechseln........

[Fabian Wosar]

Im neuen Test wurde nun auf einem Windows 8.1-System getestet. Im Mai war das Ergebnis mit 95,5% wieder nicht optimal. Dabei war der Bug doch nun bekannt und sollte eigentlich nur Window 10 betreffen. Wie konnte es daher jetzt wieder im Mai zu einem solchen Ergebnis kommen?

Wenn ich mich richtig erinnere 3 Samples die zur selben Familie gehoeren und im Latein-Amerikanischen Bereich verbreitet sind wurden nicht erkannt. Die Downloader basierten auf Java. Der Command Line Parser verstand die Syntax nicht, mit der die Applets ausgefuehrt wurden. Entsprechend wurde das Verhalten Java zugeordnet, welchem wir explizit vertrauen. Die Malware die von den Downloadern heruntergeladen wurden, wurde erkannt und blockiert, allerdings hat AV-T das nicht akzeptiert. Das Problem wurde mit Version 11.8 behoben, was sich dann auch in den Juni Ergebnissen wiederspiegelt.

 

Rein theoretisch müsste Emsisoft mit 2 Engines ja zumindest das gleiche Ergebnis wie Bitdefender & Co erzielen und kein schlechteres.

Unterschiedliche Scan Settings, unterschiedliche Signaturen (wir hinken z.B. ca. 15 Minuten hinter BD hinterher, was bei stuendlichen Updates von BD bedeutet, dass 25% der Zeit wir "veraltete" Signaturen haben verglichen zu BD), sowie zusaetzliche Scan Technologien (Stichwort: Cloud) machen durchaus Unterschiede. Generell ist die Aussagekraft von On-Demand Scan Tests fuer uns aber eher irrelevant.

[Werderforever]

Wenn ich mich richtig erinnere 3 Samples die zur selben Familie gehoeren und im Latein-Amerikanischen Bereich verbreitet sind wurden nicht erkannt. Die Downloader basierten auf Java. Der Command Line Parser verstand die Syntax nicht, mit der die Applets ausgefuehrt wurden. Entsprechend wurde das Verhalten Java zugeordnet, welchem wir explizit vertrauen. Die Malware die von den Downloadern heruntergeladen wurden, wurde erkannt und blockiert, allerdings hat AV-T das nicht akzeptiert. Das Problem wurde mit Version 11.8 behoben, was sich dann auch in den Juni Ergebnissen wiederspiegelt.

 

Unterschiedliche Scan Settings, unterschiedliche Signaturen (wir hinken z.B. ca. 15 Minuten hinter BD hinterher, was bei stuendlichen Updates von BD bedeutet, dass 25% der Zeit wir "veraltete" Signaturen haben verglichen zu BD), sowie zusaetzliche Scan Technologien (Stichwort: Cloud) machen durchaus Unterschiede. Generell ist die Aussagekraft von On-Demand Scan Tests fuer uns aber eher irrelevant.

 

Hallo Fabian,

 

danke für Deine Erläuterungen.

 

Es ist erfreulich, dass Emsisoft im Juni bei 0-Day-Malware 100% erzielt hat. Leider gab es aber in den Monaten März, April und Mail jeweils ein Ergebnis von rd. 95%, und das bei zwei verschiedenen Betriebssystemen und zwei Ursachen (März und April: Es gab einen Bug auf Windows 10 Systemen, der vorher nicht aufgefallen ist, der verhindert hat das bestimmte Verhaltenstrigger auf Windows 10 Systemen funktionieren. Juni: Die Downloader basierten auf Java. Der Command Line Parser verstand die Syntax nicht, mit der die Applets ausgeführt wurden. Entsprechend wurde das Verhalten Java zugeordnet, welchem wir explizit vertrauen.)

 

Das hat mein Vertrauen in Emsisoft schon ein wenig erschüttert. Denn die Verhaltenserkennung war doch immer das Prunkstück von Emsisoft.

 

Was ich aber überhaupt nicht verstehe, ist die Begründung, dass eine 15-minütige Verzögerung bei der Übermittlung von BD zu Emsisoft zu schlechteren Ergebnissen bei weit verbreiteter und häufig auftretender Malware führt. Bei 0-Day-Malware könnte ich diese Begründung nachvollziehen, aber "bei weit verbreiteter und häufig auftretender Malware " kann das doch keine Rolle spielen.  

[Fabian Wosar]

Was ich aber überhaupt nicht verstehe, ist die Begründung, dass eine 15-minütige Verzögerung bei der Übermittlung von BD zu Emsisoft zu schlechteren Ergebnissen bei weit verbreiteter und häufig auftretender Malware führt. Bei 0-Day-Malware könnte ich diese Begründung nachvollziehen, aber "bei weit verbreiteter und häufig auftretender Malware " kann das doch keine Rolle spielen.  

Du pickst Dir einen der Gruende aus fuer abweichende On Demand Performance von dreien die ich Dir genannt habe. Welche zu dem Zeitpunkt exakt zutreffend waren, kann Dir niemand beantworten, da zu dem Zeitpunkt an dem wir die Samples erhalten haben, bereits alle erkannt wurden. Generell ist es ausgesprochen schwierig die Zeit zurueckzudrehen um z.B. den exakten Cloud Status zur Zeit des Scans zu replizieren und nachzuschauen, wieso Produkt X ein Sample erkannt hat, wir aber nicht.

[Werderforever]

Hallo Fabian,

nochmal danke für Deine schnelle Reaktion.

Nix für ungut, aber wenn es um Sicherheit geht, dannmuss ich einfach mal etwas genauer fragen. ​ Belassen wir es erstmal dabei...

[Solution-Design]

http://chart.av-comparatives.org/chart1.php 

[Patlok]

Funktioniert nicht der Link.. Notfalls den nehmen http://www.av-comparatives.org/comparatives-reviews/

 

Also im Prinzip hat Emsisoft alles erkannt, jedoch hat Emsisoft auch mit Abstand am meisten beim Nutzer nachgefragt und eben auch am meisten Fehlalarme.
Besser so, als wenn es gar nicht erkannt wird, aber diese Fehlalarme bzw Nachfragen hat Emsisoft schon relativ oft, besonders bei der Installation oder Deinstallation von unbekannten Programmen, kam bei mir auch schon vor. Kommt wohl daher das Emsisoft natürlich nicht so eine große Community unterstützte Datenbank über gute/böse Programme hat, weil Emsisoft natürlich weniger Nutzer hat als die großen AV-Hersteller und deshalb öfter nachfragen muss.

[Moreau]

Ich kann diesen beinahe hysterischen Umgang mit dem Virenschutz ohnehin nicht nachvollziehen.

Ich vertraue Emsisoft, weil es im Unterschied zu sehr vielen anderen nicht spioniert und keinen Crap mitinstalliert bzw. anbietet. Das ist fast ein - und mir persönlich sehr wichtiges - Alleinstellungsmerkmal.

Außerdem arbeiten an der Software Menschen, da kann es durchaus vorkommen, daß jemand temporär mal ein Brett vorm Kopf hat, es urlaubsbedingt oder aus anderen Gründen (Todesfall) zu personeller Unterbesetzung kommt oder man kurz hinter einer Erkennungsrate herhinkt, weil da jemand bei XXX einen Geistesblitz hatte oder besonders empathisch war. In solchen Fällen wird dann schnellstmöglich "aufgeholt". Folglich kein Problem und bei jedem Hersteller so vorkommend.

Außerdem soll und kann jeder Schutz ja auch nur "Spitzen kappen". In erster Linie ist bei jeder Maschine derjenige gefragt, der davor sitzt, also brain.exe.

In Grunde hat dieses permanente Vergleichen der Tests mit etwas Abstand betrachtet so'n Beigeschmack von Pimmellängevergleichen - oder auch dieser Anspruch, daß Deutschland gefälligst die Goldmedaillen holen muß, das ist eine verzerrte Sicht aus der gleichen Ecke.
Gelassenheit und ehrliche Fairness, daran mangelt's immer häufiger.
Und das obwohl das ständige "cool" doch in aller Munde ist...

[Fabian Wosar]

Zum AV-C Test:

Bei dem Test gab es ein Problem mit dem Testsetup. Es ist nicht ganz klar ob entweder das automatische Testsystem von AV-C oder EAM versagt hat. Allerdings gab es 13 Samples die als nicht erkannt klassifiziert wurden. Weder AV-C noch wir konnten das Problem reproduzieren, weshalb nach einem Nachtest alle "misses" in "user decisions" umgeklariert wurden. Allerdings ist auch die Klassifizierung irrefuehrend. Das Problem ist, dass unsere Cloud die meisten Anfragen automatisch haette beantworten koennen. Allerdings wurden alle Nachtests ohne Cloud durchgefuehrt, weil wir halt schummeln und alle Dateien in der Cloud haetten Blacklisten koennen und AV-C keine Moeglichkeit hat, unsere Cloud zum Zeitpunkt des Originaltests zurueck zu drehen.

Fehlalarme wurden durch Setups verursacht die Double Signed sind. EAM hatte in dem Fall Probleme die digitalen Signaturen korrekt zu erkennen. Das Problem wurde mittlerweile allerdings behoben.

[Solution-Design]

Vielen Dank für die Erklärung

[der Mitleser]

Man kann sich diese Ergebnisse aber auch so lange und immer wieder schön reden, bis man irgendwann selber dran glaubt. Ist ja nicht der erste Test mit solch einem desaströsen Ergebnis. 

Ausreden und krampfhafte Rechfertigungsversuche sind jedenfalls jedesmal reichlich da.

[Patlok]

https://www.av-test.org/de/antivirus/privat-windows/windows-8/dezember-2016/emsisoft-anti-malware-12.0--12.1-164815/

Neuer Test, nicht wirklich schlecht, aber unter allen getesten von der Schutzwirkung im letzten Drittel.. Liegt aber auch nur an der Erkennung der Zero Day Malware, ältere Malware wird fast komplett erkannt.

[Fabian Wosar]

Es liegt nicht mal an der Erkennung, sondern an der Reinigung. Die 2 Misses sind "Partial Blocks", bedeutet wir haben beim Entfernen was uebersehen und die anderen Teile wurden erst nach einem Reboot entfernt. Kompromitiert wurde zwar nichts, allerdings zaehlt AV-T diese Dinge etwas strikter als AV-C.

[Werderforever]

Emsisoft war bei AV-Test erstmals im Februar 2016 dabei und letztmals im Dezember 2016, also nur knapp ein Jahr. Welche Gründe gibt es, dass sich Emsisoft so schnell wieder bei AV-Test verabschiedet hat?

Bei AV-Comparatives ist Emsisoft hingegen schon länger dabei und auch wieder im aktuellen Test vom April 2017.

Gruß und schöne Pfingsten!

Werderforever

 

[Fabian Wosar]

Im Endeffekt brachte der Test uns keinen Nutzen was den Umsatz anging. Entsprechend haben wir uns dazu entschlossen nicht laenger teilzunehmen. Das mag sich irgendwann wieder aendern.

[Werderforever]

Danke für die schnelle Info.

Gruß

Werderforever