分类目录归档:业界

为啥有些评测不靠谱

看到了Intel Security ATD的评测宣传,有感而发,有些想法共同探讨一下。

先谈谈几个矛盾的地方

  • AV/IPS评测动不动就是99.x%的检测率。都不用说APT了,针对消费者的Crimeware都还满天飞。就现在AV的普及率,如果真这么有效的话,怎么会有这么大的黑色产业。
  • IPS/IDS客户反馈出名的误报率高,而且是超级高,这个也变相造就了SIEM这个市场。各种公开评测动不动就说99%检测率,0误报,谁对谁错?

问题在哪里

  • 现在的评测基本上都是以样本检测,没有考虑过时间或者生存期的问题。现在大的趋势是,样本实际存活的时间很短,如果有漏报等到有了检测,黄花菜都凉了,人早换枪了。
  • 评测和用户体验严重脱节,消费市场还好,但是企业市场尤其是针对性的攻击的检测都是极差的。客户每天都在叫要检测,但是评测形式还是一片大好。
  • 评测还没法不做,因为很多客户还是很看重这个。所以一般公司都是有独立的队伍专门搞评测,就是为了那个虚假的检测率。

忽视还是正视

  • 首先,这是不是个问题?很多人都选择了直接忽视,长此以往很可能就是大家一起被拍死在沙滩上。所以,先得承认这是个问题。
  • 用流行的互联网思路,客户体验至上。就现在的Thread Landscape,就是不管什么技术和平台,提供不了真实的防护,帮客户解决不了这个问题,都是虚的。
  • 改变评测现状很难,大家从教育评测机构开始吧,帮着想想怎么做更好。
  • 从我做起,千万不要让评测毁了产品!