<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto"><div>Jerry, the forum idea is great. Count me in please. Kate can organise Conf call etc.<br><br>Eoin Keary<div>Owasp Global Board</div><div>+353 87 977 2988</div><div><br></div></div><div><br>On 26 Feb 2013, at 13:56, Jerry Hoff <<a href="mailto:jerry@owasp.org">jerry@owasp.org</a>> wrote:<br><br></div><blockquote type="cite"><div><meta http-equiv="Content-Type" content="text/html charset=windows-1252"><div>Hello all,</div><div><br></div><div>Considering most appsec professionals live and die by the Top 10 - getting community support behind the methodology, data, trends and statistics that should go into the Top 10 is vital.</div><div><br></div><div>Exactly as Michael says below, the mailing list is devoid of information - for something as critical to OWASP as the top 10, this seems to contradict completely the open discussion in the community. </div><div><br></div><div>I'm looking forward to the wiki which will hopefully shed some light on the process, but I still firmly believe that there needs to be a community wide discussion on:</div><div><br></div><div><span class="Apple-tab-span" style="white-space:pre">   </span>1. The methodology (once released, a discussion around "is this the proper methodology)</div><div><span class="Apple-tab-span" style="white-space:pre"> </span>2. Data and data sources</div><div><span class="Apple-tab-span" style="white-space:pre">     </span>3. Trends</div><div><span class="Apple-tab-span" style="white-space:pre">    </span>4. A more diverse panel to finalize a true OWASP Top 10 - 2013 which reflects as accurately as possible the true ranking of current web appsec risks </div><div><br></div><div><br></div><div>Jeff, Dave - you guys more than anyone have contributed to the overall awareness of applications security.  It is in everyone's interest - including the OWASP community and the developer community - to ensure the Top 10 is as accurate as possible.  Isn't opening the Top 10 to a more diverse set of security professionals in the interests of us all?  </div><div><br></div><div>Folks - this is important.  This is not just any OWASP project, this is the top 10.  The decisions made here, about this issue, will impact the security of people worldwide.  We should take the time and put in the effort to make sure, as a community, that we get this right! </div><div><br></div><div>Leaders this is very important.  Please chime in and make your voice heard on this issue.</div><div><br></div><div>Jerry</div><div><br></div><div><br></div><br><div apple-content-edited="true">
<div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: medium; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">--<br>Jerry Hoff</div><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: medium; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">@jerryhoff<br><a href="mailto:jerry@owasp.org">jerry@owasp.org</a><br><br><br></div>
</div>
<br><div><div>On Feb 26, 2013, at 11:08 AM, Michael Coates <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>> wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div dir="ltr"><div><div><div>Ryan,<br><br>Thanks for that info. I think that helps provide some background, but Jerry's first two questions are still very relevant and the current info we publish doesn't seem to address them:<br>
<br>- What is the methodology used to decide on the "Top 10 risks"?<div>- Who exactly is involved in the selection and ordering of these risks?</div><br></div>One concern I have is that we (OWASP) don't know this information either. The place where the conversation should have happened - the top ten mailing list - does not have any information. <a href="http://lists.owasp.org/pipermail/owasp-topten/">http://lists.owasp.org/pipermail/owasp-topten/</a><br>
<br></div>To reiterate Jerry's questions, where was the top 10 discussed? How as it done? And who was there involved in the decision making (not just providing data)?<br><br><br></div><div>Thanks,<br>Michael<br></div>
<div><br><br></div></div><div class="gmail_extra"><br clear="all"><div><br>--<br>Michael Coates | OWASP | @_mwc<br><a href="http://michael-coates.blogspot.com/" target="_blank">michael-coates.blogspot.com</a><br>
</div>
<br><br><div class="gmail_quote">On Tue, Feb 26, 2013 at 10:29 AM, Ryan Barnett <span dir="ltr"><<a href="mailto:ryan.barnett@owasp.org" target="_blank">ryan.barnett@owasp.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="font-size:14px;font-family:Calibri,sans-serif;word-wrap:break-word"><div>The page here (<a href="https://www.owasp.org/index.php/Top_10_2013-Introduction" target="_blank">https://www.owasp.org/index.php/Top_10_2013-Introduction</a>) lists the following -</div>
<div><br></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div><span style="text-indent:0px;letter-spacing:normal;font-variant:normal;text-align:left;background-color:rgb(248,255,248);display:inline!important;font-weight:normal;float:none;line-height:19.200000762939453px;text-transform:none;font-size:12.800000190734863px;white-space:normal;font-family:sans-serif;word-spacing:0px"><i>"The OWASP Top 10 is based on risk data from 8 firms that specialize in application security, including 4 consulting companies and 4 tool vendors (2 static and 2 dynamic). This data spans over 500,000 vulnerabilities across hundreds of organizations and thousands of applications. The Top 10 items are selected and prioritized according to this prevalence data, in combination with consensus estimates of exploitability, detectability, and impact estimates."</i></span></div>
</blockquote><div><br></div><div>And the Acknowlegments section on that same page lists the 8 data sources:</div><div><br></div><div><ul style="list-style-type:square;text-indent:0px;letter-spacing:normal;font-variant:normal;text-align:left;font-style:normal;font-weight:normal;padding:0px;line-height:19.200000762939453px;text-transform:none;font-size:12.800000190734863px;white-space:normal;margin:0.3em 0px 0px 1.5em;font-family:sans-serif;word-spacing:0px">
<ul style="list-style-type:square;text-indent:0px;letter-spacing:normal;font-variant:normal;text-align:left;font-style:normal;font-weight:normal;padding:0px;line-height:19.200000762939453px;text-transform:none;font-size:12.800000190734863px;white-space:normal;margin:0.3em 0px 0px 1.5em;font-family:sans-serif;word-spacing:0px">
<li style="margin-bottom:0.1em">Aspect Security</li><li style="margin-bottom:0.1em">HP (Results for both Fortify and WebInspect)</li><li style="margin-bottom:0.1em">Minded Security</li><li style="margin-bottom:0.1em">Softtek</li>
<li style="margin-bottom:0.1em">TrustWave</li><li style="margin-bottom:0.1em">Veracode – Statistics</li><li style="margin-bottom:0.1em">WhiteHat Security Inc. – Statistics</li></ul></ul></div><div><br></div><div>My concerns are not with the data sources provided, but that they are mainly factoring in only vulnerability prevalence.  We need to factor in more data sources related to attack frequency/liklihood.  Some example resources:</div>
<ul><li>WASC Web Hacking Incident Database</li><li>Akamai State of the Internet Reports</li><li>Firehosts Web Application Attack Reports</li><li>Imperva's Web Application Attack Reports</li></ul><div>This is just a few examples of real attack data that we should consider with regards to both which items are included and for priority listings.</div>
<div><br></div><div>-Ryan</div><div><br></div><div><br></div><span><div style="border-right:medium none;padding-right:0in;padding-left:0in;padding-top:3pt;text-align:left;font-size:11pt;border-bottom:medium none;font-family:Calibri;border-top:#b5c4df 1pt solid;padding-bottom:0in;border-left:medium none">
<span style="font-weight:bold">From: </span> Michael Coates <<a href="mailto:michael.coates@owasp.org" target="_blank">michael.coates@owasp.org</a>><br><span style="font-weight:bold">Date: </span> Tuesday, February 26, 2013 1:05 PM<br>
<span style="font-weight:bold">To: </span> owasp-topten-project <<a href="mailto:owasp-topten-project@owasp.org" target="_blank">owasp-topten-project@owasp.org</a>><br><span style="font-weight:bold">Cc: </span> OWASP Leaders <<a href="mailto:owasp-leaders@lists.owasp.org" target="_blank">owasp-leaders@lists.owasp.org</a>><br>
<span style="font-weight:bold">Subject: </span> Re: [Owasp-leaders] OWASP Top 10 - Proposal for a Temporary Injunction<br></div><div><div class="h5"><div><br></div><blockquote style="border-left-color: rgb(181, 196, 223); border-left-width: 5px; border-left-style: solid; padding: 0px 0px 0px 5px; margin: 0px 0px 0px 5px; position: static; z-index: auto; ">
<div dir="ltr"><div>Given the importance of the OWASP top 10, its use throughout the world, and the fact it is one of our initial points (for many organizations) of spreading the OWASP mission I think these are valid questions.<br>
<br></div><div>Can someone from the top 10 project provide insight on these questions? Do we have this type of information already published? If not, we should capture and publish. Other organizations will likely want to better understand both our methodology and comprehensive understanding of the landscape that led to our recommendations.<br>
<br><br>Thanks,<br></div><div class="gmail_extra"><br clear="all"><div><br>--<br>Michael Coates | OWASP | @_mwc<br><a href="http://michael-coates.blogspot.com/" target="_blank">michael-coates.blogspot.com</a><br></div><br>
<br><div class="gmail_quote">On Tue, Feb 26, 2013 at 1:47 AM, Jerry Hoff <span dir="ltr"><<a href="mailto:jerry@owasp.org" target="_blank">jerry@owasp.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; position: static; z-index: auto; ">
<div style="word-wrap:break-word">Hello leaders!<div><br></div><div>As we all know, the OWASP Top 10 - 2013 release candidate list was made available on Feb 15, 2013.  Since then, there has been a lot of controversy on a number of points.  The most pressing - in my opinion - is the methodology used to come up with the top 10.</div>
<div><br></div><div>The OWASP top 10 is BY FAR the most visible and recognizable project in OWASP.  It is used as a de facto standard by which countless organizations around the globe measure their application security.  The issues that are covered by the Top 10 will receive the vast majority of attention from security teams around the world - if there are redundant or needless entries, huge amounts of money will be wasted, and if important risks are not listed on the top 10, they will be largely ignored.</div>
<div><br></div><div>That said - I would like to raise the following issues:</div><div><br></div><div><span style="white-space:pre-wrap">  </span>- What is the methodology used to decide on the "Top 10 risks"?</div>
<div><span style="white-space:pre-wrap">  </span>- Who exactly is involved in the selection and ordering of these risks?</div><div><span style="white-space:pre-wrap">  </span>- What assurance do organizations have that this list is a true reflection of webapp-related risk</div>
<div><span style="white-space:pre-wrap">  </span>- Since this is OWASP's most visible flagship project, what assurance do WE in the OWASP community have that this list is an accurate accounting of the top 10 risks intrinsic in web apps? </div>
<div><br></div><div><br></div><div>Folks - OWASP has grown extremely rapidly in a short amount of time, and as the entire industry matures doing things "like we've always done them" is not sufficient in my opinion.</div>
<div><br></div><div>This most popular project - that essentially speaks and represents all of OWASP - should not be selected arbitrarily and released publicly without answers to the questions above.  </div><div><br></div>
<div>Therefore, I respectfully ask Jeff and Dave not to release the OWASP Top 10 - 2013 edition until a reasonable accompanying methodology and metrics are released outlining how these risks were decided upon.</div><div><br>
</div><div>Is this fair?  I absolutely respect the work Jeff and Dave have put into this project over the years - the top 10 is a large part of what made OWASP the organization it is today.  I also respect their rights as the project owners to do as they see fit.  However, since this project is so critical not only to OWASP, but to the world, I respectfully ask that:</div>
<div><br></div><div><span style="white-space:pre-wrap"> </span>- a methodology be published </div><div><span style="white-space:pre-wrap">  </span>- to have an open conversation (perhaps convening a Top 10 Summit) to ensure the top 10 risks are in line with a reasonable methodology</div>
<div><br></div><div>Thank you,</div><div>Jerry</div><div><br></div><div><br></div><div><br></div><div><br></div><div><div><br></div><div><br></div><div><br><div><div style="text-indent:0px;letter-spacing:normal;font-variant:normal;text-align:-webkit-auto;font-style:normal;font-weight:normal;line-height:normal;text-transform:none;font-size:medium;white-space:normal;font-family:Helvetica;word-wrap:break-word;word-spacing:0px">

--<br>Jerry Hoff</div><div style="text-indent:0px;letter-spacing:normal;font-variant:normal;text-align:-webkit-auto;font-style:normal;font-weight:normal;line-height:normal;text-transform:none;font-size:medium;white-space:normal;font-family:Helvetica;word-wrap:break-word;word-spacing:0px">

@jerryhoff<br><a href="mailto:jerry@owasp.org" target="_blank">jerry@owasp.org</a><br><br><br></div></div></div></div></div><br>_______________________________________________<br>
OWASP-Leaders mailing list<br><a href="mailto:OWASP-Leaders@lists.owasp.org" target="_blank">OWASP-Leaders@lists.owasp.org</a><br><a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br>
<br></blockquote></div><br></div></div>
_______________________________________________
OWASP-Leaders mailing list
<a href="mailto:OWASP-Leaders@lists.owasp.org" target="_blank">OWASP-Leaders@lists.owasp.org</a>
<a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a>
</blockquote></div></div></span></div>
</blockquote></div><br></div>
_______________________________________________<br>OWASP-Leaders mailing list<br><a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a><br><a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br></blockquote></div><br></div></blockquote><blockquote type="cite"><div><span>_______________________________________________</span><br><span>OWASP-Leaders mailing list</span><br><span><a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a></span><br><span><a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a></span><br></div></blockquote></body></html>