<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 30, 2015 at 9:55 PM, Justin Searle <span dir="ltr"><<a href="mailto:justin@meeas.com" target="_blank">justin@meeas.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Psiinon, out of curiosity, from a purely project/code perspective,<br>
what do you feel would make the Benchmark tool more "independent"?<br>
>From digging around in the source code, it seems they already have a<br>
fair number of report parsers for several OSS and commercial tools in<br>
their tree.  To keep this thread a bit more clean, perhaps post your<br>
response in the Benchmark project mailling list or in a GitHub issue<br>
then reply to this thread with link.  That will allow the Benchmark<br>
team to directly receive that feedback and allow those of use<br>
interested to follow up there to have the needed discussions to<br>
improve the tool.<br></blockquote><div><br></div><div>Hi Justin,<br><br></div><div>I dont actually think its a question of parsers, or even specific tests, which is why I think this list is a more appropriate forum.<br></div><div>I (now) dont think that a commercial vendor can be realistically expected to have the level of impartiality required to run a project like this.<br></div><div>Such a project has to be seen to be independent, fair and whiter than white.<br></div><div>What would such a project look like? Pretty much like <a href="https://github.com/sectooladdict/wavsep">wavsep</a> in my opinion - I think Shay has done a great job at being (and being seen to be) independent.<br></div><div>OK so wavsep doesnt cover SAST tools.<br></div><div>But then Benchmark only covers java, so I dont think that can be said to be that comprehensive either;)<br></div><div>I'm very prepared to believe that it was completely unintentional, but I think the way the Benchmark has gone about its testing and publishing of results made it open to the kind of abuse we've seen.<br></div><div>It would be great if it could recover, but I'm not holding my breath.<br><br></div><div>Cheers,<br><br></div><div>Simon<br></div><div><br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Eoin, Dinis, and Jim, it has been a while.  Sorry I've been so removed<br>
from this community the last couple of years.  From reading through<br>
the thread and articles, I don't think it is fair to say the board has<br>
been sitting on the issue.  From Josh's comments, it seems like the<br>
board did take action on this, however I understand if you disagreed<br>
with their decision.  You have always been some of the most vocal<br>
leaders here, and I applaud that.  Your contributions have been great<br>
to OWASP over the years, so please keep it up!<br>
Most of the concerns I've seen stated are around use of the OWASP<br>
brand in marketing.  I personally do not see merit in many of the<br>
concerns, however my personal greatest concerns are around statements<br>
like this:<br>
    "OWASP reports that the best static analysis tools score in the<br>
low 30’s (out of 100) against this benchmark."<br>
That was in the Dark Reading article, and other statements were made<br>
like that in the Twitter video posted above.  That I feel is the most<br>
egregious of the brand misuse as it implies that OWASP as an<br>
organization has formally made statement.  Keep the full project name<br>
in tact such as "The OWASP Benchmark tool reports..." would be a much<br>
more accurate and less brand abusive way to make that statement, and<br>
based on current OWASP policies, much more inline with what is<br>
permitted.  While OWASP members feel even that is going too far,<br>
please remember that OWASP does not own the vast majority of the OWASP<br>
projects.  Each OWASP project is usually owned by the author and in<br>
many cases, any contributor to that project.  OWASP as an legal entity<br>
owns a very small percentage (none that I can even name off the top of<br>
my head).<br>
A few years ago when we were initially working on the new project<br>
leaders handbook and project roadmap (before OWASP disbanded all the<br>
global committees in 2013, including the Global Projects Committee),<br>
we discussed chaining the official verbiage to and OWASP "sponsored"<br>
project.  I think it is unfortunate we didn't codify that terminology,<br>
but regardless, I think that is the always a good way to think of<br>
OWASP projects: projects owned and run by individuals of the<br>
community.  However, not everyone in the OWASP community understand<br>
this.  This is easy to see in such statements as "Allowing this<br>
project to exist without ..." and forcing a "project be opened up to<br>
commits via Git so that outsiders can push commits to it" and OWASP<br>
should "decide on the future of this project".  Personally, I think<br>
the most of the drama around OWASP projects comes from this<br>
misunderstanding and OWASP community members trying to manage an OWASP<br>
project that OWASP doesn't own.<br>
However one of the most difficult issues that perpetuates this problem<br>
and in many cases conflicts concerning brand abuse is project naming.<br>
Since OWASP currently allows projects to use the OWASP name in their<br>
project name (which I think is a mistake), it is hard to refer to a<br>
project without in some way evoking the OWASP brand.  There is very<br>
little legal recourse in most countries to state a fact that "tool X<br>
generated score Y for product Z" in their marketing literature.  That<br>
does not imply that tool X promotes product Z.  And if tool X happens<br>
to be named OWASP Benchmark, then that is not brand infringement in<br>
most countries.  If this is a concern to the OWASP community, then the<br>
better recourse would be to reconsider OWASP's permission to allow<br>
projects to use OWASP in their project name.<br>
Preventing people from making such statements is usually handled in a<br>
EULA saying how you can and can't use the tool and the tool output,<br>
which in most cases including this would be contrary from the official<br>
OSS definition and most OSS licenses.  So the best distance I think we<br>
could hope to obtain is to disallow the use of OWASP in any project<br>
And by the way, why would we ever want to stop ANY company out there<br>
from using OWASP tools and documentation?  Why would we ever want ANY<br>
company NOT to advertise that they use OWASP tools and documentation?<br>
Why would we NOT want a company to state they they use OWASP tools in<br>
their marketing literature?  As long as it is clear that OWASP does<br>
not endorse that company, we should encourage the spread and use of<br>
OWASP tools.  Does anyone have a problem with saying website Z has<br>
been tested for all OWASP Top 10 risks in their marketing literature?<br>
What about saying that all vulnerabilities identified by OWASP Zed<br>
Attack Proxy Project have been remediated in website Z literature?<br>
What about all the current DAST/SAST tools that have an "OWASP Top 10"<br>
testing mode?  I don't think any of these imply that a project is<br>
endorsed by OWASP, but if this is a concern for people, would ..."all<br>
vulnerabilities identified by Zed Attack Proxy Project have been<br>
remediated" be better?<br>
As for a Jeff (or his company) using the benchmark scores from his own<br>
OWASP sponsored project in marketing literature to help customers<br>
understand their commercial offering, I have no qualms with that.  I<br>
don't find that a breach of trust or brand abuse.  I only see brand<br>
abuse in statements mentioned above that stated "Owasp found..." and<br>
such where the tool name was not used, which is explicitly stating a<br>
false OWASP perspective.  Jeff and Coverity in benchmarking their tool<br>
against their own opensource project simply ties the two together in<br>
such a way that can be tested.  Based on statements made by Psiinon<br>
and others, including Coverity's competition, the tool works and does<br>
not seem to be skewed towards Coverity's tool, even though they score<br>
the highest.  The tool is opensource.  If anyone believes the tool<br>
unfairly scores Coverity's tool, or doesn't not provide benefit to<br>
other assessment tools who want to improve their scanning engines,<br>
please dig through the code and identify how it does that.  All I've<br>
seen so far is people disagreeing with how the metric is generated and<br>
the number of tests involved, which in itself doesn't seem to portray<br>
bias for one tool over another.  If the tool is found to favor<br>
Coverity's scanning tool, then that will be shown by someone with time<br>
and interest, and if that is the case, the brand loss will by<br>
Coverity's, not OWASP's.<br>
As for actions, I agree with the actions the board seems to have made<br>
so far.  I do not think any penalties be levied against the Benchmark<br>
project.  I do not think that they should be downgrade back to<br>
incubator, which seems a petty and meaningless action to me.  The<br>
maturity seems to say Lab quality more than many other existing Lab<br>
projects.  I do not think OWASP has any right or reason to force the<br>
Benchmark project to allow commits from additional persons.  Having a<br>
single person do actual commits to main trunks while other offer pull<br>
requests is common and very standard in OSS, and in now way portrays<br>
how "open" the project community is.  And banning companies from any<br>
mention OWASP projects in marketing efforts, wether project leaders<br>
are associate with said companies or not, would be foolish in our<br>
efforts to growing OWASP brand, as long as such marketing efforts do<br>
not implicitly or explicitly imply OWASP endorsement of a company, its<br>
tools, or its services.<br>
As for my suggestions to the OWASP board, I'd recommend the following:<br>
 - An official statement on the Benchmark project page at <a href="http://owasp.org" rel="noreferrer" target="_blank">owasp.org</a><br>
stating as Johanna suggested, that OWASP does not endorse any company,<br>
commercial tool, or commercial service<br>
 - A request to Coverty to make a similar statement on their website<br>
and future marketing efforts just to clarify this misunderstanding<br>
 - A formal cease and desist letter to Coverty to stop making explicit<br>
claims in OWASP's behalf such as "OWASP found ..." and to restrict all<br>
use of the term "OWASP" as part of the "OWASP Benchmark" project's<br>
formal name.<br>
As for the Benchmark project, I'd recommend the following:<br>
 - If the tool doesn't already do so, I'd recommend a simply statement<br>
in the Benchmark reports saying that scores from the tool does not<br>
imply any endorsement for or against any tool tested.<br>
 - Also, digging through your sourcecode tree, I noticed there doesn't<br>
seem to be any copyright notices.  I'd recommend you adding those<br>
copyright notices to whoever owns the code, otherwise it is hard to<br>
enforce any copyright license restrictions.<br>
And finally, as for the OWASP community, I'd encourage you to decide<br>
if it makes sense to remove the ability of projects to formally use<br>
OWASP as part of their project name.  If we don't do this then<br>
individual project brand and OWASP brand becomes commingled, and<br>
ownership becomes less clear.  Project leaders, for your current or<br>
future projects, I'd personally recommend you don't use OWASP in the<br>
title so you can build project brand recognition independent of OWASP,<br>
and instead do something like "Project X, an OWASP project" in your<br>
project marketing.<br>
Justin Searle<br>
Managing Partner - UtiliSec<br>
<a href="tel:%2B1%20801-784-2052" value="+18017842052">+1 801-784-2052</a><br>
<a href="mailto:justin@utilisec.com">justin@utilisec.com</a><br>
<a href="mailto:justin@meeas.com">justin@meeas.com</a><br>
<div><div class="h5"><br>
On Mon, Nov 30, 2015 at 10:40 AM, psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>> wrote:<br>
>> In the short term, It is better to remove it from OWASP, leaving the door<br>
>> open for its return (in a future when some of the independence and quality<br>
>> issues have been solved)<br>
> I would be delighted to welcome an independent, high quality Benchmark<br>
> project back into OWASP :)<br>
>> Specially when recently we made David Rook remove this much more benign<br>
>> 'commercial content' from OWASP<br>
>> Dinis<br>
>> On 30 November 2015 at 17:17, psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>> wrote:<br>
>>> I'd like to start by saying that I actually _like_ the Benchmark project.<br>
>>> Myself and other ZAP developers have made some contributions to it, and<br>
>>> we have used (and will continue to use) it to make ZAP better.<br>
>>> I think these sort of testing applications are very valuable to all<br>
>>> security tools, and I'd like to thank Dave and his team for the significant<br>
>>> amount of effort involved in developing and open sourcing it.<br>
>>> But I dont think it should be an OWASP project.<br>
>>> I do not think that a vendor led project can ever objectively evaluate<br>
>>> competing commercial and open source projects.<br>
>>> I do not think that just saying 'pull requests welcomed' makes a project<br>
>>> vendor neutral.<br>
>>> I do not think that a project as mired in controversy as the Benchmark<br>
>>> project can ever recover to become truly independent.<br>
>>> I am very disappointed in the Boards handling of this affair.<br>
>>> Ideally I'd like Dave to understand how much damage this project has done<br>
>>> and to withdraw it as an OWASP project, while still maintaining it as a very<br>
>>> valuable vendor led open source resource.<br>
>>> Failing that I really hope that the Board comes to its senses and ejects<br>
>>> the Benchmark project before even more damage is done.<br>
>>> At the _very_ least it should flag the project as being 'in dispute' (as<br>
>>> Kevin suggested) while a more detailed evaluation is performed.<br>
>>> However I'm rapidly loosing loosing faith that the Board will do the<br>
>>> right thing and protect OWASP's image in the way that they should have<br>
>>> already done.<br>
>>> Members - please make your voices heard before more people and projects<br>
>>> leave OWASP.<br>
>>> Simon<br>
>>> On Sat, Nov 28, 2015 at 5:14 AM, Jim Manico <<a href="mailto:jim.manico@owasp.org">jim.manico@owasp.org</a>> wrote:<br>
>>>> WAFEC does not "do vendor assessment"; they define a comprehensive<br>
>>>> standard built by many vendors and let the community use that standard to<br>
>>>> measure tools on their own. Just a FYI, I was involved in the early version<br>
>>>> of this project. (Things may have changed since my involvement, I'm sure<br>
>>>> Tony has more details here)<br>
>>>> Johanna's comments on this issue lead me to believe that the damage done<br>
>>>> to both OWASP and DHS is even more destructive that I thought. It saddens me<br>
>>>> to see this level of abuse just to sell product.<br>
>>>> --<br>
>>>> Jim Manico<br>
>>>> Global Board Member<br>
>>>> OWASP Foundation<br>
>>>> <a href="https://www.owasp.org" rel="noreferrer" target="_blank">https://www.owasp.org</a><br>
>>>> Join me in Rome for AppSecEU 2016!<br>
>>>> On Nov 28, 2015, at 2:40 AM, Josh Sokol <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>> wrote:<br>
>>>> One of the ideas that Andrew proposed was actually approaching WAFEC to<br>
>>>> learn more about how they do vendor assessment in a neutral way.  It's great<br>
>>>> to hear that we have a resource here already that we can leverage.  I wasn't<br>
>>>> aware of your affiliation.<br>
>>>> ~josh<br>
>>>> On Nov 27, 2015 2:47 PM, "Tony Turner" <<a href="mailto:tony.turner@owasp.org">tony.turner@owasp.org</a>> wrote:<br>
>>>>> I sincerely hope so. That's not the impression I got from others<br>
>>>>> comments. Personally I haven't used the tool at all, but as I'm the project<br>
>>>>> lead for another product evaluation project (WAFEC) I'm very sensitive to<br>
>>>>> the need of collaboration with many different vendors. There really has to<br>
>>>>> be a very high level (almost paranoid level) transparency with how vendors<br>
>>>>> are approached, worked with, how requirements for evaluation are defined,<br>
>>>>> and how metrics are derived.<br>
>>>>> It appears the project team is attempting to address these last 2<br>
>>>>> somewhat but I'd like to see more specifics, and the lack of information on<br>
>>>>> how they are addressing vendor communication, participation and transparency<br>
>>>>> seems a bit concerning. Lastly, it is my opinion that project leadership<br>
>>>>> should not belong to anyone working for or with a partnership/ownership<br>
>>>>> stake for any vendor being evaluated. I think this is a flawed model and<br>
>>>>> should transition to a vendor neutral party.<br>
>>>>> On Nov 27, 2015 3:16 PM, "Josh Sokol" <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>> wrote:<br>
>>>>>> I don't know what qualifies as "significant" in your mind, but my<br>
>>>>>> understanding is that there have been contributions from other vendors:<br>
>>>>>> <a href="https://www.owasp.org/index.php/Benchmark#tab=Acknowledgements" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/Benchmark#tab=Acknowledgements</a><br>
>>>>>> Still, Dave would like more, but he can't force them to help.<br>
>>>>>> ~josh<br>
>>>>>> On Fri, Nov 27, 2015 at 1:45 PM, Tony Turner <<a href="mailto:tony.turner@owasp.org">tony.turner@owasp.org</a>><br>
>>>>>> wrote:<br>
>>>>>>> While I can appreciate that they started with Contrast, if there<br>
>>>>>>> hasn't been significant effort to include other vendors it's a worthless<br>
>>>>>>> benchmark. It's easy to state you haven't gotten support from other vendors<br>
>>>>>>> and that's fine, but until you do there's really nothing to release. Why was<br>
>>>>>>> it ever upgraded? Talking about the results without an accurate comparative<br>
>>>>>>> analysis is akin to snake oil.<br>
>>>>>>> On Nov 27, 2015 1:49 PM, "Josh Sokol" <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>> wrote:<br>
>>>>>>>> Thank you for the links to those articles.  The first one discusses<br>
>>>>>>>> the strengths and weaknesses of the different methods of evaluating for<br>
>>>>>>>> application vulnerabilities.  The section on the Benchmark seems wholly<br>
>>>>>>>> appropriate to me.  That seems like an excellent description of what the<br>
>>>>>>>> project is designed to do.  I see some metrics in there about which tools<br>
>>>>>>>> are more effective on which types of vulnerabilities, but I don't see him<br>
>>>>>>>> straight up saying "The OWASP Benchmark proves that Contrast is better".<br>
>>>>>>>> This seems like statements made based on some level of testing and research.<br>
>>>>>>>> Honestly, I don't see any OWASP brand abuse in that article.  Whether it's<br>
>>>>>>>> in good taste or not at this stage in the project is certainly debatable,<br>
>>>>>>>> but if you look at the brand usage guidelines<br>
>>>>>>>> (<a href="https://www.owasp.org/index.php/Marketing/Resources#tab=BRAND_GUIDELINES" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/Marketing/Resources#tab=BRAND_GUIDELINES</a>),<br>
>>>>>>>> I don't see any violations.  We need to govern to policy here which is why<br>
>>>>>>>> Paul and Noreen are evaluating changes to the guidelines and our enforcement<br>
>>>>>>>> policies to make abuse more difficult.<br>
>>>>>>>> The second article is a competing vendor's reaction to the first.<br>
>>>>>>>> He makes some good points about the issues with Benchmark, but he also says<br>
>>>>>>>> that he hopes that it will be improved over time, and Dave has committed to<br>
>>>>>>>> that.  What I don't see is the vendor saying "...and Veracode has committed<br>
>>>>>>>> resources to help make the Benchmark more accurate across all tool sets".<br>
>>>>>>>> The Benchmark page is pretty clear that it does it's best to provide a<br>
>>>>>>>> benchmark without working exactly like a real-world application.  Maybe some<br>
>>>>>>>> more disclaimer text about where the project is at today would be in order<br>
>>>>>>>> to validate some of Chris' concerns, but I hardly see this as "brand abuse"<br>
>>>>>>>> or a reason to demote the project.<br>
>>>>>>>> Please consider that I have spoken with both Dave and Jeff on this<br>
>>>>>>>> topic and read much of the discussions around it before formulating my<br>
>>>>>>>> opinion.  I doubt that you have done the same so I'm not sure how you can<br>
>>>>>>>> claim that you have researched the issues and all parties involved when you<br>
>>>>>>>> haven't even spoken with the two people whom you are accusing of<br>
>>>>>>>> impropriety.  I have no bias here.  I am simply speaking with the<br>
>>>>>>>> individuals involved, looking at the currently OWASP policies and<br>
>>>>>>>> guidelines, and helping to determine our next steps.<br>
>>>>>>>> ~josh<br>
>>>>>>>> On Fri, Nov 27, 2015 at 12:22 PM, johanna curiel curiel<br>
>>>>>>>> <<a href="mailto:johanna.curiel@owasp.org">johanna.curiel@owasp.org</a>> wrote:<br>
>>>>>>>>> >>While I agree with you that there has been some brand abuse, it<br>
>>>>>>>>> >> was abuse by Contrast (specifically their marketing department), and not by<br>
>>>>>>>>> >> "these gentlemen" as  you state.<br>
>>>>>>>>> Really? ..'some brand abuse'..this is more than brand abuse<br>
>>>>>>>>> Josh , please read also the article written by Jeff<br>
>>>>>>>>> <a href="http://www.darkreading.com/vulnerabilities---threats/why-its-insane-to-trust-static-analysis/a/d-id/1322274" rel="noreferrer" target="_blank">http://www.darkreading.com/vulnerabilities---threats/why-its-insane-to-trust-static-analysis/a/d-id/1322274</a>?<br>
>>>>>>>>> And Veracode's reaction including others in Twitter<br>
>>>>>>>>> <a href="https://www.veracode.com/blog/2015/09/no-one-technology-silver-bullet" rel="noreferrer" target="_blank">https://www.veracode.com/blog/2015/09/no-one-technology-silver-bullet</a><br>
>>>>>>>>> My strong advice is to research the issues and all the parties<br>
>>>>>>>>> involved before making statements<br>
>>>>>>>>> On Fri, Nov 27, 2015 at 2:07 PM, Josh Sokol <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>><br>
>>>>>>>>> wrote:<br>
>>>>>>>>>> Jim,<br>
>>>>>>>>>> A concern was expressed to the Board and, frankly, I am insulted<br>
>>>>>>>>>> by you saying that this was "brushed under the rug".  The Board delegated<br>
>>>>>>>>>> Matt to talk with Dave and they had a lengthy conversation on the subject.<br>
>>>>>>>>>> The Board delegated me to talk with Jeff and we had a lengthy conversation<br>
>>>>>>>>>> on the subject.  If you do not trust in our abilities to read people, ask<br>
>>>>>>>>>> the right questions, and provide honest feedback about our conversations,<br>
>>>>>>>>>> then that's a bigger issue that we should take offline.  After our<br>
>>>>>>>>>> conversations, we took the time to call a special two-hour session of the<br>
>>>>>>>>>> Board in order to discuss this subject (and only this subject).  We spoke<br>
>>>>>>>>>> about all facets of the issue at hand, about the challenges and possible<br>
>>>>>>>>>> solutions, and concluded on some very concrete next steps.<br>
>>>>>>>>>> While I agree with you that there has been some brand abuse, it<br>
>>>>>>>>>> was abuse by Contrast (specifically their marketing department), and not by<br>
>>>>>>>>>> "these gentlemen" as  you state.  Unless you can point to some sort of<br>
>>>>>>>>>> evidence showing that Jeff and/or Dave first-hand abused the brand, then I<br>
>>>>>>>>>> believe that you are speaking with your heart instead of with your head.  I<br>
>>>>>>>>>> appreciate your passion, but I label this as conspiracy theory because<br>
>>>>>>>>>> without evidence to support your claims, I cannot accept it as anything<br>
>>>>>>>>>> other.<br>
>>>>>>>>>> ~josh<br>
>>>>>>>>>> On Fri, Nov 27, 2015 at 11:39 AM, Jim Manico<br>
>>>>>>>>>> <<a href="mailto:jim.manico@owasp.org">jim.manico@owasp.org</a>> wrote:<br>
>>>>>>>>>>> Josh,<br>
>>>>>>>>>>> I stand by my comments and perspective, but I'm disheartened that<br>
>>>>>>>>>>> you consider my presentation of facts (and the concerns of many active<br>
>>>>>>>>>>> members of our community) as a "conspiracy theory".<br>
>>>>>>>>>>> In my experience, these kind of comments border on insults and<br>
>>>>>>>>>>> only cause folks to harden their opinions.<br>
>>>>>>>>>>> Once again I feel these gentlemen got away with a kind of brand<br>
>>>>>>>>>>> abuse that is very hurtful to the OWASP community but I am at a loss as to<br>
>>>>>>>>>>> how handle or prevent these kinds of mishaps - especially when board members<br>
>>>>>>>>>>> like yourself seem willing to - from what I see - brush it under the rug.<br>
>>>>>>>>>>> --<br>
>>>>>>>>>>> Jim Manico<br>
>>>>>>>>>>> Global Board Member<br>
>>>>>>>>>>> OWASP Foundation<br>
>>>>>>>>>>> <a href="https://www.owasp.org" rel="noreferrer" target="_blank">https://www.owasp.org</a><br>
>>>>>>>>>>> Join me in Rome for AppSecEU 2016!<br>
>>>>>>>>>>> On Nov 27, 2015, at 7:23 PM, Josh Sokol <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>><br>
>>>>>>>>>>> wrote:<br>
>>>>>>>>>>> Admittedly, this was my gut reaction at first as well.  I began<br>
>>>>>>>>>>> linking all of these companies, people, and projects together in my mind<br>
>>>>>>>>>>> (there are some loose links there) and painted a big conspiracy picture<br>
>>>>>>>>>>> similar to what Jim and Dinis have stated.  But, after speaking directly<br>
>>>>>>>>>>> with Jeff, and hearing about the conversation that Dave and Matt had, I've<br>
>>>>>>>>>>> changed my mind.<br>
>>>>>>>>>>> I think it begins with the project itself.  If you aren't sold on<br>
>>>>>>>>>>> the idea of the Benchmark, then you'll never be able to get to the same<br>
>>>>>>>>>>> place.  My original line of thinking was that it was just a bar for vendors<br>
>>>>>>>>>>> to compare their tools against eachother, but that's a bit myopic.  We are<br>
>>>>>>>>>>> in an industry where things evolve very quickly.  As a customer of these<br>
>>>>>>>>>>> tools, I know firsthand that something that a tool does today may not be the<br>
>>>>>>>>>>> case a week from now.  Likewise, new features are being added daily and I<br>
>>>>>>>>>>> need a point-in-time metric to be able to gauge continual effectiveness.<br>
>>>>>>>>>>> Cool, right?  But not a game changer.  The game changer part comes when you<br>
>>>>>>>>>>> realize that by developing and evolving the tests that go into the<br>
>>>>>>>>>>> Benchmark, we are moving the bar higher and higher.  We (OWASP) are<br>
>>>>>>>>>>> effectively setting the standard by which these tools will be compared.  A<br>
>>>>>>>>>>> tool that receives a lower score on the Benchmark today knows exactly what<br>
>>>>>>>>>>> they need to work on in order to pass that test tomorrow and we already have<br>
>>>>>>>>>>> examples of tools that have made improvements because of their Benchmark<br>
>>>>>>>>>>> score (Ask Simon about ZAP's experience with the Benchmark).  I don't think<br>
>>>>>>>>>>> that anyone can argue that the Benchmark project isn't being effective when<br>
>>>>>>>>>>> OWASP's own tools are being driven forward as a result of using it.<br>
>>>>>>>>>>> But, but, but, Dave and Jeff own Aspect and have stock in<br>
>>>>>>>>>>> Contrast and Jeff is the Contrast CTO and Contrast got good scores so it's a<br>
>>>>>>>>>>> conspiracy right?  Is there some code that allows Contrast to use the<br>
>>>>>>>>>>> Benchmark?  Absolutely.  Can you really blame Dave for starting his testing<br>
>>>>>>>>>>> on the effectiveness of the Benchmark with a tool that he owned and is<br>
>>>>>>>>>>> familiar with?  If I were going to start a similar project, there's no<br>
>>>>>>>>>>> question in my mind that I would begin my testing with the tools that I have<br>
>>>>>>>>>>> available to me.  That said, is there code that allows other tools to use<br>
>>>>>>>>>>> the Benchmark?  Absolutely.<br>
>>>>>>>>>>> Regarding "Dave has a history of breaching his duty to be vendor<br>
>>>>>>>>>>> neutral", while I cannot comment on his past actions, I can judge what we've<br>
>>>>>>>>>>> seen recently.  Matt saw a presentation from Dave on the Benchmark at a<br>
>>>>>>>>>>> conference in Chicago.  He said that he felt that the message was<br>
>>>>>>>>>>> appropriate and while IAST tools were mentioned as receiving higher scores,<br>
>>>>>>>>>>> it wasn't a "Contrast is the best" type of message, more of a generality.  I<br>
>>>>>>>>>>> saw a very similar (if not the same) talk by Jeff at LASCON 2015 and the<br>
>>>>>>>>>>> message was exactly the same.  I watched the talk expecting some sort of<br>
>>>>>>>>>>> impropriety, but found none.  So, perhaps Dave has abused some privilege<br>
>>>>>>>>>>> granted to him in the past, but what I've seen from him at this point, with<br>
>>>>>>>>>>> respect to the Benchmark, has been appropriate.<br>
>>>>>>>>>>> You have a very good point with respect to the Contrast marketing<br>
>>>>>>>>>>> message around the Benchmark.  It's been completely absurd, over the top,<br>
>>>>>>>>>>> and, in my personal opinion, intolerable.  In fact, I experienced the same<br>
>>>>>>>>>>> thing that you talked about with them at LASCON 2015 where they stood in<br>
>>>>>>>>>>> front of the door of the room Jeff was speaking in and scanned attendees as<br>
>>>>>>>>>>> they went into the talk.  I agree that these types of aggressive marketing<br>
>>>>>>>>>>> tactics cannot be tolerated at OWASP.  In addition, we have seen several<br>
>>>>>>>>>>> marketing messages from them effectively implying that OWASP endorses<br>
>>>>>>>>>>> Contrast.  Clearly this is not OK.  I've spoken with Jeff about it and we<br>
>>>>>>>>>>> agreed that it is not in the Benchmark's best interest to have this<br>
>>>>>>>>>>> aggressive Contrast marketing around it at such an early stage.  He has said<br>
>>>>>>>>>>> that he is not responsible for Contrast's marketing team, but that he would<br>
>>>>>>>>>>> speak with the people who are.  I haven't seen a single message from them<br>
>>>>>>>>>>> since so I'm guessing that he's made good on this promise.  While that's an<br>
>>>>>>>>>>> excellent start, OWASP's takeaway here should be that we need to do a better<br>
>>>>>>>>>>> job with our brand usage guidelines both in terms of the wording and<br>
>>>>>>>>>>> enforcement.  There are many other companies out there that use the OWASP<br>
>>>>>>>>>>> brand and I think that we agree that selective enforcement against Contrast<br>
>>>>>>>>>>> is not the right answer.  Paul and Noreen are actively working on this.<br>
>>>>>>>>>>> Either way, I think that implying that activities from a vendor's marketing<br>
>>>>>>>>>>> department means that the project is not objective is not inappropriate.  If<br>
>>>>>>>>>>> we feel that the project is not objective, then separate measures need to be<br>
>>>>>>>>>>> taken to drive contribution diversity into it.  That I absolutely agree with<br>
>>>>>>>>>>> and the message from Dave was that he would love to have more contributors<br>
>>>>>>>>>>> to his project.  But, seeing as we cannot force people to work on it, this<br>
>>>>>>>>>>> becomes a matter of "put up or shut up".  The same goes for the experts that<br>
>>>>>>>>>>> you said reviewed the code.  If they feel that it is somehow skewed towards<br>
>>>>>>>>>>> Contrast, they have the power to change that.  Now, if someone tries to<br>
>>>>>>>>>>> participate and Dave tells them "No thanks", then I agree we have a problem,<br>
>>>>>>>>>>> but I don't hear anyone inferring that happened.<br>
>>>>>>>>>>> Please, let's drop the conspiracy theories and focus on the<br>
>>>>>>>>>>> tangible things that we can do to help an OWASP project to be more<br>
>>>>>>>>>>> successful.  Help find more participants to drive diversity, update our<br>
>>>>>>>>>>> brand usage guidelines to prevent abuse, enforce them widely, etc.  Thank<br>
>>>>>>>>>>> you.<br>
>>>>>>>>>>> ~josh<br>
>>>>>>>>>>> On Thu, Nov 26, 2015 at 4:24 PM, Jim Manico<br>
>>>>>>>>>>> <<a href="mailto:jim.manico@owasp.org">jim.manico@owasp.org</a>> wrote:<br>
>>>>>>>>>>>> Dinis,<br>
>>>>>>>>>>>> Like a rare celestial moment when all the planets plus Pluto are<br>
>>>>>>>>>>>> aligned, I just read your email on the future of OWASP projects thinking,<br>
>>>>>>>>>>>> "Dinis is spot on".<br>
>>>>>>>>>>>> Reflecting on projects I manage or work on...<br>
>>>>>>>>>>>> The Java Encoder and HTML Sanitizer are likely best moved to<br>
>>>>>>>>>>>> Apache now that they have reached a measure of adoption and maturity. Apache<br>
>>>>>>>>>>>> would be a much better long term custodian. Perhaps the same for AppSensor,<br>
>>>>>>>>>>>> but not my project - just thinking out loud.<br>
>>>>>>>>>>>> Other similar defensive projects are still being noodled on, so<br>
>>>>>>>>>>>> OWASP is a decent home for these research efforts.<br>
>>>>>>>>>>>> The whole tools category is also something to consider.<br>
>>>>>>>>>>>> Dependency Check and of course ZAP are some of the best projects that OWASP<br>
>>>>>>>>>>>> offers, are they best served where they are today? Both have rich<br>
>>>>>>>>>>>> communities of developers but I don't see the foundation doing much to<br>
>>>>>>>>>>>> support these efforts.<br>
>>>>>>>>>>>> ASVS has the opportunity to effect massive change, I would to<br>
>>>>>>>>>>>> love to see major investment and volunteer activity here. Pro tech writer,<br>
>>>>>>>>>>>> detailed discourses on each individual requirement, etc. If I was king (and<br>
>>>>>>>>>>>> I am not, at all) I would invest in ASVS on a 6 figure scale. (And who<br>
>>>>>>>>>>>> started ASVS? Jeff, Dave and Boberski, hat tip to such a marvelous idea). Or<br>
>>>>>>>>>>>> maybe moving ASVS to the W3C or IETF would help it grow?<br>
>>>>>>>>>>>> The Proactive Controls was a pet project but as we approach 2.0<br>
>>>>>>>>>>>> we have several active/awesome volunteers working on it. We will be making<br>
>>>>>>>>>>>> the doc "world editable" to make contributions easy. OWASP seems like a good<br>
>>>>>>>>>>>> home for such an awareness doc. Same with T10, especially if community edits<br>
>>>>>>>>>>>> are welcome.<br>
>>>>>>>>>>>> Anyhow, I'm with you on this Dinis. Once a project starts to<br>
>>>>>>>>>>>> reach production quality, spinning off the project as an external project or<br>
>>>>>>>>>>>> moving it to a different foundation where managing production software or<br>
>>>>>>>>>>>> formal standards is their thing seems realistic.<br>
>>>>>>>>>>>> I don't have all the answers here, but your email certainly<br>
>>>>>>>>>>>> resonated with me.<br>
>>>>>>>>>>>> Aloha,<br>
>>>>>>>>>>>> --<br>
>>>>>>>>>>>> Jim Manico<br>
>>>>>>>>>>>> Global Board Member<br>
>>>>>>>>>>>> OWASP Foundation<br>
>>>>>>>>>>>> <a href="https://www.owasp.org" rel="noreferrer" target="_blank">https://www.owasp.org</a><br>
>>>>>>>>>>>> Join me in Rome for AppSecEU 2016!<br>
>>>>>>>>>>>> On Nov 26, 2015, at 11:26 PM, Dinis Cruz <<a href="mailto:dinis.cruz@owasp.org">dinis.cruz@owasp.org</a>><br>
>>>>>>>>>>>> wrote:<br>
>>>>>>>>>>>> Jim's reading of this situation is exactly my view on the value<br>
>>>>>>>>>>>> of the Contrast tool and how it has been 'pushing' the rules of engagement<br>
>>>>>>>>>>>> to an very 'fuzzy' moral/ethical/commercial limit :)<br>
>>>>>>>>>>>> As per my last email, a key problem here is the 'perceived<br>
>>>>>>>>>>>> expectation' of what is an OWASP project, and how it should be consumed.<br>
>>>>>>>>>>>> If you look at the OWASP benchmark as a research project, then<br>
>>>>>>>>>>>> the only way it could be making the kind of claims it makes (and have<br>
>>>>>>>>>>>> credibility) is if it had evolved from OWASP, with its own (diverse)<br>
>>>>>>>>>>>> community<br>
>>>>>>>>>>>> On 26 November 2015 at 21:01, Jim Manico <<a href="mailto:jim.manico@owasp.org">jim.manico@owasp.org</a>><br>
>>>>>>>>>>>> wrote:<br>
>>>>>>>>>>>>> I have a different take on this situation but my opinion is the<br>
>>>>>>>>>>>>> "minority opinion". I will respect the rest of the boards take on this, but<br>
>>>>>>>>>>>>> here is how I see it.<br>
>>>>>>>>>>>>> First of all, Jeff has stated that he feels I am attacking him<br>
>>>>>>>>>>>>> personally from a past personal grudge, and frankly I do not fault him for<br>
>>>>>>>>>>>>> that perspective since we definitely have history with conflict. So it's<br>
>>>>>>>>>>>>> fair to take my opinion on this with a grain of salt.<br>
>>>>>>>>>>>>> I look at this situation from the perspective of a forensic<br>
>>>>>>>>>>>>> investigator.<br>
>>>>>>>>>>>>> 1) The Benchmark project had Contrast hooks and only Contrast<br>
>>>>>>>>>>>>> hooks in it when I reviewed it so this leads me to believe that the project<br>
>>>>>>>>>>>>> was clearly built with Contrast in mind from the ground up, at least in some<br>
>>>>>>>>>>>>> way.<br>
>>>>>>>>>>>>> 3) Dave has a history of breaching his duty to be vendor<br>
>>>>>>>>>>>>> neutral. He was gifted with a keynote in South Korea a few years ago, and<br>
>>>>>>>>>>>>> used that opportunity to discuss and pitch Contrast, on stage, during a<br>
>>>>>>>>>>>>> keynote - with Contrast specific slides. This is just supporting evidence of<br>
>>>>>>>>>>>>> his intention at OWASP to push Contrast in ways that I think are against the<br>
>>>>>>>>>>>>> intentions and goals of our foundation.<br>
>>>>>>>>>>>>> 3) Other experts have reviewed the project and felt that many<br>
>>>>>>>>>>>>> of the tests were very slanted and almost contrived to support Contrast. I<br>
>>>>>>>>>>>>> can drag those folks into this conversation, but I do not think that would<br>
>>>>>>>>>>>>> help in any way. So it's fair to call this point heresy.<br>
>>>>>>>>>>>>> 4) I do not see this project as revolutionary, at all. Every<br>
>>>>>>>>>>>>> vendor has their own test suite tuned for their tool. As the benchmark<br>
>>>>>>>>>>>>> stands today, I see it as just another vendors product-specific benchmark.<br>
>>>>>>>>>>>>> Mass collaboration from many vendors is not just a "nice to have" but a base<br>
>>>>>>>>>>>>> requirement to get even close to useful for objective tool measurement.<br>
>>>>>>>>>>>>> 5) Jeff stating that his Marketing people went over the line is<br>
>>>>>>>>>>>>> also an admission that - well, they went over the line. By the same token<br>
>>>>>>>>>>>>> Jeff was in his booth at AppSec USA surrounded by benchmark marketing<br>
>>>>>>>>>>>>> material, discussing this to prospects and he even asked me and Mr Coates to<br>
>>>>>>>>>>>>> wade into this debate and support Dave. So to say he was not involved and it<br>
>>>>>>>>>>>>> was only his marketing people seems a stretch at best.<br>
>>>>>>>>>>>>> 6) The Contrast marketing team was wandering around the<br>
>>>>>>>>>>>>> conference zapping folks to get leads, and I asked them to stay in their<br>
>>>>>>>>>>>>> booth, which is standard conference policy. These folks know better but are<br>
>>>>>>>>>>>>> again going over the line to sell product at OWASP. There is a better way<br>
>>>>>>>>>>>>> (like focusing on product capability and language support, have consistent +<br>
>>>>>>>>>>>>> stellar customer service, have a humble and gracious attitude to all<br>
>>>>>>>>>>>>> prospects and customers, actively participate in OWASP in a vendor neutral<br>
>>>>>>>>>>>>> and community supportive way, etc).<br>
>>>>>>>>>>>>> Please note, I think Contrast is a decent tool, I've offered to<br>
>>>>>>>>>>>>> resell in the past, and I have recommended it in certain situations - even<br>
>>>>>>>>>>>>> after this situation arose. I'm stating this out of honestly and desire to<br>
>>>>>>>>>>>>> put my cards on the table. I truly want Jeff and Dave to be successful. They<br>
>>>>>>>>>>>>> have dedicated their lives to AppSec and if anyone should win big-time, I<br>
>>>>>>>>>>>>> hope it's them. I even told Jeff I hope he hits the mother load and donates<br>
>>>>>>>>>>>>> a little back to OWASP.<br>
>>>>>>>>>>>>> However, my instinct and evidence tell me that they both went<br>
>>>>>>>>>>>>> over the line in the use of the OWASP brand to sell product.<br>
>>>>>>>>>>>>> Now, Jeff makes a good point. We as a board and staff are very<br>
>>>>>>>>>>>>> poor at enforcing brand management policy and it's not fair to single out<br>
>>>>>>>>>>>>> Contrast, when many other vendors violate the brand, IMO. Just google OWASP<br>
>>>>>>>>>>>>> and watch the ads fly that use the OWASP name to sell product.<br>
>>>>>>>>>>>>> Also, any and every request that was made of Dave to adjust the<br>
>>>>>>>>>>>>> project for the sake of vendor neutrality was taken very seriously.<br>
>>>>>>>>>>>>> Regardless of Daves past intentions, he is clearly trying to do the right<br>
>>>>>>>>>>>>> thing moving forward.<br>
>>>>>>>>>>>>> I look to "postels principle" in this situation (this is<br>
>>>>>>>>>>>>> otherwise known as the "robustness principle" and dates back to the creation<br>
>>>>>>>>>>>>> of TCP) . This is paraphrased as, "Be liberal in what you take from others<br>
>>>>>>>>>>>>> but be conservative in what you dish out". So I think it's critical that<br>
>>>>>>>>>>>>> OWASP and any OWASP resource present itself in a strict vendor neutral way.<br>
>>>>>>>>>>>>> But unless OWASP wants to be much more "even" in the enforcement of brand<br>
>>>>>>>>>>>>> policy across the board to all violators, we should be fairly lax in the<br>
>>>>>>>>>>>>> enforcement of these issues from the outside world.<br>
>>>>>>>>>>>>> I am trying to be objective here. My trigonometry teacher once<br>
>>>>>>>>>>>>> told me "I'd fail my mother" when I asked him if he would ever fail me (I<br>
>>>>>>>>>>>>> was an A student). If my mother owned a security company and tried the same<br>
>>>>>>>>>>>>> stunt, I'd have the same opinions about her actions as well.<br>
>>>>>>>>>>>>> So what next? Well hello from the other side. I'm going back to<br>
>>>>>>>>>>>>> listening to Adele's new album where I can sit in my deep feelings and<br>
>>>>>>>>>>>>> reflect upon what the OWASP foundation has done to enrich my life. I would<br>
>>>>>>>>>>>>> much rather keep out of this (and any other conflict laden situation at<br>
>>>>>>>>>>>>> OWASP), but I feel it's my responsibility to speak up.<br>
>>>>>>>>>>>>> Aloha,<br>
>>>>>>>>>>>>> --<br>
>>>>>>>>>>>>> Jim Manico<br>
>>>>>>>>>>>>> Global Board Member<br>
>>>>>>>>>>>>> OWASP Foundation<br>
>>>>>>>>>>>>> <a href="https://www.owasp.org" rel="noreferrer" target="_blank">https://www.owasp.org</a><br>
>>>>>>>>>>>>> Join me in Rome for AppSecEU 2016!<br>
>>>>>>>>>>>>> On Nov 26, 2015, at 9:09 PM, Josh Sokol <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>><br>
>>>>>>>>>>>>> wrote:<br>
>>>>>>>>>>>>> I would be happy to provide an update.<br>
>>>>>>>>>>>>> Matt Konda and Dave Wichers, the Benchmark Project Leader, had<br>
>>>>>>>>>>>>> a conversation a few weeks back.  To summarize their conversation, Dave<br>
>>>>>>>>>>>>> acknowledges the currently lack of diversity in his project and it is his<br>
>>>>>>>>>>>>> sincere desire to drive more people to it to help.  He also acknowledges the<br>
>>>>>>>>>>>>> issues with Contrast's extreme marketing around the project and feels that<br>
>>>>>>>>>>>>> it is in everyone's best interests for them to curb it back.  While he does<br>
>>>>>>>>>>>>> have an ownership stake in Contrast, he works at Aspect and has no control<br>
>>>>>>>>>>>>> over the marketing messages that they are putting out there.  From the Board<br>
>>>>>>>>>>>>> perspective, there has been no evidence of any impropriety on Dave's part<br>
>>>>>>>>>>>>> and it should be our goal to drive more diversity into the project to<br>
>>>>>>>>>>>>> support Dave.  Dave appears to be sincere in his desires to create a tool<br>
>>>>>>>>>>>>> where OWASP can tell vendors what we expect from their tools.  If the main<br>
>>>>>>>>>>>>> issue is that only members of Aspect are working on it, then the best thing<br>
>>>>>>>>>>>>> that we can do is try to get him some outside assistance.  We are also<br>
>>>>>>>>>>>>> asking that the project be opened up to commits via Git so that outsiders<br>
>>>>>>>>>>>>> can push commits to it.<br>
>>>>>>>>>>>>> Josh Sokol and Jeff Williams, the CTO of Contrast, had a<br>
>>>>>>>>>>>>> conversation a few weeks back.  To summarize their conversation, Jeff<br>
>>>>>>>>>>>>> believes that the work that Dave is doing on the Benchmark is a game changer<br>
>>>>>>>>>>>>> in that it gives OWASP the power in dictating what these tools need to be<br>
>>>>>>>>>>>>> finding.  He wants the Benchmark to be successful and understands that it<br>
>>>>>>>>>>>>> needs to be diverse in order to be trusted.  He recognizes that Dave is<br>
>>>>>>>>>>>>> trying to do that and does not want the marketing message from Contrast to<br>
>>>>>>>>>>>>> interfere with his efforts.  Jeff felt that the "Lab" status granted to<br>
>>>>>>>>>>>>> Benchmark meant that it was ready for mainstream adoption, that it had 21k<br>
>>>>>>>>>>>>> tests, and was almost a year old, and didn't see anything wrong with<br>
>>>>>>>>>>>>> marketing their results, but has agreed to talk to their marketing team to<br>
>>>>>>>>>>>>> get them to lay off that message for now.  From the Board perspective, we<br>
>>>>>>>>>>>>> have come to the realization that our brand usage guidelines need an<br>
>>>>>>>>>>>>> overhaul to clarify what is and is not allowed.  We have made a few<br>
>>>>>>>>>>>>> proposals and have reached out to Mozilla to gain more insight on their<br>
>>>>>>>>>>>>> guidelines and even ask for assistance.  Noreen and Paul are taking lead on<br>
>>>>>>>>>>>>> these efforts.<br>
>>>>>>>>>>>>> There is a note in the notes that the Board was supposed to<br>
>>>>>>>>>>>>> follow up with an open letter to the community and companies involved<br>
>>>>>>>>>>>>> describing our review and actions.  I don't think that has happened so I<br>
>>>>>>>>>>>>> will remind the person who took on that action item.<br>
>>>>>>>>>>>>> I'm happy to answer any questions that you may have.<br>
>>>>>>>>>>>>> ~josh<br>
>>>>>>>>>>>>> On Thu, Nov 26, 2015 at 11:55 AM, Tobias<br>
>>>>>>>>>>>>> <<a href="mailto:tobias.gondrom@owasp.org">tobias.gondrom@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>> There have been several conversations on that matter and a<br>
>>>>>>>>>>>>>> dedicated call. Unfortunately for personal reasons I could not attend the<br>
>>>>>>>>>>>>>> last call as it was at 04:00am my local time, but all other board members<br>
>>>>>>>>>>>>>> did participate.<br>
>>>>>>>>>>>>>> Could please one of my fellow board members give an update.<br>
>>>>>>>>>>>>>> Best, Tobias<br>
>>>>>>>>>>>>>> On 26/11/15 18:04, Timo Goosen wrote:<br>
>>>>>>>>>>>>>> I would also like to know the answer to Simon's question. We<br>
>>>>>>>>>>>>>> need to get rid of bad apples in OWASP in my opinion, there are too many<br>
>>>>>>>>>>>>>> people just using the OWASP "name" or "brand" to improve their own financial<br>
>>>>>>>>>>>>>> situation or career.<br>
>>>>>>>>>>>>>> Regards.<br>
>>>>>>>>>>>>>> Timo<br>
>>>>>>>>>>>>>> On Thu, Nov 26, 2015 at 1:13 PM, psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>><br>
>>>>>>>>>>>>>> wrote:<br>
>>>>>>>>>>>>>>> Paul, and the rest of the board,<br>
>>>>>>>>>>>>>>> Its been over 2 months since I raised this issue.<br>
>>>>>>>>>>>>>>> Whats happening?<br>
>>>>>>>>>>>>>>> Has the board even discussed it?<br>
>>>>>>>>>>>>>>> Cheers,<br>
>>>>>>>>>>>>>>> Simon<br>
>>>>>>>>>>>>>>> On Tue, Oct 20, 2015 at 10:00 PM, Paul Ritchie<br>
>>>>>>>>>>>>>>> <<a href="mailto:paul.ritchie@owasp.org">paul.ritchie@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>>>> Eoin, Johanna, All:<br>
>>>>>>>>>>>>>>>> In an earlier email, Josh Sokol mentioned that he will be<br>
>>>>>>>>>>>>>>>> speaking in the next day or 2 to their CTO, while at LASCON, as a<br>
>>>>>>>>>>>>>>>> representative of the OWASP Board.  Following that feedback, the Board has<br>
>>>>>>>>>>>>>>>> action to take the next steps.<br>
>>>>>>>>>>>>>>>> Just an FYI that all comments are recognized and action is<br>
>>>>>>>>>>>>>>>> being taken.<br>
>>>>>>>>>>>>>>>> Paul<br>
>>>>>>>>>>>>>>>> Best Regards, Paul Ritchie<br>
>>>>>>>>>>>>>>>> OWASP Executive Director<br>
>>>>>>>>>>>>>>>> <a href="mailto:paul.ritchie@owasp.org">paul.ritchie@owasp.org</a><br>
>>>>>>>>>>>>>>>> On Tue, Oct 20, 2015 at 1:54 PM, johanna curiel curiel<br>
>>>>>>>>>>>>>>>> <<a href="mailto:johanna.curiel@owasp.org">johanna.curiel@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>>>>> Time for owasp to do a public statement and put a clear<br>
>>>>>>>>>>>>>>>>> story regarding this abusive behavior of Owasp brand<br>
>>>>>>>>>>>>>>>>> On Tuesday, October 20, 2015, Eoin Keary<br>
>>>>>>>>>>>>>>>>> <<a href="mailto:eoin.keary@owasp.org">eoin.keary@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>>>>>> Folks,<br>
>>>>>>>>>>>>>>>>>> The project should be immediately shelved it's simply bad<br>
>>>>>>>>>>>>>>>>>> form.<br>
>>>>>>>>>>>>>>>>>> This is damaging to OWASP, the industry and exactly what<br>
>>>>>>>>>>>>>>>>>> OWASP is not about.<br>
>>>>>>>>>>>>>>>>>> There is a clear conflict of interest and distinct lack of<br>
>>>>>>>>>>>>>>>>>> science behind the claims made by Contrast.<br>
>>>>>>>>>>>>>>>>>> Eoin Keary<br>
>>>>>>>>>>>>>>>>>> OWASP Volunteer<br>
>>>>>>>>>>>>>>>>>> @eoinkeary<br>
>>>>>>>>>>>>>>>>>> On 7 Oct 2015, at 3:53 p.m., johanna curiel curiel<br>
>>>>>>>>>>>>>>>>>> <<a href="mailto:johanna.curiel@owasp.org">johanna.curiel@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>>>>>> At the moment we did the project review, we observed that<br>
>>>>>>>>>>>>>>>>>> the project did not have enough testing to be considered in any form as<br>
>>>>>>>>>>>>>>>>>> 'ready'  for benchmarking, neither that it had yet the community adoption,<br>
>>>>>>>>>>>>>>>>>> however technically speaking as it has been classified by the leaders, the<br>
>>>>>>>>>>>>>>>>>> project is at the beta stage.<br>
>>>>>>>>>>>>>>>>>> Indeed , Dave had the push to have the project reviewed<br>
>>>>>>>>>>>>>>>>>> but it was never clear that later on the project was going to be advertisied<br>
>>>>>>>>>>>>>>>>>> this way. That all happend after the presentation at Appsec.<br>
>>>>>>>>>>>>>>>>>> I had my concerns regarding how sensitive is the subject<br>
>>>>>>>>>>>>>>>>>> of the project ,but I think we should allow project leaders to develop their<br>
>>>>>>>>>>>>>>>>>> communication strategy even if this has conflict of interest. It all depends<br>
>>>>>>>>>>>>>>>>>> how they behave and how they manage this.<br>
>>>>>>>>>>>>>>>>>> On Tuesday, October 6, 2015, Michael Coates<br>
>>>>>>>>>>>>>>>>>> <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>>>>>>> It's not really that formal to add to the agenda, just a<br>
>>>>>>>>>>>>>>>>>>> wiki that we add in the text.<br>
>>>>>>>>>>>>>>>>>>> I think you can safely assume it will get the appropriate<br>
>>>>>>>>>>>>>>>>>>> discussion.<br>
>>>>>>>>>>>>>>>>>>> On Oct 6, 2015, at 7:16 AM, psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>><br>
>>>>>>>>>>>>>>>>>>> wrote:<br>
>>>>>>>>>>>>>>>>>>> Really?? Its not on the agenda yet for the next meeting??<br>
>>>>>>>>>>>>>>>>>>> How does it get added to the agenda?<br>
>>>>>>>>>>>>>>>>>>> And that was a formal request if that makes any<br>
>>>>>>>>>>>>>>>>>>> difference :)<br>
>>>>>>>>>>>>>>>>>>> I'm all in favour of getting the facts straight before<br>
>>>>>>>>>>>>>>>>>>> any actions are taken, hence my request for an 'ethical review' or whatever<br>
>>>>>>>>>>>>>>>>>>> it should be called.<br>
>>>>>>>>>>>>>>>>>>> Cheers,<br>
>>>>>>>>>>>>>>>>>>> Simon<br>
>>>>>>>>>>>>>>>>>>> On Tue, Oct 6, 2015 at 3:07 PM, Michael Coates<br>
>>>>>>>>>>>>>>>>>>> <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>>>>>>>> First step is to get all of our information straight so<br>
>>>>>>>>>>>>>>>>>>>> we're clear on where things are at.<br>
>>>>>>>>>>>>>>>>>>>> This was not on the board agenda last meeting and is<br>
>>>>>>>>>>>>>>>>>>>> also not on the next agenda as of yet (of course it could always be added if<br>
>>>>>>>>>>>>>>>>>>>> needed).<br>
>>>>>>>>>>>>>>>>>>>> We are aware that people have raised questions though.<br>
>>>>>>>>>>>>>>>>>>>> I'm hoping we can get a clear understanding of all the facts and then<br>
>>>>>>>>>>>>>>>>>>>> discuss if changes are needed.<br>
>>>>>>>>>>>>>>>>>>>> On Oct 6, 2015, at 1:52 AM, psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>><br>
>>>>>>>>>>>>>>>>>>>> wrote:<br>
>>>>>>>>>>>>>>>>>>>> Hey Michael,<br>
>>>>>>>>>>>>>>>>>>>> Is the board going to take any action?<br>
>>>>>>>>>>>>>>>>>>>> Were there any discussions about this controversy in the<br>
>>>>>>>>>>>>>>>>>>>> board meeting at AppSec USA?<br>
>>>>>>>>>>>>>>>>>>>> If not will it be on the agenda for the meeting on<br>
>>>>>>>>>>>>>>>>>>>> October 14th?<br>
>>>>>>>>>>>>>>>>>>>> Cheers,<br>
>>>>>>>>>>>>>>>>>>>> Simon<br>
>>>>>>>>>>>>>>>>>>>> On Tue, Oct 6, 2015 at 8:25 AM, Michael Coates<br>
>>>>>>>>>>>>>>>>>>>> <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>>>>>>>>> Simon<br>
>>>>>>>>>>>>>>>>>>>>> I posted the below message earlier today. At this point<br>
>>>>>>>>>>>>>>>>>>>>> my goal is to just gain clarity over the current reality and ideally drive<br>
>>>>>>>>>>>>>>>>>>>>> to a shared state of success. This message doesn't seem to be reflected in<br>
>>>>>>>>>>>>>>>>>>>>> the list yet. It could be because my membership hasn't been approved or<br>
>>>>>>>>>>>>>>>>>>>>> because of mail list delays (I miss Google groups). But I think these<br>
>>>>>>>>>>>>>>>>>>>>> questions will start the conversation.<br>
>>>>>>>>>>>>>>>>>>>>> (This was just me asking questions as a curious Owasp<br>
>>>>>>>>>>>>>>>>>>>>> member, not any action on behalf of the board)<br>
>>>>>>>>>>>>>>>>>>>>> Begin forwarded message:<br>
>>>>>>>>>>>>>>>>>>>>> From: Michael Coates <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>><br>
>>>>>>>>>>>>>>>>>>>>> Date: October 5, 2015 at 6:20:23 PM PDT<br>
>>>>>>>>>>>>>>>>>>>>> To: <a href="mailto:owasp-benchmark-project@lists.owasp.org">owasp-benchmark-project@lists.owasp.org</a><br>
>>>>>>>>>>>>>>>>>>>>> Subject: Project Questions<br>
>>>>>>>>>>>>>>>>>>>>> OWASP Benchmark List,<br>
>>>>>>>>>>>>>>>>>>>>> I've heard more about this project and am excited about<br>
>>>>>>>>>>>>>>>>>>>>> the idea of an independent perspective of tool performance. I'm trying to<br>
>>>>>>>>>>>>>>>>>>>>> understand a few things to better respond to questions from those in the<br>
>>>>>>>>>>>>>>>>>>>>> security & OWASP community.<br>
>>>>>>>>>>>>>>>>>>>>> In my mind there are two big areas for consideration in<br>
>>>>>>>>>>>>>>>>>>>>> a benchmark process.<br>
>>>>>>>>>>>>>>>>>>>>> 1. Are the benchmarks testing the right areas?<br>
>>>>>>>>>>>>>>>>>>>>> 2. Is the process for creating the benchmark objective<br>
>>>>>>>>>>>>>>>>>>>>> & free from conflicts of interest.<br>
>>>>>>>>>>>>>>>>>>>>> I think as a group OWASP is the right body to align on<br>
>>>>>>>>>>>>>>>>>>>>> #1.<br>
>>>>>>>>>>>>>>>>>>>>> I'd like to ask for some clarifications on item #2. I<br>
>>>>>>>>>>>>>>>>>>>>> think it's important to avoid actual conflict of interest and also the<br>
>>>>>>>>>>>>>>>>>>>>> appearance of conflict of interest. The former is obvious why we mustn't<br>
>>>>>>>>>>>>>>>>>>>>> have that, the latter is critical so others have faith in the tool, process<br>
>>>>>>>>>>>>>>>>>>>>> and outputs of the process when viewing or hearing about the project.<br>
>>>>>>>>>>>>>>>>>>>>> 1) Can we clarify whether other individuals have<br>
>>>>>>>>>>>>>>>>>>>>> submitted meaningful code to the project?<br>
>>>>>>>>>>>>>>>>>>>>> Observation:<br>
>>>>>>>>>>>>>>>>>>>>> Nearly all the code commits have come from 1 person<br>
>>>>>>>>>>>>>>>>>>>>> (project lead).<br>
>>>>>>>>>>>>>>>>>>>>> <a href="https://github.com/OWASP/Benchmark/graphs/contributors" rel="noreferrer" target="_blank">https://github.com/OWASP/Benchmark/graphs/contributors</a><br>
>>>>>>>>>>>>>>>>>>>>> 2) Can we clarify the contributions of others and their<br>
>>>>>>>>>>>>>>>>>>>>> represented organizations?<br>
>>>>>>>>>>>>>>>>>>>>> Observation:<br>
>>>>>>>>>>>>>>>>>>>>> The acknowledgements tab listed two developers (Juan<br>
>>>>>>>>>>>>>>>>>>>>> Gama & Nick Sanidas) both who work at the same company as the project lead.<br>
>>>>>>>>>>>>>>>>>>>>> It seems other people have submitted some small amounts of material, but<br>
>>>>>>>>>>>>>>>>>>>>> overall it seems all development has come from the same company.<br>
>>>>>>>>>>>>>>>>>>>>> <a href="https://www.owasp.org/index.php/Benchmark#tab=Acknowledgements" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/Benchmark#tab=Acknowledgements</a><br>
>>>>>>>>>>>>>>>>>>>>> 3) Can we clarify in what ways we've mitigated the<br>
>>>>>>>>>>>>>>>>>>>>> potential conflict of interest and also the appearance of a conflict of<br>
>>>>>>>>>>>>>>>>>>>>> interest? This seems like the largest blocker for wide spread acceptance of<br>
>>>>>>>>>>>>>>>>>>>>> this project and the biggest risk.<br>
>>>>>>>>>>>>>>>>>>>>> Observation:<br>
>>>>>>>>>>>>>>>>>>>>> The project lead and both of the project developers<br>
>>>>>>>>>>>>>>>>>>>>> works for a company with very close ties to one of the companies that is<br>
>>>>>>>>>>>>>>>>>>>>> evaluated by this project. Further, it appears the company is performing<br>
>>>>>>>>>>>>>>>>>>>>> very well on the project tests.<br>
>>>>>>>>>>>>>>>>>>>>> 4) If we are going to list tool vendors then I'd<br>
>>>>>>>>>>>>>>>>>>>>> recommend listing multiple vendors for each category.<br>
>>>>>>>>>>>>>>>>>>>>> Observation:<br>
>>>>>>>>>>>>>>>>>>>>> The tools page only lists 1 IAST tool. Since this is<br>
>>>>>>>>>>>>>>>>>>>>> the point of the potential conflict of interest it is important to list<br>
>>>>>>>>>>>>>>>>>>>>> numerous IAST tools.<br>
>>>>>>>>>>>>>>>>>>>>> <a href="https://www.owasp.org/index.php/Benchmark#tab=Tool_Support_2FResults" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/Benchmark#tab=Tool_Support_2FResults</a><br>
>>>>>>>>>>>>>>>>>>>>> 5) Diverse body with multiple points of view<br>
>>>>>>>>>>>>>>>>>>>>> Observation:<br>
>>>>>>>>>>>>>>>>>>>>> There is no indication that multiple stakeholders are<br>
>>>>>>>>>>>>>>>>>>>>> present to review and decide on the future of this project. If they exist, a<br>
>>>>>>>>>>>>>>>>>>>>> new section should be added to the project page to raise awareness. If they<br>
>>>>>>>>>>>>>>>>>>>>> don't exist, we should reevaluate how we are obtaining an independent view<br>
>>>>>>>>>>>>>>>>>>>>> of the testing process.<br>
>>>>>>>>>>>>>>>>>>>>> Again, I think the idea of the project is great. From<br>
>>>>>>>>>>>>>>>>>>>>> my perspective clarifying these questions will help ensure the project is<br>
>>>>>>>>>>>>>>>>>>>>> not only objective, but also perceived as objective from someone reviewing<br>
>>>>>>>>>>>>>>>>>>>>> the material. Ultimately this will contribute to the success and growth of<br>
>>>>>>>>>>>>>>>>>>>>> the project.<br>
>>>>>>>>>>>>>>>>>>>>> Thanks!<br>
>>>>>>>>>>>>>>>>>>>>> --<br>
>>>>>>>>>>>>>>>>>>>>> Michael Coates<br>
>>>>>>>>>>>>>>>>>>>>> On Oct 2, 2015, at 1:31 AM, psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>><br>
>>>>>>>>>>>>>>>>>>>>> wrote:<br>
>>>>>>>>>>>>>>>>>>>>> OK, based on the concerns raised so far I think the<br>
>>>>>>>>>>>>>>>>>>>>> board should initiate a review of the OWASP Benchmark project.<br>
>>>>>>>>>>>>>>>>>>>>> I'm not raising a formal complaint against it, I'm just<br>
>>>>>>>>>>>>>>>>>>>>> requesting a review.<br>
>>>>>>>>>>>>>>>>>>>>> And I dont think it needs a 'standard' project review -<br>
>>>>>>>>>>>>>>>>>>>>> Johanna has already done a very good job of this.<br>
>>>>>>>>>>>>>>>>>>>>> Not sure what sort of review you'd call it, I'll leave<br>
>>>>>>>>>>>>>>>>>>>>> the naming to others :)<br>
>>>>>>>>>>>>>>>>>>>>> I'm concerned that we have an OWASP project lead by a<br>
>>>>>>>>>>>>>>>>>>>>> company who has a clear commercial stake in the results.<br>
>>>>>>>>>>>>>>>>>>>>> Bringing more companies on board will help, but I'm<br>
>>>>>>>>>>>>>>>>>>>>> still not sure that alone will make it independent enough.<br>
>>>>>>>>>>>>>>>>>>>>> Commercial companies can afford to dedicate staff to<br>
>>>>>>>>>>>>>>>>>>>>> improving Benchmark so that their products look better.<br>
>>>>>>>>>>>>>>>>>>>>> Open source projects just cant do that, so we are at a<br>
>>>>>>>>>>>>>>>>>>>>> distinct disadvantage.<br>
>>>>>>>>>>>>>>>>>>>>> Should we allow a commercially driven OWASP project<br>
>>>>>>>>>>>>>>>>>>>>> who's aim could be seen be to promote commercial software?<br>
>>>>>>>>>>>>>>>>>>>>> If so, what sort of checks and balances does it need?<br>
>>>>>>>>>>>>>>>>>>>>> Those are the sort of questions I'd like an independent<br>
>>>>>>>>>>>>>>>>>>>>> review to look at.<br>
>>>>>>>>>>>>>>>>>>>>> I do think there are some immediate steps that could be<br>
>>>>>>>>>>>>>>>>>>>>> taken:<br>
>>>>>>>>>>>>>>>>>>>>> I'd like to see the Benchmark project page clearly<br>
>>>>>>>>>>>>>>>>>>>>> state thats its at a very early stage and that the results are _not_ yet<br>
>>>>>>>>>>>>>>>>>>>>> suitable for use in commercial literature.<br>
>>>>>>>>>>>>>>>>>>>>> I'd also like the main companies developing Benchmark<br>
>>>>>>>>>>>>>>>>>>>>> to be clearly stated on the main page. If and when other companies get<br>
>>>>>>>>>>>>>>>>>>>>> involved then this would actually help the project's claim of vendor<br>
>>>>>>>>>>>>>>>>>>>>> independence.<br>
>>>>>>>>>>>>>>>>>>>>> And I'd love to see a respected co-leader added to the<br>
>>>>>>>>>>>>>>>>>>>>> project who is not associated with any commercial or open source security<br>
>>>>>>>>>>>>>>>>>>>>> tools:)<br>
>>>>>>>>>>>>>>>>>>>>> And we should carry on discussing the project on this<br>
>>>>>>>>>>>>>>>>>>>>> list - I think such discussions are very healthy, and I'd love to see this<br>
>>>>>>>>>>>>>>>>>>>>> project mature to a state where it can be a trusted, independent and valued<br>
>>>>>>>>>>>>>>>>>>>>> resource.<br>
>>>>>>>>>>>>>>>>>>>>> Cheers,<br>
>>>>>>>>>>>>>>>>>>>>> Simon<br>
</div></div><span class="">>>>>>>>>>>>>>>>>>>>>> On Thu, Oct 1, 2015 at 7:59 PM, Tobias<br>
>>>>>>>>>>>>>>>>>>>>> <<a href="mailto:tobias.gondrom@owasp.org">tobias.gondrom@owasp.org</a>> wrote:<br>
>>>>>>>>>>>>>>>>>>>>>> @Simon:<br>
>>>>>>>>>>>>>>>>>>>>>> yes, the leaders list is the place for your<br>
>>>>>>>>>>>>>>>>>>>>>> discussions for project and chapter leaders<br>
>>>>>>>>>>>>>>>>>>>>>> @Timo: I like your framing of "Don't ask what OWASP<br>
>>>>>>>>>>>>>>>>>>>>>> can do for me, ask what I can do for OWASP."<br>
>>>>>>>>>>>>>>>>>>>>>> That should and is indeed the spirit of OWASP:-)<br>
>>>>>>>>>>>>>>>>>>>>>> Best regards, Tobias<br>
>>>>>>>>>>>>>>>>>>>>>> On 30/09/15 09:42, Timo Goosen wrote:<br>
>>>> ...<br>
>>>> [Message clipped]<br>
>>>> _______________________________________________<br>
>>>> Owasp-board mailing list<br>
>>>> <a href="mailto:Owasp-board@lists.owasp.org">Owasp-board@lists.owasp.org</a><br>
>>>> <a href="https://lists.owasp.org/mailman/listinfo/owasp-board" rel="noreferrer" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-board</a><br>
>>> --<br>
</span>>>> OWASP ZAP Project leader<br>
<span class="">>>><br>
>>> _______________________________________________<br>
>>> OWASP-Leaders mailing list<br>
>>> <a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a><br>
>>> <a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" rel="noreferrer" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br>
> --<br>
</span>> OWASP ZAP Project leader<br>
<div class="HOEnZb"><div class="h5">><br>
> _______________________________________________<br>
> OWASP-Leaders mailing list<br>
> <a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a><br>
> <a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" rel="noreferrer" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><a href="https://www.owasp.org/index.php/ZAP" target="_blank">OWASP ZAP</a> Project leader<br></div>