<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto"><div>So it's like...</div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">49% OWASP</div><div id="AppleMailSignature">10% non OWASP.</div><div id="AppleMailSignature">40% commercial</div><div id="AppleMailSignature">1% trace elements.</div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">That kind of thing?</div><div id="AppleMailSignature">What other "banners" do we have that we can use? Yes a banner is the solution!!!</div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature">Just a suggestion....with respect, could the board possibly take a lead on this issue and get off the fence?? That's what you were Voted in to do, popular or not the decision may be...please make one.</div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature"><br></div><div id="AppleMailSignature"><br><br>Eoin Keary<div>OWASP Volunteer</div><div>@eoinkeary</div><div><span style="font-size: 13pt;"><br></span></div><div><br></div></div><div><br>On 30 Nov 2015, at 5:32 p.m., Claudia Casanovas <<a href="mailto:claudia.aviles-casanovas@owasp.org">claudia.aviles-casanovas@owasp.org</a>> wrote:<br><br></div><blockquote type="cite"><div><div dir="ltr">Hi All,<div><br></div><div>I can add the status as In Dispute Banner to the Benchmark Wiki Page immediately.</div><div><br></div><div>Claudia</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 30, 2015 at 9:27 AM, Tobias Glemser <span dir="ltr"><<a href="mailto:tobias.glemser@owasp.org" target="_blank">tobias.glemser@owasp.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">> At the _very_ least it should flag the project as being 'in dispute' (as Kevin<br>
> suggested) while a more detailed evaluation is performed.<br>
+1<br>
<br>
The conflict is clear scrolling through all those E-Mails, Blogs, etc. Until it's sorted out we need a clarification visible to everyone, the Benchmark projects status is heavily discussed within the Community at the Moment.<br>
<br>
> -----Urspr√ľngliche Nachricht-----<br>
> Von: <a href="mailto:owasp-leaders-bounces@lists.owasp.org">owasp-leaders-bounces@lists.owasp.org</a> [mailto:<a href="mailto:owasp-leaders-">owasp-leaders-</a><br>
> <a href="mailto:bounces@lists.owasp.org">bounces@lists.owasp.org</a>] Im Auftrag von psiinon<br>
> Gesendet: Montag, 30. November 2015 18:18<br>
> An: Jim Manico<br>
> Cc: OWASP Foundation Board List; <a href="mailto:owasp-leaders@lists.owasp.org">owasp-leaders@lists.owasp.org</a><br>
> Betreff: Re: [Owasp-leaders] [Owasp-board] OWASP Benchmark project -<br>
> potential conflict of interest [ Z1 UNGESICHERT ]<br>
><br>
> I'd like to start by saying that I actually _like_ the Benchmark project.<br>
> Myself and other ZAP developers have made some contributions to it, and<br>
> we have used (and will continue to use) it to make ZAP better.<br>
> I think these sort of testing applications are very valuable to all security tools,<br>
> and I'd like to thank Dave and his team for the significant amount of effort<br>
> involved in developing and open sourcing it.<br>
><br>
> But I dont think it should be an OWASP project.<br>
> I do not think that a vendor led project can ever objectively evaluate<br>
> competing commercial and open source projects.<br>
> I do not think that just saying 'pull requests welcomed' makes a project<br>
> vendor neutral.<br>
> I do not think that a project as mired in controversy as the Benchmark project<br>
> can ever recover to become truly independent.<br>
><br>
> I am very disappointed in the Boards handling of this affair.<br>
><br>
> Ideally I'd like Dave to understand how much damage this project has done<br>
> and to withdraw it as an OWASP project, while still maintaining it as a very<br>
> valuable vendor led open source resource.<br>
><br>
> Failing that I really hope that the Board comes to its senses and ejects the<br>
> Benchmark project before even more damage is done.<br>
> At the _very_ least it should flag the project as being 'in dispute' (as Kevin<br>
> suggested) while a more detailed evaluation is performed.<br>
><br>
> However I'm rapidly loosing loosing faith that the Board will do the right thing<br>
> and protect OWASP's image in the way that they should have already done.<br>
> Members - please make your voices heard before more people and projects<br>
> leave OWASP.<br>
><br>
> Simon<br>
><br>
><br>
> On Sat, Nov 28, 2015 at 5:14 AM, Jim Manico <<a href="mailto:jim.manico@owasp.org">jim.manico@owasp.org</a>><br>
> wrote:<br>
><br>
><br>
>       WAFEC does not "do vendor assessment"; they define a<br>
> comprehensive standard built by many vendors and let the community use<br>
> that standard to measure tools on their own. Just a FYI, I was involved in the<br>
> early version of this project. (Things may have changed since my<br>
> involvement, I'm sure Tony has more details here)<br>
><br>
>       Johanna's comments on this issue lead me to believe that the<br>
> damage done to both OWASP and DHS is even more destructive that I<br>
> thought. It saddens me to see this level of abuse just to sell product.<br>
><br>
><br>
>       --<br>
>       Jim Manico<br>
>       Global Board Member<br>
>       OWASP Foundation<br>
>       <a href="https://www.owasp.org" rel="noreferrer" target="_blank">https://www.owasp.org</a> <<a href="https://www.owasp.org/" rel="noreferrer" target="_blank">https://www.owasp.org/</a>><br>
>       Join me in Rome for AppSecEU 2016!<br>
><br>
>       On Nov 28, 2015, at 2:40 AM, Josh Sokol <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>><br>
> wrote:<br>
><br>
><br>
><br>
>               One of the ideas that Andrew proposed was actually<br>
> approaching WAFEC to learn more about how they do vendor assessment in<br>
> a neutral way.  It's great to hear that we have a resource here already that<br>
> we can leverage.  I wasn't aware of your affiliation.<br>
><br>
>               ~josh<br>
><br>
>               On Nov 27, 2015 2:47 PM, "Tony Turner"<br>
> <<a href="mailto:tony.turner@owasp.org">tony.turner@owasp.org</a>> wrote:<br>
><br>
><br>
>                       I sincerely hope so. That's not the impression I got<br>
> from others comments. Personally I haven't used the tool at all, but as I'm<br>
> the project lead for another product evaluation project (WAFEC) I'm very<br>
> sensitive to the need of collaboration with many different vendors. There<br>
> really has to be a very high level (almost paranoid level) transparency with<br>
> how vendors are approached, worked with, how requirements for<br>
> evaluation are defined, and how metrics are derived.<br>
><br>
>                       It appears the project team is attempting to address<br>
> these last 2 somewhat but I'd like to see more specifics, and the lack of<br>
> information on how they are addressing vendor communication,<br>
> participation and transparency seems a bit concerning. Lastly, it is my opinion<br>
> that project leadership should not belong to anyone working for or with a<br>
> partnership/ownership stake for any vendor being evaluated. I think this is a<br>
> flawed model and should transition to a vendor neutral party.<br>
><br>
>                       On Nov 27, 2015 3:16 PM, "Josh Sokol"<br>
> <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>> wrote:<br>
><br>
><br>
>                               I don't know what qualifies as "significant" in<br>
> your mind, but my understanding is that there have been contributions from<br>
> other vendors:<br>
><br>
><br>
>       <a href="https://www.owasp.org/index.php/Benchmark#tab=Acknowledgem" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/Benchmark#tab=Acknowledgem</a><br>
> ents<br>
><br>
><br>
>                               Still, Dave would like more, but he can't force<br>
> them to help.<br>
><br>
><br>
>                               ~josh<br>
><br>
><br>
>                               On Fri, Nov 27, 2015 at 1:45 PM, Tony Turner<br>
> <<a href="mailto:tony.turner@owasp.org">tony.turner@owasp.org</a>> wrote:<br>
><br>
><br>
>                                       While I can appreciate that they<br>
> started with Contrast, if there hasn't been significant effort to include other<br>
> vendors it's a worthless benchmark. It's easy to state you haven't gotten<br>
> support from other vendors and that's fine, but until you do there's really<br>
> nothing to release. Why was it ever upgraded? Talking about the results<br>
> without an accurate comparative analysis is akin to snake oil.<br>
><br>
>                                       On Nov 27, 2015 1:49 PM, "Josh Sokol"<br>
> <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>> wrote:<br>
><br>
><br>
>                                               Thank you for the links to<br>
> those articles.  The first one discusses the strengths and weaknesses of the<br>
> different methods of evaluating for application vulnerabilities.  The section<br>
> on the Benchmark seems wholly appropriate to me.  That seems like an<br>
> excellent description of what the project is designed to do.  I see some<br>
> metrics in there about which tools are more effective on which types of<br>
> vulnerabilities, but I don't see him straight up saying "The OWASP Benchmark<br>
> proves that Contrast is better".  This seems like statements made based on<br>
> some level of testing and research.  Honestly, I don't see any OWASP brand<br>
> abuse in that article.  Whether it's in good taste or not at this stage in the<br>
> project is certainly debatable, but if you look at the brand usage guidelines<br>
> (<a href="https://www.owasp.org/index.php/Marketing/Resources#tab=BRAND_GU" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/Marketing/Resources#tab=BRAND_GU</a><br>
> IDELINES), I don't see any violations.  We need to govern to policy here which<br>
> is why Paul and Noreen are evaluating changes to the guidelines and our<br>
> enforcement policies to make abuse more difficult.<br>
><br>
><br>
>                                               The second article is a<br>
> competing vendor's reaction to the first.  He makes some good points about<br>
> the issues with Benchmark, but he also says that he hopes that it will be<br>
> improved over time, and Dave has committed to that.  What I don't see is the<br>
> vendor saying "...and Veracode has committed resources to help make the<br>
> Benchmark more accurate across all tool sets".  The Benchmark page is pretty<br>
> clear that it does it's best to provide a benchmark without working exactly<br>
> like a real-world application.  Maybe some more disclaimer text about where<br>
> the project is at today would be in order to validate some of Chris' concerns,<br>
> but I hardly see this as "brand abuse" or a reason to demote the project.<br>
><br>
><br>
>                                               Please consider that I have<br>
> spoken with both Dave and Jeff on this topic and read much of the<br>
> discussions around it before formulating my opinion.  I doubt that you have<br>
> done the same so I'm not sure how you can claim that you have researched<br>
> the issues and all parties involved when you haven't even spoken with the<br>
> two people whom you are accusing of impropriety.  I have no bias here.  I am<br>
> simply speaking with the individuals involved, looking at the currently OWASP<br>
> policies and guidelines, and helping to determine our next steps.<br>
><br>
><br>
>                                               ~josh<br>
><br>
><br>
>                                               On Fri, Nov 27, 2015 at 12:22<br>
> PM, johanna curiel curiel <<a href="mailto:johanna.curiel@owasp.org">johanna.curiel@owasp.org</a>> wrote:<br>
><br>
><br>
>                                                       >>While I agree with<br>
> you that there has been some brand abuse, it was abuse by Contrast<br>
> (specifically their marketing department), and not by "these gentlemen" as<br>
> you state.<br>
><br>
>                                                       Really? ..'some brand<br>
> abuse'..this is more than brand abuse<br>
><br>
><br>
><br>
>                                                       Josh , please read also<br>
> the article written by Jeff<br>
><br>
>       <a href="http://www.darkreading.com/vulnerabilities---threats/why-its-" rel="noreferrer" target="_blank">http://www.darkreading.com/vulnerabilities---threats/why-its-</a><br>
> insane-to-trust-static-analysis/a/d-id/1322274?<br>
><br>
><br>
><br>
>                                                       And Veracode's<br>
> reaction including others in Twitter<br>
><br>
>       <a href="https://www.veracode.com/blog/2015/09/no-one-technology-" rel="noreferrer" target="_blank">https://www.veracode.com/blog/2015/09/no-one-technology-</a><br>
> silver-bullet<br>
><br>
><br>
>                                                       My strong advice is to<br>
> research the issues and all the parties involved before making statements<br>
><br>
><br>
><br>
><br>
>                                                       On Fri, Nov 27, 2015 at<br>
> 2:07 PM, Josh Sokol <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>> wrote:<br>
><br>
><br>
>                                                               Jim,<br>
><br>
><br>
>                                                               A concern was<br>
> expressed to the Board and, frankly, I am insulted by you saying that this was<br>
> "brushed under the rug".  The Board delegated Matt to talk with Dave and<br>
> they had a lengthy conversation on the subject.  The Board delegated me to<br>
> talk with Jeff and we had a lengthy conversation on the subject.  If you do<br>
> not trust in our abilities to read people, ask the right questions, and provide<br>
> honest feedback about our conversations, then that's a bigger issue that we<br>
> should take offline.  After our conversations, we took the time to call a<br>
> special two-hour session of the Board in order to discuss this subject (and<br>
> only this subject).  We spoke about all facets of the issue at hand, about the<br>
> challenges and possible solutions, and concluded on some very concrete<br>
> next steps.<br>
><br>
>                                                               While I agree<br>
> with you that there has been some brand abuse, it was abuse by Contrast<br>
> (specifically their marketing department), and not by "these gentlemen" as<br>
> you state.  Unless you can point to some sort of evidence showing that Jeff<br>
> and/or Dave first-hand abused the brand, then I believe that you are<br>
> speaking with your heart instead of with your head.  I appreciate your<br>
> passion, but I label this as conspiracy theory because without evidence to<br>
> support your claims, I cannot accept it as anything other.<br>
><br>
><br>
>                                                               ~josh<br>
><br>
><br>
>                                                               On Fri, Nov 27,<br>
> 2015 at 11:39 AM, Jim Manico <<a href="mailto:jim.manico@owasp.org">jim.manico@owasp.org</a>> wrote:<br>
><br>
><br>
>                                                                       Josh,<br>
><br>
>                                                                       I stand<br>
> by my comments and perspective, but I'm disheartened that you consider<br>
> my presentation of facts (and the concerns of many active members of our<br>
> community) as a "conspiracy theory".<br>
><br>
>                                                                       In my<br>
> experience, these kind of comments border on insults and only cause folks<br>
> to harden their opinions.<br>
><br>
>                                                                       Once<br>
> again I feel these gentlemen got away with a kind of brand abuse that is very<br>
> hurtful to the OWASP community but I am at a loss as to how handle or<br>
> prevent these kinds of mishaps - especially when board members like<br>
> yourself seem willing to - from what I see - brush it under the rug.<br>
><br>
><br>
>                                                                       --<br>
>                                                                       Jim<br>
> Manico<br>
>                                                                       Global<br>
> Board Member<br>
>                                                                       OWASP<br>
> Foundation<br>
><br>
>       <a href="https://www.owasp.org" rel="noreferrer" target="_blank">https://www.owasp.org</a> <<a href="https://www.owasp.org/" rel="noreferrer" target="_blank">https://www.owasp.org/</a>><br>
>                                                                       Join me<br>
> in Rome for AppSecEU 2016!<br>
><br>
>                                                                       On Nov<br>
> 27, 2015, at 7:23 PM, Josh Sokol <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
>       Admittedly, this was my gut reaction at first as well.  I began linking all<br>
> of these companies, people, and projects together in my mind (there are<br>
> some loose links there) and painted a big conspiracy picture similar to what<br>
> Jim and Dinis have stated.  But, after speaking directly with Jeff, and hearing<br>
> about the conversation that Dave and Matt had, I've changed my mind.<br>
><br>
><br>
><br>
>       I think it begins with the project itself.  If you aren't sold on the idea<br>
> of the Benchmark, then you'll never be able to get to the same place.  My<br>
> original line of thinking was that it was just a bar for vendors to compare their<br>
> tools against eachother, but that's a bit myopic.  We are in an industry where<br>
> things evolve very quickly.  As a customer of these tools, I know firsthand<br>
> that something that a tool does today may not be the case a week from now.<br>
> Likewise, new features are being added daily and I need a point-in-time<br>
> metric to be able to gauge continual effectiveness.  Cool, right?  But not a<br>
> game changer.  The game changer part comes when you realize that by<br>
> developing and evolving the tests that go into the Benchmark, we are<br>
> moving the bar higher and higher.  We (OWASP) are effectively setting the<br>
> standard by which these tools will be compared.  A tool that receives a lower<br>
> score on the Benchmark today knows exactly what they need to work on in<br>
> order to pass that test tomorrow and we already have examples of tools that<br>
> have made improvements because of their Benchmark score (Ask Simon<br>
> about ZAP's experience with the Benchmark).  I don't think that anyone can<br>
> argue that the Benchmark project isn't being effective when OWASP's own<br>
> tools are being driven forward as a result of using it.<br>
><br>
><br>
><br>
>       But, but, but, Dave and Jeff own Aspect and have stock in Contrast<br>
> and Jeff is the Contrast CTO and Contrast got good scores so it's a conspiracy<br>
> right?  Is there some code that allows Contrast to use the Benchmark?<br>
> Absolutely.  Can you really blame Dave for starting his testing on the<br>
> effectiveness of the Benchmark with a tool that he owned and is familiar<br>
> with?  If I were going to start a similar project, there's no question in my mind<br>
> that I would begin my testing with the tools that I have available to me.  That<br>
> said, is there code that allows other tools to use the Benchmark?  Absolutely.<br>
><br>
><br>
><br>
>       Regarding "Dave has a history of breaching his duty to be vendor<br>
> neutral", while I cannot comment on his past actions, I can judge what we've<br>
> seen recently.  Matt saw a presentation from Dave on the Benchmark at a<br>
> conference in Chicago.  He said that he felt that the message was appropriate<br>
> and while IAST tools were mentioned as receiving higher scores, it wasn't a<br>
> "Contrast is the best" type of message, more of a generality.  I saw a very<br>
> similar (if not the same) talk by Jeff at LASCON 2015 and the message was<br>
> exactly the same.  I watched the talk expecting some sort of impropriety, but<br>
> found none.  So, perhaps Dave has abused some privilege granted to him in<br>
> the past, but what I've seen from him at this point, with respect to the<br>
> Benchmark, has been appropriate.<br>
><br>
><br>
><br>
>       You have a very good point with respect to the Contrast marketing<br>
> message around the Benchmark.  It's been completely absurd, over the top,<br>
> and, in my personal opinion, intolerable.  In fact, I experienced the same<br>
> thing that you talked about with them at LASCON 2015 where they stood in<br>
> front of the door of the room Jeff was speaking in and scanned attendees as<br>
> they went into the talk.  I agree that these types of aggressive marketing<br>
> tactics cannot be tolerated at OWASP.  In addition, we have seen several<br>
> marketing messages from them effectively implying that OWASP endorses<br>
> Contrast.  Clearly this is not OK.  I've spoken with Jeff about it and we agreed<br>
> that it is not in the Benchmark's best interest to have this aggressive Contrast<br>
> marketing around it at such an early stage.  He has said that he is not<br>
> responsible for Contrast's marketing team, but that he would speak with the<br>
> people who are.  I haven't seen a single message from them since so I'm<br>
> guessing that he's made good on this promise.  While that's an excellent<br>
> start, OWASP's takeaway here should be that we need to do a better job<br>
> with our brand usage guidelines both in terms of the wording and<br>
> enforcement.  There are many other companies out there that use the<br>
> OWASP brand and I think that we agree that selective enforcement against<br>
> Contrast is not the right answer.  Paul and Noreen are actively working on<br>
> this.  Either way, I think that implying that activities from a vendor's<br>
> marketing department means that the project is not objective is not<br>
> inappropriate.  If we feel that the project is not objective, then separate<br>
> measures need to be taken to drive contribution diversity into it.  That I<br>
> absolutely agree with and the message from Dave was that he would love to<br>
> have more contributors to his project.  But, seeing as we cannot force people<br>
> to work on it, this becomes a matter of "put up or shut up".  The same goes<br>
> for the experts that you said reviewed the code.  If they feel that it is<br>
> somehow skewed towards Contrast, they have the power to change that.<br>
> Now, if someone tries to participate and Dave tells them "No thanks", then I<br>
> agree we have a problem, but I don't hear anyone inferring that happened.<br>
><br>
><br>
><br>
>       Please, let's drop the conspiracy theories and focus on the tangible<br>
> things that we can do to help an OWASP project to be more successful.  Help<br>
> find more participants to drive diversity, update our brand usage guidelines<br>
> to prevent abuse, enforce them widely, etc.  Thank you.<br>
><br>
><br>
><br>
>       ~josh<br>
><br>
><br>
><br>
>       On Thu, Nov 26, 2015 at 4:24 PM, Jim Manico<br>
> <<a href="mailto:jim.manico@owasp.org">jim.manico@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
>       Dinis,<br>
><br>
><br>
>       Like a rare celestial moment when all the planets plus Pluto are<br>
> aligned, I just read your email on the future of OWASP projects thinking,<br>
> "Dinis is spot on".<br>
><br>
><br>
>       Reflecting on projects I manage or work on...<br>
><br>
><br>
>       The Java Encoder and HTML Sanitizer are likely best moved to Apache<br>
> now that they have reached a measure of adoption and maturity. Apache<br>
> would be a much better long term custodian. Perhaps the same for<br>
> AppSensor, but not my project - just thinking out loud.<br>
><br>
><br>
>       Other similar defensive projects are still being noodled on, so OWASP<br>
> is a decent home for these research efforts.<br>
><br>
><br>
>       The whole tools category is also something to consider. Dependency<br>
> Check and of course ZAP are some of the best projects that OWASP offers,<br>
> are they best served where they are today? Both have rich communities of<br>
> developers but I don't see the foundation doing much to support these<br>
> efforts.<br>
><br>
><br>
>       ASVS has the opportunity to effect massive change, I would to love<br>
> to see major investment and volunteer activity here. Pro tech writer,<br>
> detailed discourses on each individual requirement, etc. If I was king (and I<br>
> am not, at all) I would invest in ASVS on a 6 figure scale. (And who started<br>
> ASVS? Jeff, Dave and Boberski, hat tip to such a marvelous idea). Or maybe<br>
> moving ASVS to the W3C or IETF would help it grow?<br>
><br>
><br>
>       The Proactive Controls was a pet project but as we approach 2.0 we<br>
> have several active/awesome volunteers working on it. We will be making<br>
> the doc "world editable" to make contributions easy. OWASP seems like a<br>
> good home for such an awareness doc. Same with T10, especially if<br>
> community edits are welcome.<br>
><br>
><br>
>       Anyhow, I'm with you on this Dinis. Once a project starts to reach<br>
> production quality, spinning off the project as an external project or moving<br>
> it to a different foundation where managing production software or formal<br>
> standards is their thing seems realistic.<br>
><br>
><br>
>       I don't have all the answers here, but your email certainly resonated<br>
> with me.<br>
><br>
><br>
>       Aloha,<br>
><br>
>       --<br>
><br>
>       Jim Manico<br>
><br>
>       Global Board Member<br>
><br>
>       OWASP Foundation<br>
><br>
>       <a href="https://www.owasp.org" rel="noreferrer" target="_blank">https://www.owasp.org</a> <<a href="https://www.owasp.org/" rel="noreferrer" target="_blank">https://www.owasp.org/</a>><br>
><br>
>       Join me in Rome for AppSecEU 2016!<br>
><br>
><br>
>       On Nov 26, 2015, at 11:26 PM, Dinis Cruz <<a href="mailto:dinis.cruz@owasp.org">dinis.cruz@owasp.org</a>><br>
> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
>               Jim's reading of this situation is exactly my view on the value<br>
> of the Contrast tool and how it has been 'pushing' the rules of engagement<br>
> to an very 'fuzzy' moral/ethical/commercial limit :)<br>
><br>
><br>
>               As per my last email, a key problem here is the 'perceived<br>
> expectation' of what is an OWASP project, and how it should be consumed.<br>
><br>
><br>
>               If you look at the OWASP benchmark as a research project,<br>
> then the only way it could be making the kind of claims it makes (and have<br>
> credibility) is if it had evolved from OWASP, with its own (diverse) community<br>
><br>
><br>
>               On 26 November 2015 at 21:01, Jim Manico<br>
> <<a href="mailto:jim.manico@owasp.org">jim.manico@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
>                       I have a different take on this situation but my<br>
> opinion is the "minority opinion". I will respect the rest of the boards take on<br>
> this, but here is how I see it.<br>
><br>
><br>
>                       First of all, Jeff has stated that he feels I am attacking<br>
> him personally from a past personal grudge, and frankly I do not fault him for<br>
> that perspective since we definitely have history with conflict. So it's fair to<br>
> take my opinion on this with a grain of salt.<br>
><br>
><br>
>                       I look at this situation from the perspective of a<br>
> forensic investigator.<br>
><br>
><br>
>                       1) The Benchmark project had Contrast hooks and<br>
> only Contrast hooks in it when I reviewed it so this leads me to believe that<br>
> the project was clearly built with Contrast in mind from the ground up, at<br>
> least in some way.<br>
><br>
>                       3) Dave has a history of breaching his duty to be<br>
> vendor neutral. He was gifted with a keynote in South Korea a few years ago,<br>
> and used that opportunity to discuss and pitch Contrast, on stage, during a<br>
> keynote - with Contrast specific slides. This is just supporting evidence of his<br>
> intention at OWASP to push Contrast in ways that I think are against the<br>
> intentions and goals of our foundation.<br>
><br>
>                       3) Other experts have reviewed the project and felt<br>
> that many of the tests were very slanted and almost contrived to support<br>
> Contrast. I can drag those folks into this conversation, but I do not think that<br>
> would help in any way. So it's fair to call this point heresy.<br>
><br>
>                       4) I do not see this project as revolutionary, at all.<br>
> Every vendor has their own test suite tuned for their tool. As the benchmark<br>
> stands today, I see it as just another vendors product-specific benchmark.<br>
> Mass collaboration from many vendors is not just a "nice to have" but a base<br>
> requirement to get even close to useful for objective tool measurement.<br>
><br>
>                       5) Jeff stating that his Marketing people went over<br>
> the line is also an admission that - well, they went over the line. By the same<br>
> token Jeff was in his booth at AppSec USA surrounded by benchmark<br>
> marketing material, discussing this to prospects and he even asked me and<br>
> Mr Coates to wade into this debate and support Dave. So to say he was not<br>
> involved and it was only his marketing people seems a stretch at best.<br>
><br>
>                       6) The Contrast marketing team was wandering<br>
> around the conference zapping folks to get leads, and I asked them to stay in<br>
> their booth, which is standard conference policy. These folks know better<br>
> but are again going over the line to sell product at OWASP. There is a better<br>
> way (like focusing on product capability and language support, have<br>
> consistent + stellar customer service, have a humble and gracious attitude to<br>
> all prospects and customers, actively participate in OWASP in a vendor<br>
> neutral and community supportive way, etc).<br>
><br>
><br>
>                       Please note, I think Contrast is a decent tool, I've<br>
> offered to resell in the past, and I have recommended it in certain situations -<br>
> even after this situation arose. I'm stating this out of honestly and desire to<br>
> put my cards on the table. I truly want Jeff and Dave to be successful. They<br>
> have dedicated their lives to AppSec and if anyone should win big-time, I<br>
> hope it's them. I even told Jeff I hope he hits the mother load and donates a<br>
> little back to OWASP.<br>
><br>
><br>
>                       However, my instinct and evidence tell me that they<br>
> both went over the line in the use of the OWASP brand to sell product.<br>
><br>
><br>
>                       Now, Jeff makes a good point. We as a board and<br>
> staff are very poor at enforcing brand management policy and it's not fair to<br>
> single out Contrast, when many other vendors violate the brand, IMO. Just<br>
> google OWASP and watch the ads fly that use the OWASP name to sell<br>
> product.<br>
><br>
><br>
>                       Also, any and every request that was made of Dave to<br>
> adjust the project for the sake of vendor neutrality was taken very seriously.<br>
> Regardless of Daves past intentions, he is clearly trying to do the right thing<br>
> moving forward.<br>
><br>
><br>
>                       I look to "postels principle" in this situation (this is<br>
> otherwise known as the "robustness principle" and dates back to the<br>
> creation of TCP) . This is paraphrased as, "Be liberal in what you take from<br>
> others but be conservative in what you dish out". So I think it's critical that<br>
> OWASP and any OWASP resource present itself in a strict vendor neutral<br>
> way. But unless OWASP wants to be much more "even" in the enforcement<br>
> of brand policy across the board to all violators, we should be fairly lax in the<br>
> enforcement of these issues from the outside world.<br>
><br>
><br>
>                       I am trying to be objective here. My trigonometry<br>
> teacher once told me "I'd fail my mother" when I asked him if he would ever<br>
> fail me (I was an A student). If my mother owned a security company and<br>
> tried the same stunt, I'd have the same opinions about her actions as well.<br>
><br>
><br>
>                       So what next? Well hello from the other side. I'm<br>
> going back to listening to Adele's new album where I can sit in my deep<br>
> feelings and reflect upon what the OWASP foundation has done to enrich my<br>
> life. I would much rather keep out of this (and any other conflict laden<br>
> situation at OWASP), but I feel it's my responsibility to speak up.<br>
><br>
><br>
>                       Aloha,<br>
><br>
><br>
><br>
>                       --<br>
><br>
>                       Jim Manico<br>
><br>
>                       Global Board Member<br>
><br>
>                       OWASP Foundation<br>
><br>
>                       <a href="https://www.owasp.org" rel="noreferrer" target="_blank">https://www.owasp.org</a> <<a href="https://www.owasp.org/" rel="noreferrer" target="_blank">https://www.owasp.org/</a>><br>
><br>
>                       Join me in Rome for AppSecEU 2016!<br>
><br>
><br>
>                       On Nov 26, 2015, at 9:09 PM, Josh Sokol<br>
> <<a href="mailto:josh.sokol@owasp.org">josh.sokol@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                               I would be happy to provide an update.<br>
><br>
><br>
><br>
><br>
>                               *       Matt Konda and Dave Wichers, the<br>
> Benchmark Project Leader, had a conversation a few weeks back.  To<br>
> summarize their conversation, Dave acknowledges the currently lack of<br>
> diversity in his project and it is his sincere desire to drive more people to it to<br>
> help.  He also acknowledges the issues with Contrast's extreme marketing<br>
> around the project and feels that it is in everyone's best interests for them to<br>
> curb it back.  While he does have an ownership stake in Contrast, he works at<br>
> Aspect and has no control over the marketing messages that they are putting<br>
> out there.  From the Board perspective, there has been no evidence of any<br>
> impropriety on Dave's part and it should be our goal to drive more diversity<br>
> into the project to support Dave.  Dave appears to be sincere in his desires to<br>
> create a tool where OWASP can tell vendors what we expect from their<br>
> tools.  If the main issue is that only members of Aspect are working on it,<br>
> then the best thing that we can do is try to get him some outside assistance.<br>
> We are also asking that the project be opened up to commits via Git so that<br>
> outsiders can push commits to it.<br>
><br>
><br>
><br>
>                               *       Josh Sokol and Jeff Williams, the CTO<br>
> of Contrast, had a conversation a few weeks back.  To summarize their<br>
> conversation, Jeff believes that the work that Dave is doing on the<br>
> Benchmark is a game changer in that it gives OWASP the power in dictating<br>
> what these tools need to be finding.  He wants the Benchmark to be<br>
> successful and understands that it needs to be diverse in order to be trusted.<br>
> He recognizes that Dave is trying to do that and does not want the marketing<br>
> message from Contrast to interfere with his efforts.  Jeff felt that the "Lab"<br>
> status granted to Benchmark meant that it was ready for mainstream<br>
> adoption, that it had 21k tests, and was almost a year old, and didn't see<br>
> anything wrong with marketing their results, but has agreed to talk to their<br>
> marketing team to get them to lay off that message for now.  From the Board<br>
> perspective, we have come to the realization that our brand usage guidelines<br>
> need an overhaul to clarify what is and is not allowed.  We have made a few<br>
> proposals and have reached out to Mozilla to gain more insight on their<br>
> guidelines and even ask for assistance.  Noreen and Paul are taking lead on<br>
> these efforts.<br>
><br>
>                               *       There is a note in the notes that the<br>
> Board was supposed to follow up with an open letter to the community and<br>
> companies involved describing our review and actions.  I don't think that has<br>
> happened so I will remind the person who took on that action item.<br>
><br>
><br>
>                               I'm happy to answer any questions that you<br>
> may have.<br>
><br>
><br>
><br>
><br>
><br>
>                               ~josh<br>
><br>
><br>
><br>
><br>
>                               On Thu, Nov 26, 2015 at 11:55 AM, Tobias<br>
> <<a href="mailto:tobias.gondrom@owasp.org">tobias.gondrom@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
>                                       There have been several<br>
> conversations on that matter and a dedicated call. Unfortunately for personal<br>
> reasons I could not attend the last call as it was at 04:00am my local time, but<br>
> all other board members did participate.<br>
><br>
><br>
><br>
>                                       Could please one of my fellow board<br>
> members give an update.<br>
><br>
><br>
><br>
>                                       Best, Tobias<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                       On 26/11/15 18:04, Timo Goosen<br>
> wrote:<br>
><br>
><br>
><br>
><br>
>                                               I would also like to know the<br>
> answer to Simon's question. We need to get rid of bad apples in OWASP in<br>
> my opinion, there are too many people just using the OWASP "name" or<br>
> "brand" to improve their own financial situation or career.<br>
><br>
><br>
>                                               Regards.<br>
><br>
>                                               Timo<br>
><br>
><br>
>                                               On Thu, Nov 26, 2015 at 1:13<br>
> PM, psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>> wrote:<br>
><br>
><br>
><br>
><br>
>                                                       Paul, and the rest of<br>
> the board,<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Its been over 2 months<br>
> since I raised this issue.<br>
><br>
><br>
><br>
>                                                       Whats happening?<br>
><br>
><br>
><br>
>                                                       Has the board even<br>
> discussed it?<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Cheers,<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Simon<br>
><br>
><br>
><br>
><br>
><br>
>                                                       On Tue, Oct 20, 2015 at<br>
> 10:00 PM, Paul Ritchie <<a href="mailto:paul.ritchie@owasp.org">paul.ritchie@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
>                                                               Eoin, Johanna,<br>
> All:<br>
><br>
><br>
>                                                               In an earlier<br>
> email, Josh Sokol mentioned that he will be speaking in the next day or 2 to<br>
> their CTO, while at LASCON, as a representative of the OWASP Board.<br>
> Following that feedback, the Board has action to take the next steps.<br>
><br>
><br>
>                                                               Just an FYI that<br>
> all comments are recognized and action is being taken.<br>
><br>
><br>
>                                                               Paul<br>
><br>
><br>
><br>
><br>
>                                                               Best Regards,<br>
> Paul Ritchie<br>
><br>
>                                                               OWASP<br>
> Executive Director<br>
><br>
><br>
>       <a href="mailto:paul.ritchie@owasp.org">paul.ritchie@owasp.org</a><br>
><br>
><br>
><br>
>                                                               On Tue, Oct 20,<br>
> 2015 at 1:54 PM, johanna curiel curiel <<a href="mailto:johanna.curiel@owasp.org">johanna.curiel@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
>                                                                       Time<br>
> for owasp to do a public statement and put a clear story regarding this<br>
> abusive behavior of Owasp brand<br>
><br>
><br>
><br>
>                                                                       On<br>
> Tuesday, October 20, 2015, Eoin Keary <<a href="mailto:eoin.keary@owasp.org">eoin.keary@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
>       Folks,<br>
><br>
><br>
><br>
>       The project should be immediately shelved it's simply bad form.<br>
><br>
><br>
><br>
>       This is damaging to OWASP, the industry and exactly what OWASP is<br>
> not about.<br>
><br>
><br>
><br>
>       There is a clear conflict of interest and distinct lack of science behind<br>
> the claims made by Contrast.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>       Eoin Keary<br>
><br>
><br>
>       OWASP Volunteer<br>
><br>
><br>
>       @eoinkeary<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>       On 7 Oct 2015, at 3:53 p.m., johanna curiel curiel<br>
> <<a href="mailto:johanna.curiel@owasp.org">johanna.curiel@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>       At the moment we did the project review, we observed that the<br>
> project did not have enough testing to be considered in any form as 'ready'<br>
> for benchmarking, neither that it had yet the community adoption, however<br>
> technically speaking as it has been classified by the leaders, the project is at<br>
> the beta stage.<br>
><br>
><br>
><br>
>       Indeed , Dave had the push to have the project reviewed but it was<br>
> never clear that later on the project was going to be advertisied this way.<br>
> That all happend after the presentation at Appsec.<br>
><br>
><br>
><br>
>       I had my concerns regarding how sensitive is the subject of the<br>
> project ,but I think we should allow project leaders to develop their<br>
> communication strategy even if this has conflict of interest. It all depends<br>
> how they behave and how they manage this.<br>
><br>
><br>
><br>
><br>
>       On Tuesday, October 6, 2015, Michael Coates<br>
> <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
>               It's not really that formal to add to the agenda, just a wiki that<br>
> we add in the text.<br>
><br>
><br>
><br>
>               I think you can safely assume it will get the appropriate<br>
> discussion.<br>
><br>
><br>
><br>
>               On Oct 6, 2015, at 7:16 AM, psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>><br>
> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                       Really?? Its not on the agenda yet for the next<br>
> meeting??<br>
><br>
><br>
>                       How does it get added to the agenda?<br>
><br>
><br>
><br>
><br>
><br>
>                       And that was a formal request if that makes any<br>
> difference :)<br>
><br>
><br>
><br>
><br>
><br>
>                       I'm all in favour of getting the facts straight before any<br>
> actions are taken, hence my request for an 'ethical review' or whatever it<br>
> should be called.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                       Cheers,<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                       Simon<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                       On Tue, Oct 6, 2015 at 3:07 PM, Michael Coates<br>
> <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                               First step is to get all of our information<br>
> straight so we're clear on where things are at.<br>
><br>
><br>
><br>
>                               This was not on the board agenda last<br>
> meeting and is also not on the next agenda as of yet (of course it could<br>
> always be added if needed).<br>
><br>
><br>
><br>
>                               We are aware that people have raised<br>
> questions though.   I'm hoping we can get a clear understanding of all the<br>
> facts and then discuss if changes are needed.<br>
><br>
><br>
><br>
><br>
><br>
>                               On Oct 6, 2015, at 1:52 AM, psiinon<br>
> <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                       Hey Michael,<br>
><br>
><br>
><br>
><br>
><br>
>                                       Is the board going to take any action?<br>
><br>
><br>
><br>
><br>
><br>
>                                       Were there any discussions about this<br>
> controversy in the board meeting at AppSec USA?<br>
><br>
><br>
><br>
><br>
><br>
>                                       If not will it be on the agenda for the<br>
> meeting on October 14th?<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                       Cheers,<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                       Simon<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                       On Tue, Oct 6, 2015 at 8:25 AM,<br>
> Michael Coates <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                               Simon<br>
><br>
><br>
><br>
>                                               I posted the below message<br>
> earlier today. At this point my goal is to just gain clarity over the current<br>
> reality and ideally drive to a shared state of success. This message doesn't<br>
> seem to be reflected in the list yet. It could be because my membership<br>
> hasn't been approved or because of mail list delays (I miss Google groups).<br>
> But I think these questions will start the conversation.<br>
><br>
><br>
><br>
>                                               (This was just me asking<br>
> questions as a curious Owasp member, not any action on behalf of the<br>
> board)<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                               Begin forwarded message:<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       From: Michael Coates<br>
> <<a href="mailto:michael.coates@owasp.org">michael.coates@owasp.org</a>><br>
><br>
><br>
>                                                       Date: October 5, 2015<br>
> at 6:20:23 PM PDT<br>
><br>
><br>
>                                                       To: owasp-benchmark-<br>
> <a href="mailto:project@lists.owasp.org">project@lists.owasp.org</a><br>
><br>
><br>
>                                                       Subject: Project<br>
> Questions<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       OWASP Benchmark<br>
> List,<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       I've heard more about<br>
> this project and am excited about the idea of an independent perspective of<br>
> tool performance. I'm trying to understand a few things to better respond to<br>
> questions from those in the security & OWASP community.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       In my mind there are<br>
> two big areas for consideration in a benchmark process.<br>
><br>
><br>
>                                                       1. Are the benchmarks<br>
> testing the right areas?<br>
><br>
><br>
>                                                       2. Is the process for<br>
> creating the benchmark objective & free from conflicts of interest.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       I think as a group<br>
> OWASP is the right body to align on #1.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       I'd like to ask for some<br>
> clarifications on item #2. I think it's important to avoid actual conflict of<br>
> interest and also the appearance of conflict of interest. The former is obvious<br>
> why we mustn't have that, the latter is critical so others have faith in the tool,<br>
> process and outputs of the process when viewing or hearing about the<br>
> project.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       1) Can we clarify<br>
> whether other individuals have submitted meaningful code to the project?<br>
><br>
><br>
>                                                       Observation:<br>
><br>
><br>
>                                                       Nearly all the code<br>
> commits have come from 1 person (project lead).<br>
><br>
><br>
><br>
>       <a href="https://github.com/OWASP/Benchmark/graphs/contributors" rel="noreferrer" target="_blank">https://github.com/OWASP/Benchmark/graphs/contributors</a><br>
> <<a href="https://github.com/OWASP/Benchmark/graphs/contributors" rel="noreferrer" target="_blank">https://github.com/OWASP/Benchmark/graphs/contributors</a>><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       2) Can we clarify the<br>
> contributions of others and their represented organizations?<br>
><br>
><br>
>                                                       Observation:<br>
><br>
><br>
>                                                       The<br>
> acknowledgements tab listed two developers (Juan Gama & Nick Sanidas)<br>
> both who work at the same company as the project lead. It seems other<br>
> people have submitted some small amounts of material, but overall it seems<br>
> all development has come from the same company.<br>
><br>
><br>
><br>
>       <a href="https://www.owasp.org/index.php/Benchmark#tab=Acknowledgem" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/Benchmark#tab=Acknowledgem</a><br>
> ents<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       3) Can we clarify in<br>
> what ways we've mitigated the potential conflict of interest and also the<br>
> appearance of a conflict of interest? This seems like the largest blocker for<br>
> wide spread acceptance of this project and the biggest risk.<br>
><br>
><br>
>                                                       Observation:<br>
><br>
><br>
>                                                       The project lead and<br>
> both of the project developers works for a company with very close ties to<br>
> one of the companies that is evaluated by this project. Further, it appears<br>
> the company is performing very well on the project tests.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       4) If we are going to list<br>
> tool vendors then I'd recommend listing multiple vendors for each category.<br>
><br>
><br>
>                                                       Observation:<br>
><br>
><br>
>                                                       The tools page only<br>
> lists 1 IAST tool. Since this is the point of the potential conflict of interest it is<br>
> important to list numerous IAST tools.<br>
><br>
><br>
><br>
>       <a href="https://www.owasp.org/index.php/Benchmark#tab=Tool_Support_" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/Benchmark#tab=Tool_Support_</a><br>
> 2FResults<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       5) Diverse body with<br>
> multiple points of view<br>
><br>
><br>
>                                                       Observation:<br>
><br>
><br>
>                                                       There is no indication<br>
> that multiple stakeholders are present to review and decide on the future of<br>
> this project. If they exist, a new section should be added to the project page<br>
> to raise awareness. If they don't exist, we should reevaluate how we are<br>
> obtaining an independent view of the testing process.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       Again, I think the idea<br>
> of the project is great. From my perspective clarifying these questions will<br>
> help ensure the project is not only objective, but also perceived as objective<br>
> from someone reviewing the material. Ultimately this will contribute to the<br>
> success and growth of the project.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       Thanks!<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       --<br>
><br>
><br>
>                                                       Michael Coates<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                               On Oct 2, 2015, at 1:31 AM,<br>
> psiinon <<a href="mailto:psiinon@gmail.com">psiinon@gmail.com</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       OK, based on the<br>
> concerns raised so far I think the board should initiate a review of the OWASP<br>
> Benchmark project.<br>
><br>
><br>
><br>
><br>
><br>
>                                                       I'm not raising a formal<br>
> complaint against it, I'm just requesting a review.<br>
><br>
><br>
><br>
><br>
><br>
>                                                       And I dont think it<br>
> needs a 'standard' project review - Johanna has already done a very good job<br>
> of this.<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Not sure what sort of<br>
> review you'd call it, I'll leave the naming to others :)<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       I'm concerned that we<br>
> have an OWASP project lead by a company who has a clear commercial stake<br>
> in the results.<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Bringing more<br>
> companies on board will help, but I'm still not sure that alone will make it<br>
> independent enough.<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Commercial companies<br>
> can afford to dedicate staff to improving Benchmark so that their products<br>
> look better.<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Open source projects<br>
> just cant do that, so we are at a distinct disadvantage.<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Should we allow a<br>
> commercially driven OWASP project who's aim could be seen be to promote<br>
> commercial software?<br>
><br>
><br>
><br>
><br>
><br>
>                                                       If so, what sort of<br>
> checks and balances does it need?<br>
><br>
><br>
><br>
><br>
><br>
>                                                       Those are the sort of<br>
> questions I'd like an independent review to look at.<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       I do think there are<br>
> some immediate steps that could be taken:<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       *       I'd like to see<br>
> the Benchmark project page clearly state thats its at a very early stage and<br>
> that the results are _not_ yet suitable for use in commercial literature.<br>
><br>
><br>
>                                                       *       I'd also like the<br>
> main companies developing Benchmark to be clearly stated on the main<br>
> page. If and when other companies get involved then this would actually<br>
> help the project's claim of vendor independence.<br>
><br>
><br>
>                                                       *       And I'd love to<br>
> see a respected co-leader added to the project who is not associated with<br>
> any commercial or open source security tools:)<br>
><br>
><br>
><br>
>                                                       And we should carry<br>
> on discussing the project on this list - I think such discussions are very<br>
> healthy, and I'd love to see this project mature to a state where it can be a<br>
> trusted, independent and valued resource.<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       Cheers,<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       Simon<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                       On Thu, Oct 1, 2015 at<br>
> 7:59 PM, Tobias <<a href="mailto:tobias.gondrom@owasp.org">tobias.gondrom@owasp.org</a>> wrote:<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                               @Simon:<br>
><br>
><br>
>                                                               yes, the<br>
> leaders list is the place for your discussions for project and chapter leaders<br>
><br>
><br>
>                                                               @Timo: I like<br>
> your framing of "Don't ask what OWASP can do for me, ask what I can do for<br>
> OWASP."<br>
><br>
><br>
>                                                               That should<br>
> and is indeed the spirit of OWASP:-)<br>
><br>
><br>
>                                                               Best regards,<br>
> Tobias<br>
><br>
><br>
><br>
><br>
><br>
><br>
>                                                               On 30/09/15<br>
> 09:42, Timo Goosen wrote:<br>
><br>
><br>
><br>
><br>
>       ...<br>
><br>
>       [Message clipped]<br>
>       _______________________________________________<br>
>       Owasp-board mailing list<br>
>       <a href="mailto:Owasp-board@lists.owasp.org">Owasp-board@lists.owasp.org</a><br>
>       <a href="https://lists.owasp.org/mailman/listinfo/owasp-board" rel="noreferrer" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-board</a><br>
><br>
><br>
><br>
><br>
><br>
><br>
> --<br>
><br>
> OWASP ZAP <<a href="https://www.owasp.org/index.php/ZAP" rel="noreferrer" target="_blank">https://www.owasp.org/index.php/ZAP</a>>  Project leader<br>
<br>
<br>
<br>
<br>
_______________________________________________<br>
OWASP-Leaders mailing list<br>
<a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a><br>
<a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" rel="noreferrer" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr"><a href="mailto:claudia.aviles-casanovas@owasp.org" target="_blank">Claudia Aviles-Casanovas</a><div><div>Project Coordinator</div><div>Phone:973-288-1697</div></div></div></div></div></div>
</div>
</div></blockquote><blockquote type="cite"><div><span>_______________________________________________</span><br><span>OWASP-Leaders mailing list</span><br><span><a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a></span><br><span><a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a></span><br></div></blockquote></body></html>