<div dir="ltr"><div><div><div><div>Hey Eoin,<br><br></div>I think project reviews should probably just concentrate on technical aspects, but raise a flag if it looks like theres a potential for conflict of interests or similar concerns. And thats exactly what Johanna did with her report.<br></div><div>If such concerns are raised then an 'independence' (or 'ethical'?) review should be initiated, and thats what I'm calling for now.<br></div>This is the first project I can think of in the last few years that has caused this level of controversy, so I dont think a knee jerk like 'all projects must be reviewed for independence' is appropriate.<br><br></div><div>So, board - can we have an 'independence' review of the Benchmark project?<br></div><div>Is it following the spirit of 'vendor neutrality'?<br></div><div>Is it bringing OWASP into disrepute?<br></div><div><br></div>Cheers,<br><br></div>Simon<br><div><div><div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Oct 6, 2015 at 8:30 AM, Eoin Keary <span dir="ltr"><<a href="mailto:eoin.keary@owasp.org" target="_blank">eoin.keary@owasp.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div>Hi Simon,</div><div>Does a project review look at "independence" or just technical aspects? </div><div><br></div><div>The issue here is two fold...</div><div><br></div><div>1 the project, out of the blocks was used for promotion of a commercial solution. There was also a rush to get it reviewed by appsec USA for that reason IMHO.</div><div><br></div><div>2 the project leads run a company which benefits and it appears that OWASP is being used as a marketing platform as per many comments on social media etc. - looks bad.</div><span class="HOEnZb"><font color="#888888"><div><br></div><div><br></div><div><br></div><div><br></div><div><br>Eoin Keary<div>OWASP Volunteer</div><div>@eoinkeary</div><div><span style="font-size:13pt"><br></span></div><div><br></div></div></font></span><div><div class="h5"><div><br>On 2 Oct 2015, at 9:31 a.m., psiinon <<a href="mailto:psiinon@gmail.com" target="_blank">psiinon@gmail.com</a>> wrote:<br><br></div><blockquote type="cite"><div><div dir="ltr"><div><div><div><div><div><div>OK, based on the concerns raised so far I think the board should initiate a review of the OWASP Benchmark project.<br></div>I'm not raising a formal complaint against it, I'm just requesting a review.<br></div>And I dont think it needs a 'standard' project review - Johanna has already done a very good job of this.<br></div>Not sure what sort of review you'd call it, I'll leave the naming to others :)<br><br></div><div>I'm concerned that we have an OWASP project lead by a company who has a clear commercial stake in the results.<br></div><div>Bringing more companies on board will help, but I'm still not sure that alone will make it independent enough.<br></div><div>Commercial companies can afford to dedicate staff to improving Benchmark so that their products look better.<br></div><div>Open source projects just cant do that, so we are at a distinct disadvantage.<br></div><div>Should we allow a commercially driven OWASP project who's aim could be seen be to promote commercial software?<br></div><div>If so, what sort of checks and balances does it need?<br></div><div>Those are the sort of questions I'd like an independent review to look at.<br></div><div><br></div><div>I do think there are some immediate steps that could be taken:<br></div><ul><li>I'd like to see the Benchmark project page clearly state thats its at a very early stage and that the results are _not_ yet suitable for use in commercial literature.</li><li>I'd also like the main companies developing Benchmark to be clearly stated on the main page. If and when other companies get involved then this would actually help the project's claim of vendor independence.</li><li>And I'd love to see a respected co-leader added to the project who is not associated with any commercial or open source security tools:)</li></ul></div></div><div><div><div><div></div><div>And we should carry on discussing the project on this list - I think such discussions are very healthy, and I'd love to see this project mature to a state where it can be a trusted, independent and valued resource.<br></div><div><br></div><div>Cheers,<br><br></div><div>Simon<br></div></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 1, 2015 at 7:59 PM, Tobias <span dir="ltr"><<a href="mailto:tobias.gondrom@owasp.org" target="_blank">tobias.gondrom@owasp.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
  
    
  
  <div bgcolor="#FFFFFF" text="#000000">
    <div>@Simon: <br>
      yes, the leaders list is the place for your discussions for
      project and chapter leaders<br>
      @Timo: I like your framing of "Don't ask what OWASP can do for me,
      ask what I can do for OWASP." <br>
      That should and is indeed the spirit of OWASP:-) <br>
      Best regards, Tobias<div><div><br>
      <br>
      <br>
      <br>
      On 30/09/15 09:42, Timo Goosen wrote:<br>
    </div></div></div><div><div>
    <blockquote type="cite">
      <div dir="ltr">I don't know enough about the matter to comment on
        this case, but I feel that any situation where an OWASP project
        or any OWASP initiative for that matter, is using OWASP to
        promote its own business interests should be stopped.  We need
        to get rid of bad apples in OWASP.
        <div><br>
        </div>
        <div>OWASP is becoming a brand if you would like to think of it
          that way and we are going to see many more cases of people
          trying to use OWASP to spread their business interests. At the
          end of the day everyone should be acting with an attitude
          of:"Don't ask what OWASP can do for me, ask what I can do for
          OWASP?"</div>
        <div><br>
        </div>
        <div><br>
        </div>
        <div><br>
        </div>
        <div>Regards.</div>
        <div>Timo</div>
      </div>
      <div class="gmail_extra"><br>
        <div class="gmail_quote">On Wed, Sep 30, 2015 at 11:48 AM,
          psiinon <span dir="ltr"><<a href="mailto:psiinon@gmail.com" target="_blank">psiinon@gmail.com</a>></span>
          wrote:<br>
          <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
            <div dir="ltr">
              <div>
                <div>So, a load of controversy about OWASP Benchmark on
                  twitter, but no discussion on the leaders list :(<br>
                </div>
                Is this now the wrong place to discuss OWASP projects??<br>
                <br>
              </div>
              Simon<br>
              <div>
                <div><br>
                </div>
              </div>
            </div>
            <div class="gmail_extra"><br>
              <div class="gmail_quote">On Thu, Sep 24, 2015 at 10:36 AM,
                psiinon <span dir="ltr"><<a href="mailto:psiinon@gmail.com" target="_blank">psiinon@gmail.com</a>></span>
                wrote:<br>
                <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
                  <div dir="ltr">
                    <div>
                      <div>
                        <div>Hi folks,<br>
                          <br>
                          I've got some concerns about the OWASP
                          Benchmark project.<br>
                          <br>
                          I _like_ benchmarks, and I'm very pleased to
                          see an active OWASP project focused on
                          delivering one.<br>
                          I think the project has some technical
                          limitations, but thats fine given the stage
                          the project is at, ie _very_ early.<br>
                          I dont think that any firm conclusions should
                          be drawn from it until its been significantly
                          enhanced.<br>
                          <br>
                          My concerns are around the marketing that one
                          of the companies sponsoring the Benchmark
                          project has started using.<br>
                          <br>
                          Here we have a company that leads an OWASP
                          project that just happens to show that their
                          offering in this area appears to be
                          _significantly_ better than any of the
                          competition.<br>
                          Their recent press release stresses that its
                          an OWASP project, make the most of the fact
                          that the US DHS helped fund it but make no
                          mention of their role in developing it.<br>
                          <br>
                          Regardless of the accuracy of the results, it
                          seems like a huge conflict of interest :(<br>
                          <br>
                          It appears that I'm not the only one with
                          concerns related to the project:<br>
                          <br>
                          <a href="https://www.veracode.com/blog/2015/09/no-one-technology-silver-bullet" target="_blank">https://www.veracode.com/blog/2015/09/no-one-technology-silver-bullet</a><br>
                          <br>
                        </div>
                        What do other people think?<br>
                        <br>
                      </div>
                      Cheers,<br>
                      <br>
                    </div>
                    Simon<span><font color="#888888"><span><font color="#888888"><br clear="all">
                            <div>
                              <div>
                                <div>
                                  <div><br>
                                    -- <br>
                                    <div><a href="https://www.owasp.org/index.php/ZAP" target="_blank">OWASP ZAP</a>
                                      Project leader<br>
                                    </div>
                                  </div>
                                </div>
                              </div>
                            </div>
                          </font></span></font></span></div>
                  <span><font color="#888888">
                    </font></span></blockquote>
              </div>
              <span><font color="#888888"><br>
                  <br clear="all">
                  <br>
                  -- <br>
                  <div><a href="https://www.owasp.org/index.php/ZAP" target="_blank">OWASP ZAP</a> Project leader<br>
                  </div>
                </font></span></div>
            <br>
            _______________________________________________<br>
            OWASP-Leaders mailing list<br>
            <a href="mailto:OWASP-Leaders@lists.owasp.org" target="_blank">OWASP-Leaders@lists.owasp.org</a><br>
            <a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" rel="noreferrer" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br>
            <br>
          </blockquote>
        </div>
        <br>
      </div>
      <br>
      <fieldset></fieldset>
      <br>
      <pre>_______________________________________________
OWASP-Leaders mailing list
<a href="mailto:OWASP-Leaders@lists.owasp.org" target="_blank">OWASP-Leaders@lists.owasp.org</a>
<a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a>
</pre>
    </blockquote>
    <br>
  </div></div></div>

</blockquote></div><br><br clear="all"><br>-- <br><div><a href="https://www.owasp.org/index.php/ZAP" target="_blank">OWASP ZAP</a> Project leader<br></div>
</div>
</div></blockquote><blockquote type="cite"><div><span>_______________________________________________</span><br><span>OWASP-Leaders mailing list</span><br><span><a href="mailto:OWASP-Leaders@lists.owasp.org" target="_blank">OWASP-Leaders@lists.owasp.org</a></span><br><span><a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a></span><br></div></blockquote></div></div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><a href="https://www.owasp.org/index.php/ZAP" target="_blank">OWASP ZAP</a> Project leader<br></div>
</div></div></div></div></div></div></div>