<div dir="ltr"><div>Absolutely not, no.&nbsp;Neither you nor any other single person should be the only person that knows/keeps all of the questions/answers. My earlier suggestion was that no one person has access to all the questions; rather, different sets of people have access only to different (mutually exclusive)&nbsp;sets of questions. This will require a storage method with proper&nbsp;authorisations, but shouldn&#39;t be too hard to develop. Heck it could simply be multiple encrypted zip files or something easy like that. The method doesn&#39;t matter, only the confidentiality and integrity of the data. So no &#39;admin&#39; account that can see all data and no &#39;policy-based&#39; security.</div>

<div>&nbsp;</div>
<div>Otherwise it should be a board that has access to all of them. David&#39;s right, we definitely need a &#39;board&#39; or group of selected folks who have access to the question and answer pool for reviewing, refining, selecting, enhancing, etc. It shouldn&#39;t be one person nor should it be open to the public.</div>

<div>&nbsp;</div>
<div>No matter how much James really, really, really, really (really...) hates NDAs I don&#39;t see a way around some kind of signed, legal confidentiality agreement for the people who are privy to a significant number of testable entities (whether they&#39;re questions, scenarios, etc.). OWASP&#39;s reputation will be at stake if somebody leaks enough info such that anybody can walk in to the exam and have a good chance at passing. OWASP is a legal private foundation in the U.S. and violating its trust should be subject to U.S. legal repercussions. Just like if someone violated one of the FLOSS licenses on the tools and documentation it creates. No different.</div>

<div>&nbsp;</div>
<div>It would be easy to create a separate, private mail list for whoever&#39;s on the peer review board to discuss the cert&#39;s IP. It can only be joined by the approval of a moderator and archives are not stored publicly. OWASP already has such lists. But this list should only be used for discussing questions--no other aspects of the cert project.</div>

<div>&nbsp;</div>
<div>Yes we&#39;re between a rock and a hard place&nbsp;in a way&nbsp;because OWASP and its projects are supposed to be open to anybody, however, this is not like most other projects. It&#39;s not a simple tool or documentation. A test is worthless if the questions and their answers are made public. The rest of the project can be open--there are many other decisions to be made other than the pool of questions and their correct &amp; incorrect answers (for argument&#39;s sake it&#39;s easier to think of it that way, whether or not it turns out to be otherwise). I think that part--the data, rather than the metadata and process&nbsp;so to speak--must remain non-public and known only to select few. Even other OWASP leaders might want to GET this cert, and if they are privy to all (or even a&nbsp;significant part) of the data on the test, they&#39;ll have an unfair advantage. It&#39;s a conflict of interest. Plus, the more people know the questions, the more risk there is of a leak, intentionally or unintentionally, and the more difficult it will be to determine accountability. One single person is insufficient--nothing should be completely entrusted to a single individual--but beyond two the risk does get greater...</div>

<div>&nbsp;</div>
<div>Matt<br><br></div>
<div class="gmail_quote">On Sun, Jul 27, 2008 at 2:47 PM, David H. <span dir="ltr">&lt;<a href="mailto:dmalloc@users.sourceforge.net">dmalloc@users.sourceforge.net</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">
<div class="Ih2E3d">On Sun, Jul 27, 2008 at 8:43 PM, Amro Ahmed &lt;<a href="mailto:amro@owasp.org">amro@owasp.org</a>&gt; wrote:<br>&gt; Yeah, I would highly recommend that.<br>&gt;<br></div>Not to mention that this then ceases to be an open and peer reviewed<br>
process. I would greatly dislike such an approach.<br>
<div class="Ih2E3d"><br>-d<br></div></blockquote>
<div><br><br>
<div class="gmail_quote">On Sun, Jul 27, 2008 at 1:18 PM, <span dir="ltr">&lt;<a href="mailto:james@architectbook.com">james@architectbook.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">
<div>In order to protect the integrity of the exam, should I be the only person that knows all of the questions/answers? Likewise, security is ensured if the actual questions/answers aren&#39;t sent to this listserv as there may be lurkers? What do you think of question creators sending directly to reviewers with only a CC to me?<br>
</div><br>_______________________________________________<br>Owasp-cert mailing list<br><a href="mailto:Owasp-cert@lists.owasp.org">Owasp-cert@lists.owasp.org</a><br><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-cert</a><br>
<br></blockquote></div><br></div></div></div>