<div dir="ltr"><div>I completely agree with James here. Except for one thing: The Hartford is a Fortune 100 company. :-)</div>
<div>&nbsp;</div>
<div>All kidding aside, I actually do have a slightly different opinion on a couple of points. One, not so much a different opinion as another point in and of itself:&nbsp;do we want to go with the term &quot;developer&quot; or do we want to promote &quot;software engineering&quot;? This is kind of a &#39;religious&#39; debate for some people.</div>

<div>&nbsp;</div>
<div>Two, my company also has offices all over the world (in about 80 countries actually--but we&#39;re only Fortune 500, heh), but I disagree with the implication that there are few software companies doing business only in the U.S. or EU. I still think we need to make an effort to sanitise the exam of any geographically/culturally-specific language or meaning. I don&#39;t think OWASP wants to be &quot;big enterprise&quot; exclusive either.</div>

<div>&nbsp;</div>
<div>Matt<br><br></div>
<div class="gmail_quote">On Sun, Jul 27, 2008 at 7:44 AM, <span dir="ltr">&lt;<a href="mailto:james@architectbook.com">james@architectbook.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">
<div>Here is my at work opinion, so all disclaimers apply. I work for The Hartford (or should I say a Fortune 200 enterprise in the Northeast) and the importance of building security into applications is something we encourage at a variety of levels. In the modern enterprise, software can be built offshore where I may never have a single conversation with the developer actually writing code to us buying software from vendors such as Microsoft, IBM, Oracle, etc where I also may never have a single conversation with the developers writing code. I therefore don&#39;t have any reason to think that &quot;developer&quot; level certifications need to have a communications component. I do believe that &quot;architect&quot; level certifications need to have some aspect of soft-skills.<br>
<br>Communication skills is an interesting thing to measure. Many of my peers are great writers but absolutely suck when it comes to doing presentations. This can be attributable to stage fright, accent, etc. The inverse is also true where I have met many great presenters who suck at writing (think Big Four type firms).<br>
<br>In terms of the regional aspects, other than the names of the identifiers, I think it is in scope worldwide. My employer has locations in Europe, South America and Japan and we can&#39;t claim ignorance. How many software companies and/or enterprises are only US or Europe based?<br>
<br>
<blockquote style="PADDING-LEFT: 8px; MARGIN-LEFT: 8px; BORDER-LEFT: blue 2px solid">
<div class="Ih2E3d">-------- Original Message --------<br>Subject: Re: [Owasp-cert] Deadlines for August<br></div>
<div class="Ih2E3d">From: &quot;Joshbw&quot; &lt;<a href="mailto:joshbw@analyticalengine.net" target="_blank">joshbw@analyticalengine.net</a>&gt;<br>Date: Sat, July 26, 2008 1:31 pm<br>To: &lt;<a href="mailto:owasp-cert@lists.owasp" target="_blank">owasp-cert@lists.owasp</a>.org&gt;<br>
<br></div>
<div>
<div class="Ih2E3d">
<div><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">On the subject of essays I'd like to add that in my experience being able to communicate effectively is absolutely necessary for security, whether it be explaining vulnerabilities found by pentesting to the devs that don't necessarily understand the vulnerabilities (has anyone tried explaining CSRF to the unenlightened?) or justifying stricter security standards to high level development leads.&nbsp; Multiple choice will not provide any analysis of said communication skills, which I think begs a broader question on what the intent of the cert really is.&nbsp; &nbsp;From the project PDF it is stated that the following are goals:</font></div>

<div><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">&nbsp;</font></div>
<p style="TEXT-INDENT: -0.25in"><font style="FONT-SIZE: 9pt; FONT-FAMILY: Symbol" face="Symbol" color="#1f497d"><font size="+0"><font style="FONT-WEIGHT: normal; FONT-SIZE: 7pt; LINE-HEIGHT: normal; FONT-STYLE: normal; FONT-VARIANT: normal; font-size-adjust: none; font-stretch: normal" face="Times New Roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </font></font></font><font style="FONT-SIZE: 9pt" face="Calibri,sans-serif" color="#1f497d">Allow employers to rate their developers and architects on security skills so the can be confident that every project has at least one &quot;security master&quot; and all of their developers and architects understand the common errors and how to avoid them.</font></p>

<p style="TEXT-INDENT: -0.25in"><font style="FONT-SIZE: 9pt; FONT-FAMILY: Symbol" face="Symbol" color="#1f497d"><font size="+0"><font style="FONT-WEIGHT: normal; FONT-SIZE: 7pt; LINE-HEIGHT: normal; FONT-STYLE: normal; FONT-VARIANT: normal; font-size-adjust: none; font-stretch: normal" face="Times New Roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </font></font></font><font style="FONT-SIZE: 9pt" face="Calibri,sans-serif" color="#1f497d">Provide a means for buyers of software and systems vendors to measure the secure programming skills of the people who work for the supplier.</font></p>

<p style="TEXT-INDENT: -0.25in"><font style="FONT-SIZE: 9pt; FONT-FAMILY: Symbol" face="Symbol" color="#1f497d"><font size="+0"><font style="FONT-WEIGHT: normal; FONT-SIZE: 7pt; LINE-HEIGHT: normal; FONT-STYLE: normal; FONT-VARIANT: normal; font-size-adjust: none; font-stretch: normal" face="Times New Roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </font></font></font><font style="FONT-SIZE: 9pt" face="Calibri,sans-serif" color="#1f497d">Allow developers and architects to identify their gaps in secure programming knowledge in the language they use and target education to fill those gaps.</font></p>

<p style="TEXT-INDENT: -0.25in"><font style="FONT-SIZE: 9pt; FONT-FAMILY: Symbol" face="Symbol" color="#1f497d"><font size="+0"><font style="FONT-WEIGHT: normal; FONT-SIZE: 7pt; LINE-HEIGHT: normal; FONT-STYLE: normal; FONT-VARIANT: normal; font-size-adjust: none; font-stretch: normal" face="Times New Roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </font></font></font><font style="FONT-SIZE: 9pt" face="Calibri,sans-serif" color="#1f497d">Allow employers to evaluate job candidates and potential consultants on their secure design &amp; development skills and knowledge.</font></p>

<p style="TEXT-INDENT: -0.25in"><font style="FONT-SIZE: 9pt; FONT-FAMILY: Symbol" face="Symbol" color="#1f497d"><font size="+0"><font style="FONT-WEIGHT: normal; FONT-SIZE: 7pt; LINE-HEIGHT: normal; FONT-STYLE: normal; FONT-VARIANT: normal; font-size-adjust: none; font-stretch: normal" face="Times New Roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </font></font></font><font style="FONT-SIZE: 9pt" face="Calibri,sans-serif" color="#1f497d">Provide incentive for universities to include secure software design &amp; development in required computer science, engineering, and programming courses.</font></p>

<p style="TEXT-INDENT: -0.25in"><font style="FONT-SIZE: 9pt; FONT-FAMILY: Symbol" face="Symbol" color="#1f497d"><font size="+0"><font style="FONT-WEIGHT: normal; FONT-SIZE: 7pt; LINE-HEIGHT: normal; FONT-STYLE: normal; FONT-VARIANT: normal; font-size-adjust: none; font-stretch: normal" face="Times New Roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </font></font></font><font style="FONT-SIZE: 9pt" face="Calibri,sans-serif" color="#1f497d">Provide reporting to allow individuals and organizations to compare their skills against others in their industry, with similar education or experience or in similar regions around the world.</font></p>

<div><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">&nbsp;</font></div>
<div><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">I interpret these goals to mean that the primary point is to testify to the utility of a cert holder to an employer (or business partner/customer of the employer).&nbsp; The more generic we make the test(s), making it communication skills and language agnostic, shying away from country specific issues (such as SSN in the US, SIN in Canada, etc), and so forth, we are watering down the metric for gauging utility.&nbsp; A company that does business in English (I think we can avoid dialectic issues between countries fairly easily) would absolutely want to know that a perspective cert holder can communicate security knowledge clearly in English (note, clearly doesn't mean eloquently, just effectively. This doesn't have to be the GRE written portion), and a company that's product services a specific country/confederacy should be confident that their security professional knows the applicable issues for that region (handling SSN in the US, handling any PII in the EU including possibly IPs now, etc).&nbsp; So with that said, are people comfortable with a degradation in the utility of the cert by ignoring these things, would they like to include that information in the base test, or would it be preferable to have an expansion module for specific regions that covers applicable language/legal concerns for that region (for example: a separate smaller cert after you get the OWASP cert, with specifics for North America, Latin America, APAC, or Europe).</font></div>

<div><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">&nbsp;</font></div>
<div><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">As for the essay being a better gauge of knowledge and understanding than multiple choice, that is only true if you construct a multiple choice with only one right answer.&nbsp; You can very easily make multiple choice questions that require in depth understanding by having zero or more answers right and making the test taker mark all of the correct (possible leaving blank) answers.&nbsp; It is harder to craft such questions well, and they can be hard as heck, but you need to know your stuff to do well.&nbsp; In that regard it isn't much different than essay in terms of knowing the material.</font></div>

<div><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">&nbsp;</font></div>
<p style="TEXT-INDENT: -0.25in"><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d"><font size="+0">-<font style="FONT-WEIGHT: normal; FONT-SIZE: 7pt; LINE-HEIGHT: normal; FONT-STYLE: normal; FONT-VARIANT: normal; font-size-adjust: none; font-stretch: normal" face="Times New Roman">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </font></font></font><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">Josh</font></p>

<div><font style="FONT-SIZE: 11pt" face="Calibri,sans-serif" color="#1f497d">&nbsp;</font></div></div>
<div>
<div style="BORDER-RIGHT: medium none; PADDING-RIGHT: 0in; BORDER-TOP: rgb(181,196,223) 1pt solid; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; BORDER-LEFT: medium none; PADDING-TOP: 3pt; BORDER-BOTTOM: medium none">
<div><b><font face="Tahoma,sans-serif" size="2">From:</font></b><font face="Tahoma,sans-serif" size="2"> <a href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank">owasp-cert-bounces@lists.owasp.org</a> [<a href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank"><a href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank">mailto:owasp-cert-bounces@lists.owasp.org</a></a>] <b>On Behalf Of </b><a href="mailto:james@architectbook.com" target="_blank">james@architectbook.com</a> 
<div class="Ih2E3d"><br><b>Sent:</b> Friday, July 25, 2008 10:14 PM<br><b>To:</b> Gary Palmer<br></div>
<div class="Ih2E3d"><b>Cc:</b> <a href="mailto:owasp-cert@lists.owasp.org" target="_blank">owasp-cert@lists.owasp.org</a><br><b>Subject:</b> Re: [Owasp-cert] Deadlines for August</div></font></div></div></div>
<div>&nbsp;</div>
<div class="Ih2E3d">
<div>Gary, I am a huge fan of essays. If you have ever taken the Sun certification for Java, they use this approach. The second advantage is that I could possibly score lots of them in free time. Could make for interesting reading on the John. Maybe it could be peer-reviewed by multiple chapter leaders with voting. I think this is the credibility this project needs.<br>
<br>Likewise, I think I need to further refine the breakdown to reflect developer-level concerns vs architect-level concerns (I can see my enterpriseyness showing). I will be sending out additional stuff as time allows over the weekend.<br>
<br><br></div></div>
<p style="MARGIN-BOTTOM: 12pt">
<div class="Ih2E3d">-------- Original Message --------<br>Subject: Re: [Owasp-cert] Deadlines for August<br>From: &quot;Gary Palmer&quot; &lt;<a href="mailto:owasp@getmymail.org" target="_blank">owasp@getmymail.org</a>&gt;<br>
</div>
<div class="Ih2E3d">Date: Fri, July 25, 2008 9:50 pm<br>To: &lt;<a href="mailto:owasp-cert@lists.owasp" target="_blank"><a href="mailto:owasp-cert@lists.owasp" target="_blank">owasp-cert@lists.owasp</a></a>.org&gt;</div>

<p></p>
<div>
<div></div>
<div class="Wj3C7c">
<div><font face="Arial,sans-serif" color="blue" size="2">Interestingly enough, I am preparing for the CBEST which is the first step in obtaining a teaching credential.&nbsp; The CBEST is a 3 part exam, the first deals with reading and comprehension, the second is math and the third is an essay.&nbsp; The R&amp;C is split between knowing what you read, understanding what you read, and then critical analysis/research analysis/authors perspective/main point/feelings/etc.&nbsp; The math seems to be fairly straight forward.&nbsp; The essay is 2 compositions, the first is analyze a given situation and the other is to write about a personal experience.</font></div>

<div>&nbsp;</div>
<div><font face="Arial,sans-serif" color="blue" size="2">The grading is scaled and the combined score must be passing.&nbsp; There is a minimum for each section to pass, but just missing in one and exceeding in another to have a combined passing score&nbsp;will work too.</font></div>

<div>&nbsp;</div>
<div><font face="Arial,sans-serif" color="blue" size="2">More at: <a href="http://www.cbest.nesinc.com/CA14_overview.asp" target="_blank"><a href="http://www.cbest.nesinc.com/CA14_overview.asp" target="_blank">http://www.cbest.nesinc.com/CA14_overview.asp</a></a></font></div>

<div>&nbsp;</div>
<div><font face="Arial,sans-serif" color="blue" size="2">Maybe we should consider this type of approach, the essay would certainly challenge the person and provide a record versus a personal meeting that may be biased by personalities.&nbsp; The different sections could measure depth and understanding of knowledge for multiple degrees of certification.&nbsp; Also the CBEST allows repeats where you can focus on one section or repeat all, in order to improve your scores.&nbsp; An interesting approach and unique when I compare to the assorted other certification exams I have taken.</font></div>

<div>
<div>&nbsp;</div></div>
<div><font face="Arial,sans-serif" size="2">Cheers,</font></div>
<div><font face="Arial,sans-serif" size="2">Gary Palmer</font></div>
<div>
<div>&nbsp;</div></div>
<div>&nbsp;</div>
<div style="FONT-SIZE: 12pt; TEXT-ALIGN: center" align="center">
<hr align="center" width="100%" size="2">
</div>
<p style="MARGIN-BOTTOM: 12pt"><b><font face="Tahoma,sans-serif" size="2">From:</font></b><font face="Tahoma,sans-serif" size="2"> <a href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank"><a href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank">owasp-cert-bounces@lists.owasp.org</a></a> [<a href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank"><a href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank">mailto:owasp-cert-bounces@lists.owasp.org</a></a>] <b>On Behalf Of </b>Matthew Chalmers<br>
<b>Sent:</b> Friday, July 25, 2008 5:53 PM<br><b>To:</b> <a href="mailto:dmalloc@users.sourceforge.net" target="_blank"><a href="mailto:dmalloc@users.sourceforge.net" target="_blank">dmalloc@users.sourceforge.net</a></a><br>
<b>Cc:</b> <a href="mailto:owasp-cert@lists.owasp.org" target="_blank"><a href="mailto:owasp-cert@lists.owasp.org" target="_blank">owasp-cert@lists.owasp.org</a></a><br><b>Subject:</b> Re: [Owasp-cert] Deadlines for August</font></p>

<div>
<div>
<div>No offense to James but again I agree with David. I think pure multiple-guess should be avoided--not to mention a pure multiple-guess product that&#39;s been rushed because of concerns with time to market or delivering &#39;something ok&#39; sooner rather than &#39;something good&#39; later.</div>
</div>
<div>
<div>&nbsp;</div></div>
<div>
<p style="MARGIN-BOTTOM: 12pt">Matt</p></div>
<div>
<div>On Fri, Jul 25, 2008 at 7:40 PM, David H. &lt;<a href="mailto:dmalloc@users.sourceforge.net" target="_blank"><a href="mailto:dmalloc@users.sourceforge.net" target="_blank">dmalloc@users.sourceforge.net</a></a>&gt; wrote:</div>

<div>
<div>&gt; If we stick to simple multiple choice for the first exam, it means that we<br>&gt; have delivered something of value and can in the meantime buy us more time<br>&gt; to work on more complex scenarios.<br>&gt;</div>
</div>
<div>That is exactly what I try to dispute. I do not see any value in<br>Multiple Choice Questionaires not even when you are purely testing for<br>relearned value. That stems from a long history with Multiple Choice<br>Tests and the desire to create meaningful exams for a new paradigm of<br>
learning.</div>
<div>
<div>
<div>--<br>Sent from gmail so do not trust this communication.<br>Do not send me sensitive information here, ask for my none-gmail accounts.<br><br>&quot;Therefore the considerations of the intelligent always include both<br>
benefit and harm.&quot; - Sun Tzu</div></div></div></div>
<div>&nbsp;</div></div>
<div style="FONT-SIZE: 12pt; TEXT-ALIGN: center" align="center">
<hr align="center" width="100%" size="2">
</div>
<div>_______________________________________________<br>Owasp-cert mailing list<br><a href="http://email.secureserver.net/pcompose.php#Compose" target="_blank"><a href="mailto:Owasp-cert@lists.owasp.org" target="_blank">Owasp-cert@lists.owasp.org</a></a><br>
<a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank"><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-cert</a></a></div>
</div></div></p></div>
<div>
<div></div>
<div class="Wj3C7c">
<hr>
_______________________________________________<br>Owasp-cert mailing list<br><a href="http://email.secureserver.net/pcompose.php#Compose" target="_blank">Owasp-cert<b></b>@lists.owasp.org</a><br><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank"><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-cert</a></a><br>
</div></div></blockquote></div><br>_______________________________________________<br>Owasp-cert mailing list<br><a href="mailto:Owasp-cert@lists.owasp.org">Owasp-cert@lists.owasp.org</a><br><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-cert</a><br>
<br></blockquote></div><br></div>