<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta http-equiv=Content-Type content="text/html; charset=utf-8">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<!--[if !mso]>
<style>
v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style>
<![endif]-->
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"MS Mincho";
        panose-1:2 2 6 9 4 2 5 8 3 4;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:"\@MS Mincho";
        panose-1:2 2 6 9 4 2 5 8 3 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page Section1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.Section1
        {page:Section1;}
 /* List Definitions */
 @list l0
        {mso-list-id:1553275669;
        mso-list-type:hybrid;
        mso-list-template-ids:-267455148 67698689 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l0:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l1
        {mso-list-id:1911423482;
        mso-list-type:hybrid;
        mso-list-template-ids:264909410 -534868960 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l1:level1
        {mso-level-start-at:0;
        mso-level-number-format:bullet;
        mso-level-text:-;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Calibri","sans-serif";
        mso-fareast-font-family:"MS Mincho";
        mso-bidi-font-family:"Times New Roman";}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
-->
</style>
<!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>

<body lang=EN-US link=blue vlink=purple>

<div class=Section1>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>On the subject of essays I’d like to add that in my experience
being able to communicate effectively is absolutely necessary for security,
whether it be explaining vulnerabilities found by pentesting to the devs that
don’t necessarily understand the vulnerabilities (has anyone tried explaining
CSRF to the unenlightened?) or justifying stricter security standards to high
level development leads.  Multiple choice will not provide any analysis of said
communication skills, which I think begs a broader question on what the intent
of the cert really is.   From the project PDF it is stated that the following
are goals:<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoListParagraph style='text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span
style='font-size:9.0pt;font-family:Symbol;color:#1F497D'><span
style='mso-list:Ignore'>·<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style='font-size:9.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Allow employers to rate their developers and architects on
security skills so the can be confident that every project has at least one
&quot;security master&quot; and all of their developers and architects
understand the common errors and how to avoid them.<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span
style='font-size:9.0pt;font-family:Symbol;color:#1F497D'><span
style='mso-list:Ignore'>·<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style='font-size:9.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Provide a means for buyers of software and systems vendors to
measure the secure programming skills of the people who work for the supplier.<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span
style='font-size:9.0pt;font-family:Symbol;color:#1F497D'><span
style='mso-list:Ignore'>·<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style='font-size:9.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Allow developers and architects to identify their gaps in secure
programming knowledge in the language they use and target education to fill
those gaps.<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span
style='font-size:9.0pt;font-family:Symbol;color:#1F497D'><span
style='mso-list:Ignore'>·<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style='font-size:9.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Allow employers to evaluate job candidates and potential
consultants on their secure design &amp; development skills and knowledge.<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span
style='font-size:9.0pt;font-family:Symbol;color:#1F497D'><span
style='mso-list:Ignore'>·<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style='font-size:9.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Provide incentive for universities to include secure software
design &amp; development in required computer science, engineering, and
programming courses.<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span
style='font-size:9.0pt;font-family:Symbol;color:#1F497D'><span
style='mso-list:Ignore'>·<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style='font-size:9.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Provide reporting to allow individuals and organizations to
compare their skills against others in their industry, with similar education
or experience or in similar regions around the world.<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>I interpret these goals to mean that the primary point is to testify
to the utility of a cert holder to an employer (or business partner/customer of
the employer).  The more generic we make the test(s), making it communication
skills and language agnostic, shying away from country specific issues (such as
SSN in the US, SIN in Canada, etc), and so forth, we are watering down the
metric for gauging utility.  A company that does business in English (I think
we can avoid dialectic issues between countries fairly easily) would absolutely
want to know that a perspective cert holder can communicate security knowledge
clearly in English (note, clearly doesn’t mean eloquently, just effectively. This
doesn’t have to be the GRE written portion), and a company that’s product services
a specific country/confederacy should be confident that their security
professional knows the applicable issues for that region (handling SSN in the
US, handling any PII in the EU including possibly IPs now, etc).  So with that
said, are people comfortable with a degradation in the utility of the cert by
ignoring these things, would they like to include that information in the base
test, or would it be preferable to have an expansion module for specific
regions that covers applicable language/legal concerns for that region (for
example: a separate smaller cert after you get the OWASP cert, with specifics
for North America, Latin America, APAC, or Europe).<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>As for the essay being a better gauge of knowledge and
understanding than multiple choice, that is only true if you construct a
multiple choice with only one right answer.  You can very easily make multiple
choice questions that require in depth understanding by having zero or more
answers right and making the test taker mark all of the correct (possible
leaving blank) answers.  It is harder to craft such questions well, and they
can be hard as heck, but you need to know your stuff to do well.  In that
regard it isn’t much different than essay in terms of knowing the material.<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoListParagraph style='text-indent:-.25in;mso-list:l1 level1 lfo2'><![if !supportLists]><span
style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><span
style='mso-list:Ignore'>-<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Josh<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<div>

<div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in'>

<p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span
style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>
owasp-cert-bounces@lists.owasp.org [mailto:owasp-cert-bounces@lists.owasp.org] <b>On
Behalf Of </b>james@architectbook.com<br>
<b>Sent:</b> Friday, July 25, 2008 10:14 PM<br>
<b>To:</b> Gary Palmer<br>
<b>Cc:</b> owasp-cert@lists.owasp.org<br>
<b>Subject:</b> Re: [Owasp-cert] Deadlines for August<o:p></o:p></span></p>

</div>

</div>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>Gary, I am a huge fan of essays. If you have ever taken the
Sun certification for Java, they use this approach. The second advantage is
that I could possibly score lots of them in free time. Could make for interesting
reading on the John. Maybe it could be peer-reviewed by multiple chapter
leaders with voting. I think this is the credibility this project needs.<br>
<br>
Likewise, I think I need to further refine the breakdown to reflect
developer-level concerns vs architect-level concerns (I can see my
enterpriseyness showing). I will be sending out additional stuff as time allows
over the weekend.<br>
<br>
<br>
<o:p></o:p></p>

<p class=MsoNormal style='margin-bottom:12.0pt'>-------- Original Message
--------<br>
Subject: Re: [Owasp-cert] Deadlines for August<br>
From: &quot;Gary Palmer&quot; &lt;owasp@getmymail.org&gt;<br>
Date: Fri, July 25, 2008 9:50 pm<br>
To: &lt;<a href="mailto:owasp-cert@lists.owasp">owasp-cert@lists.owasp</a>.org&gt;<o:p></o:p></p>

<p class=MsoNormal><span style='font-size:10.0pt;font-family:"Arial","sans-serif";
color:blue'>Interestingly enough, I am preparing for the CBEST which is the
first step in obtaining a teaching credential.&nbsp; The CBEST is a 3 part
exam, the first deals with reading and comprehension, the second is math and
the third is an essay.&nbsp; The R&amp;C is split between knowing what you
read, understanding what you read, and then critical analysis/research
analysis/authors perspective/main point/feelings/etc.&nbsp; The math seems to
be fairly straight forward.&nbsp; The essay is 2 compositions, the first is
analyze a given situation and the other is to write about a personal
experience.</span><o:p></o:p></p>

<p class=MsoNormal>&nbsp;<o:p></o:p></p>

<p class=MsoNormal><span style='font-size:10.0pt;font-family:"Arial","sans-serif";
color:blue'>The grading is scaled and the combined score must be passing.&nbsp;
There is a minimum for each section to pass, but just missing in one and
exceeding in another to have a combined passing score&nbsp;will work too.</span><o:p></o:p></p>

<p class=MsoNormal>&nbsp;<o:p></o:p></p>

<p class=MsoNormal><span style='font-size:10.0pt;font-family:"Arial","sans-serif";
color:blue'>More at: <a href="http://www.cbest.nesinc.com/CA14_overview.asp">http://www.cbest.nesinc.com/CA14_overview.asp</a></span><o:p></o:p></p>

<p class=MsoNormal>&nbsp;<o:p></o:p></p>

<p class=MsoNormal><span style='font-size:10.0pt;font-family:"Arial","sans-serif";
color:blue'>Maybe we should consider this type of approach, the essay would
certainly challenge the person and provide a record versus a personal meeting
that may be biased by personalities.&nbsp; The different sections could measure
depth and understanding of knowledge for multiple degrees of
certification.&nbsp; Also the CBEST allows repeats where you can focus on one
section or repeat all, in order to improve your scores.&nbsp; An interesting approach
and unique when I compare to the assorted other certification exams I have
taken.</span><o:p></o:p></p>

<div>

<p class=MsoNormal>&nbsp;<o:p></o:p></p>

</div>

<p class=MsoNormal><span style='font-size:10.0pt;font-family:"Arial","sans-serif"'>Cheers,</span><o:p></o:p></p>

<p class=MsoNormal><span style='font-size:10.0pt;font-family:"Arial","sans-serif"'>Gary
Palmer</span><o:p></o:p></p>

<div>

<p class=MsoNormal>&nbsp;<o:p></o:p></p>

</div>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<div class=MsoNormal align=center style='text-align:center'>

<hr size=2 width="100%" align=center>

</div>

<p class=MsoNormal style='margin-bottom:12.0pt'><b><span style='font-size:10.0pt;
font-family:"Tahoma","sans-serif"'>From:</span></b><span style='font-size:10.0pt;
font-family:"Tahoma","sans-serif"'> <a
href="mailto:owasp-cert-bounces@lists.owasp.org">owasp-cert-bounces@lists.owasp.org</a>
[<a href="mailto:owasp-cert-bounces@lists.owasp.org">mailto:owasp-cert-bounces@lists.owasp.org</a>]
<b>On Behalf Of </b>Matthew Chalmers<br>
<b>Sent:</b> Friday, July 25, 2008 5:53 PM<br>
<b>To:</b> <a href="mailto:dmalloc@users.sourceforge.net">dmalloc@users.sourceforge.net</a><br>
<b>Cc:</b> <a href="mailto:owasp-cert@lists.owasp.org">owasp-cert@lists.owasp.org</a><br>
<b>Subject:</b> Re: [Owasp-cert] Deadlines for August</span><o:p></o:p></p>

<div>

<div>

<p class=MsoNormal>No offense to James but again I agree with David. I think
pure multiple-guess should be avoided--not to mention a pure multiple-guess
product that's been rushed because of concerns with time to market or
delivering 'something ok' sooner rather than 'something good' later.<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>&nbsp;<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal style='margin-bottom:12.0pt'>Matt<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>On Fri, Jul 25, 2008 at 7:40 PM, David H. &lt;<a
href="mailto:dmalloc@users.sourceforge.net">dmalloc@users.sourceforge.net</a>&gt;
wrote:<o:p></o:p></p>

<div>

<p class=MsoNormal>&gt; If we stick to simple multiple choice for the first
exam, it means that we<br>
&gt; have delivered something of value and can in the meantime buy us more time<br>
&gt; to work on more complex scenarios.<br>
&gt;<o:p></o:p></p>

</div>

<p class=MsoNormal>That is exactly what I try to dispute. I do not see any
value in<br>
Multiple Choice Questionaires not even when you are purely testing for<br>
relearned value. That stems from a long history with Multiple Choice<br>
Tests and the desire to create meaningful exams for a new paradigm of<br>
learning.<o:p></o:p></p>

<div>

<div>

<p class=MsoNormal>--<br>
Sent from gmail so do not trust this communication.<br>
Do not send me sensitive information here, ask for my none-gmail accounts.<br>
<br>
&quot;Therefore the considerations of the intelligent always include both<br>
benefit and harm.&quot; - Sun Tzu<o:p></o:p></p>

</div>

</div>

</div>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

</div>

<div class=MsoNormal align=center style='text-align:center'>

<hr size=2 width="100%" align=center>

</div>

<p class=MsoNormal>_______________________________________________<br>
Owasp-cert mailing list<br>
<a href="http://email.secureserver.net/pcompose.php#Compose">Owasp-cert@lists.owasp.org</a><br>
<a href="https://lists.owasp.org/mailman/listinfo/owasp-cert">https://lists.owasp.org/mailman/listinfo/owasp-cert</a><o:p></o:p></p>

</div>

</body>

</html>