<div dir="ltr">Hi Enrico,<div><br></div><div>I think that this is already very extensive, right now I cannot think of any other metrics to be included ;-)</div><div><br></div><div><span style="font-family:arial,sans-serif;font-size:13px">We need a name for the tool :D</span><br>
</div><div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:13px">How about Owasp project review metrics? If anyone has a nice idea for a name maybe they can just send an email</span></div>
<div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:13px">We can select a list of names and submit that to a vote.</span></div><div><br>
</div><div>Thx for the update</div><div><br></div><div>regards</div><div><br></div><div>Johanna</div><div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:13px"><br>
</span></div><div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:13px"><br>
</span></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, May 30, 2014 at 6:54 PM, Enrico Branca <span dir="ltr"><<a href="mailto:enrico.branca@owasp.org" target="_blank">enrico.branca@owasp.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Johanna,<br>
<br>
Thank you for your email and we are indeed missing something critical.<br>
<br>
We need a name for the tool :D<br>
<br>
If this will be an OWASP tool for OWASP projects we think the name<br>
should be decided by the community, any idea on how to do this? :)<br>
<br>
Also in the past few days we received many feedback and seems that there<br>
is indeed a real need for an automated tool capable of analyzing code<br>
and files and to generate reliable statistics.<br>
<br>
Wouldn't be better to create a project for this so we avoid spamming<br>
everyone in the list and we have a space for people interested in<br>
contributing? Or we put this as a tool under Project Review QA? Your<br>
thoughts?<br>
<br>
On terms of feature requests the majority are related to files and issue<br>
tracking, for the moment we have decided to tackle file analysis as that<br>
is the easiest part for us.<br>
<br>
For each file we are going to extract the following information:<br>
* metadata analysis (mime type, encoding, size, mac times, acl)<br>
* string detection (presence, absence, position, repetition)<br>
* pattern detection (exact and partial match, sequence, occurrence)<br>
* entropy analysis (entropy, chi2, compression, frequency)<br>
* fuzzy hashing (file similarity)<br>
* crypto hashing (file uniqueness)<br>
<br>
And in term of project global metrics related to files:<br>
* files added (total, 6/3/1 months, last 7 days)<br>
* files changed (total, 6/3/1 months, last 7 days)<br>
* files unchanged (total, 6/3/1 months, last 7 days)<br>
* files deleted (total, 6/3/1 months, last 7 days)<br>
* file comparison (one to one, many to one, one to many)<br>
* for each commit:<br>
 - files changed (added,deleted,rewritten,renamed,modified)<br>
 - file content attribution (who modified which part)<br>
 - author tracking and action attribution (who did what and when)<br>
* a graph to represent global project activity<br>
<br>
At the moment we are targeting GIT repositories and we are going to<br>
devise a way to track each file that ever existed in repository in order<br>
to extract it and parse it. The idea is to have data granularity with<br>
minimum information loss over time even if GIT itself deliberately<br>
"forgets" some information.<br>
<br>
The other requests we received are the following:<br>
* how many bugs have been reported (total, 6/3/1 months, last 7 days)<br>
* how serious are the bugs (high, medium, low, feature request...).<br>
* how quickly bugs are closed (total/average/median/95e centile)<br>
* for each bug track:<br>
 - first touch time<br>
 - open time<br>
 - average open time<br>
 - closure time<br>
 - average closure time<br>
 - confirmation time<br>
 - reopened time<br>
 - average reopened time<br>
 - time from first touch to close<br>
 - time from first touch to reopened<br>
 - time from first touch to confirmed<br>
 - open/close rate<br>
 - close/reopen rate<br>
* how many bugs are in which state (new,open,working,closed,reopen)<br>
* bugs by time (oldest, newest, most/least touched, age)<br>
<div class="">* a graph for open/closed issues<br>
</div>* measure code duplication<br>
* measure code cyclomatic complexity<br>
* an automated project dashboard<br>
<br>
Please review the list and check if there is anything else that needs to<br>
be counted/measured and we will see what can be done to align it to<br>
OWASP needs.<br>
<br>
We are working on files at the moment and I will send an update as soon<br>
as we will have something new in the demo website.<br>
<br>
Cheers,<br>
Enrico<br>
<div class="HOEnZb"><div class="h5"><br>
On 28/05/2014 12:54, johanna curiel curiel wrote:<br>
> Hi Enrico<br>
><br>
> One of our tools is <a href="http://ohloh.net" target="_blank">ohloh.net</a>, I think much of the informnation and graphs<br>
> provided are a starting point for measuring activity however I noticed they<br>
> are not accurate and does not measure activity properly, therefore ohloh is<br>
> not reliable<br>
><br>
> I'm very glad with this initiative and please let me know how can I<br>
> contribute to push it.<br>
><br>
> regards<br>
><br>
> Johanna<br>
><br>
><br>
> On Tue, May 27, 2014 at 7:43 PM, Enrico Branca <<a href="mailto:enrico.branca@owasp.org">enrico.branca@owasp.org</a>>wrote:<br>
><br>
>> That was also our idea, an OWASP tool to measure OWASP projects using<br>
>> metrics defined by OWASP leaders :)<br>
>><br>
>> Yes could be easily automated depending on code repository.<br>
>> At the moment we are using github and we are looking into python code,<br>
>> for other stuff we will need to check each service API and build a<br>
>> proper client to parse the data, but again doable once a scope is defined.<br>
>><br>
>> And for the dashboard we will definitely need help, as I am sure you<br>
>> have noticed that our pages are far from pretty and there is almost no<br>
>> graphic design to it. If you have ideas on which kind of data is needed<br>
>> to populate a dashboard we can work to make one for projects using<br>
>> github and once we have a proof of concept we can see how to develop it.<br>
>><br>
>> So if you have examples or screenshots of dashboards you like we can<br>
>> look into it and decide graphs and data visualization. We are open to<br>
>> ideas and together we can try to build the ideal OWASP dashboard. If<br>
>> people are willing to help we can give it a try. ;)<br>
>><br>
>> Cheers,<br>
>> Enrico<br>
>><br>
>> On 28/05/2014 01:18, Josh Sokol wrote:<br>
>>> I absolutely love the idea of using an OWASP tool to measure the quality<br>
>> of<br>
>>> other OWASP tools.  Could we scale this to be able to automatically run<br>
>>> periodic assessments (ideally nightly) for all code-based OWASP projects?<br>
>>> Creating an automated dashboard would be so so so amazingly awesome.<br>
>>  Thank<br>
>>> you for your efforts!<br>
>>><br>
>>> ~josh<br>
>>><br>
>>><br>
>>> On Tue, May 27, 2014 at 6:03 PM, Tobias <<a href="mailto:tobias.gondrom@owasp.org">tobias.gondrom@owasp.org</a>><br>
>> wrote:<br>
>>><br>
>>>> Hi Enrico and team,<br>
>>>><br>
>>>> thanks a lot.<br>
>>>> I think this is quite interesting insight stats and could be useful as<br>
>>>> one of the data points in our overall project monitoring.<br>
>>>><br>
>>>> One question: is it automated enough to maintain this stat tool across<br>
>>>> several projects without too much effort for you guys? ;-)<br>
>>>><br>
>>>> Cheers, Tobias<br>
>>>><br>
>>>><br>
>>>><br>
>>>> On 27/05/14 23:30, Enrico Branca wrote:<br>
>>>>> Leaders,<br>
>>>>><br>
>>>>> To contribute to the community effort on project rating and quality<br>
>>>>> assurance at the "OWASP Python Security Project" we have decided to<br>
>>>>> support this effort by building a tool to collect quantitative data.<br>
>>>>><br>
>>>>> Reference: "Project Reviews Quality Assurance approach"<br>
>>>>> <a href="https://www.owasp.org/index.php/Proposal_Project_Review_QA_Approach" target="_blank">https://www.owasp.org/index.php/Proposal_Project_Review_QA_Approach</a><br>
>>>>><br>
>>>>> This tool will be able to generate as much data as needed by scanning<br>
>>>>> github repositories and analysing files, allowing customization of<br>
>>>>> metrics, reports and also of data sources.<br>
>>>>><br>
>>>>> We have run the tool against our project repository and generated some<br>
>>>>> statistics expressed as text data and tables, in the future there will<br>
>>>>> be graphs and infographic as needed.<br>
>>>>><br>
>>>>> DEMO SITE --> <a href="http://www.pythonsecurity.org/stats" target="_blank">http://www.pythonsecurity.org/stats</a><br>
>>>>><br>
>>>>> Is the data produced useful?<br>
>>>>> Did we miss anything critical?<br>
>>>>> Anything wrong that has to be removed?<br>
>>>>> Ideas on what needs to be added or changed?<br>
>>>>><br>
>>>>> We are not really experts on software metrics and we are open to new<br>
>>>>> ideas, any feedback or criticism is accepted and warmly encouraged.<br>
>>>>><br>
>>>>> Regards,<br>
>>>>> Enrico<br>
>>>>> _______________________________________________<br>
>>>>> OWASP-Leaders mailing list<br>
>>>>> <a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a><br>
>>>>> <a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br>
>>>><br>
>>>> _______________________________________________<br>
>>>> OWASP-Leaders mailing list<br>
>>>> <a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a><br>
>>>> <a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br>
>>>><br>
>>><br>
>> _______________________________________________<br>
>> OWASP-Leaders mailing list<br>
>> <a href="mailto:OWASP-Leaders@lists.owasp.org">OWASP-Leaders@lists.owasp.org</a><br>
>> <a href="https://lists.owasp.org/mailman/listinfo/owasp-leaders" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-leaders</a><br>
>><br>
><br>
</div></div></blockquote></div><br></div>