ну, на базе то конечно можно (если сервер *эфекты выдержит и у отцов основателей интерес будет:), но и как-то привлекать народ с других ресурсов тоже будет лучше.
стандартная ливстритовская голосовалка вроде слабовата для этого. Как мне видится с главной страницы тестов должны быть три (или сколько нужно) ссылки на задания и тесты по направлениям. Волонтер выбирает например JavaFx и ему показывается задание и инстркуциями (можно кстати сделать полную инструкцию по выполнению задания для большей чистоты эксперимента, т.е. чтобы волонтеры пользовались примерно одним набором документации), и вконце ссылка на анкету. Не очень верится что ливстрит такое потянет, опятьже обработку полученных данных всеравно надо дописывать, чтобы результаты девелопера с 5и летним стажем не были в одной куче и на равных правах с результатами любителя он-лайн игр. Если только написать модуль к ливстриту…
Вобще я это с потолка придумал:) Обычно для похожего вида тестов набирают людей с улицы, только там тестируют всякую реальную продукцию. Есть еще проекты навроде , они набирают опенсорц волонтеров, чтобы этаким флешмобом тестировать опенсорц приложения общего назначения. Вот если бы сделать задание и анкетку (Ваши скилы во Flash? Сколько времени заняло выполнение заданя(ий) на Flash) на международном и например русском языках и привлечь к прохождению людей с разных девелоперских тусовок, то, имхо, можно было бы расчитывать на приемлемые результаты. Т.е. волонтер заходит на страницу, читает задание с первоначальными инструкциями (как настроить среду и куда гуглить), допустим выполняет и заполняет анкетку.
Тогда критерии для сравнения например такие:
Открытость/Доступность библиотеки и средств разработки
Качество средств разработки (автодополнение, синтаксический анализ, дебаг, тесты, наличие и качество дизайнера)
Качество и доступность документации (API и howto/quickstart статей)
Код: количество строк кода для реализации одной и той же задачи (Например форма заказов), субъективная читабельность кода и выразительность конструкций
Фичи: Формы и валидация данных, богатство библиотеки виджетов (графики, календарики, холст, геометрические примитивы 2D/3D и проч.), интернационализация
Кастомабельность: насколько легко изменить внешний вид и поведение стандартных элементов, можно замерить в строчках кода
Можно провести тест среди например 5и одинаково незнающих или знающих троицу девелоперов на часозатраты по выполнению какой-либо задачи (той же формы например)
используйте базу данных, хоть самую простейшую, хоть локальную (аля оОО Database, KNode и т.п.). Со списками со временем становится очень трудно работать.
Открытость/Доступность библиотеки и средств разработки
Качество средств разработки (автодополнение, синтаксический анализ, дебаг, тесты, наличие и качество дизайнера)
Качество и доступность документации (API и howto/quickstart статей)
Код: количество строк кода для реализации одной и той же задачи (Например форма заказов), субъективная читабельность кода и выразительность конструкций
Фичи: Формы и валидация данных, богатство библиотеки виджетов (графики, календарики, холст, геометрические примитивы 2D/3D и проч.), интернационализация
Кастомабельность: насколько легко изменить внешний вид и поведение стандартных элементов, можно замерить в строчках кода
Можно провести тест среди например 5и одинаково незнающих или знающих троицу девелоперов на часозатраты по выполнению какой-либо задачи (той же формы например)