en ru

«Диалог-2012»: соревнования по анализу тональности текстов и конкурс синтаксических анализаторов

На конкурс были поданы заявки от 11 групп разработчиков из Москвы, Санкт–Петербурга, Нижнего Новгорода, Донецка (Украина). Конечные результаты были получены от 8 из 10 участников форума: SynAutom, DictaScope Syntax, SemSin, ЭТАП–3, синтактико–семантический анализатор русского языка группы SemanticAnalyzer Group, проект AotSoft, ABBYY Compreno и Парсер грамматики связей.

Как проходило само соревнование? Вначале потенциальные участники опробовали свои системы на тестовой коллекции из 100 предложений, в результате чего выяснилось, что системы делают синтаксический разбор по-разному. На основании этого были разработаны унифицированные правила разбора, на которые должны были ориентироваться все системы. Также был подготовлен так называемый «Золотой Стандарт» – эталонная коллекция текстов, которую, в соответствии с этими правилами, вручную разметили эксперты. Далее участникам были предложены конкурсные тексты для разметки. Полученные ответы систем сравнивались с «Золотым стандартом». Несоответствия стандарту оценивались экспертами: если участник мог доказать, что в логике его системы это соответствует тому же типу связи, что и в Золотом стандарте, то такая ошибка не засчитывалась.

Лучшие результаты показали наш ABBYY Compreno и система ЭТАП-3 (много лет разрабатывается в Институте проблем передачи информации им. А.А. Харкевича).

Подробнее: habrahabr.ru/company/abbyy/blog/147696

Обсуждение: project-ai.org/forum/viewtopic.php?t=820