<div dir="ltr"><font color="#000000" face="arial, sans-serif">Dear all,</font><div><font color="#000000" face="arial, sans-serif"><br></font><div><font color="#000000" face="arial, sans-serif">TL;DR</font><div><font color="#000000" face="arial, sans-serif">************************</font></div><div><span style="color:rgb(0,0,0)">We are organizing a challenge centered around reasoning. We invite you to make submissions that can be in one or more of the following categories - </span></div><div><font color="#000000">1) An ontology developed for a real-world application but proved to be a challenge for the existing reasoners.</font></div><div><font color="#000000">2) A traditional description logic reasoner that was developed or made improvements to in the last few years.</font></div><div><font color="#000000">3) A neuro-symbolic reasoner that approximates entailments or predicts missing axioms. </font></div><div><font color="#000000"><br></font></div><div><b><font size="4" color="#ff0000">Extended Deadline - 22 July 2021, 23:59 (AOE) </font></b></div><div><b><font size="4" color="#ff0000"><br></font></b></div><div><font color="#000000">If you have any questions, please contact me.</font></div><div><font color="#000000"><br></font></div><div><font face="arial, sans-serif" color="#000000">Further details are on the website: <a href="https://semrec.github.io/" target="_blank">https://semrec.github.io/</a>.</font></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><br></span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">************************</span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Longer version</span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">*************************</span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><br></span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Despite the development of several ontology reasoning optimizations, the traditional methods either do not scale well or only cover a subset of OWL 2 language constructs. As an alternative, neuro-symbolic approaches are gaining significant attention. However, the existing methods still can not deal with very expressive ontology languages. To find and improve these performance bottlenecks of the reasoners, we ideally need several real-world ontologies that span the broad spectrum in terms of their size and expressivity. However, that is often not the case. One of the potential reasons for the ontology developers to not build ontologies that vary in terms of size and expressivity is the performance bottleneck of the reasoners. This challenge includes three tasks that aim to deal with this chicken and egg problem.    </span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><br></span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Task-1 - Submit a real-world ontology that is a challenge in terms of the reasoning time or memory consumed during reasoning. We will be evaluating the submitted ontologies based on the time and the memory consumed for a reasoning task, such as classification. </span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><br></span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Task-2 - Submit a description logic reasoner that makes use of traditional techniques such as tableau algorithms and saturation rules. We will evaluate the performance and the scalability of the submitted systems on the datasets based on the time taken and memory consumed on the ontology classification task. This will provide an insight into the progress in the development of reasoners since the last reasoner evaluation challenge (ORE 2015).</span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><br></span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Task-3 - Submit an ontology/RDFS reasoner that makes use of neuro-symbolic techniques for reasoning and optimization. We will be evaluating two types of neuro-symbolic systems: (a) that approximate the entailment reasoning for addressing the time complexity problem, or (b) predicting missing and plausible axioms for completion. We will evaluate the submitted systems on the test datasets based on the time taken, memory consumed, precision and recall.</span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><br></span></div><div><font color="#000000" face="arial, sans-serif"><u>Submission Details</u></font></div><div><font color="#000000" face="arial, sans-serif"><u><br></u></font></div><div><p style="box-sizing:border-box;margin-top:0px;margin-bottom:1rem;text-align:justify;word-spacing:1px"><font face="arial, sans-serif" color="#000000">Participants are requested to make a manuscript submission describing their entry. </font></p><p style="box-sizing:border-box;margin-top:0px;margin-bottom:1rem;text-align:justify;word-spacing:1px"><span style="color:rgb(0,0,0);font-family:arial,sans-serif">For Task 1, we expect a detailed description of the ontology along with the analysis of the reasoning performance, the workarounds, if any, that were used to make the ontology less challenging (for example, dropping of a few axioms, redesigning the ontology, etc.), and the (potential) applications in which the ontology could be used.</span></p><p style="box-sizing:border-box;margin-top:0px;margin-bottom:1rem;text-align:justify;word-spacing:1px"><span style="color:rgb(0,0,0);font-family:arial,sans-serif">For Tasks 2 and 3, we expect a detailed description of the system, including evaluating the system on the provided datasets.</span></p><p style="box-sizing:border-box;margin-top:0px;margin-bottom:1rem;text-align:justify;word-spacing:1px"></p><ul><li><span style="color:rgb(0,0,0);font-family:arial,sans-serif">For Task 2, having a link to the code repository in the paper is sufficient. Please make sure that there are clear instructions to build and run the code. In addition to that and in cases where it is not possible to share the code, it would be very helpful to us if the binary/executable is also made available to us (as supplementary material or as part of the code repository). We plan to evaluate the submitted systems on a Linux-based CPU server.</span></li><li><span style="color:rgb(0,0,0);font-family:arial,sans-serif">For Task 3, we provide an </span><a href="https://github.com/semrec/semrec.github.io" target="_blank" style="font-family:arial,sans-serif;box-sizing:border-box">eval.py</a><span style="color:rgb(0,0,0);font-family:arial,sans-serif"> file for the subsumption task. This is provided only to give an idea of the kind of submission we expect from the participants. Participants are requested to make the changes mentioned in the file to evaluate it on their embeddings for the supported reasoning task (eg. class subsumption, class membership, etc). We would require the class embeddings of your model along with a readme on the changes made on the evaluation file and how to use it. We plan to evaluate the submitted systems on a Linux-based GPU server.</span></li></ul>The submissions can be either in the form of short papers of length 5 pages or long papers of length 10-12 pages. All the submissions must be in English and follow the 1-column CEUR-ART style <a href="https://www.overleaf.com/latex/templates/ceurart-template-for-submissions-to-semrec-challenge/qktzxsbyhsdp" rel="noreferrer" target="_blank" style="font-family:arial,sans-serif;box-sizing:border-box;text-decoration-line:none">(overleaf template)</a><span style="color:rgb(0,0,0);font-family:arial,sans-serif">. The proceedings will be published as a volume of </span><a href="http://ceur-ws.org/" rel="noreferrer" target="_blank" style="font-family:arial,sans-serif;box-sizing:border-box;text-decoration-line:none">CEUR-WS</a><span style="color:rgb(0,0,0);font-family:arial,sans-serif">. Submissions should be made in the form of a pdf document on </span><a href="https://easychair.org/conferences/?conf=semrec2021" rel="noreferrer" target="_blank" style="font-family:arial,sans-serif;box-sizing:border-box;text-decoration-line:none">EasyChair</a><span style="color:rgb(0,0,0);font-family:arial,sans-serif">.</span><p></p><p style="box-sizing:border-box;margin-top:0px;margin-bottom:1rem;text-align:justify;word-spacing:1px"><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Website: </span><a href="https://semrec.github.io/" target="_blank" style="font-family:arial,sans-serif">https://semrec.github.io/</a></p><p style="box-sizing:border-box;margin-top:0px;margin-bottom:1rem;text-align:justify;word-spacing:1px"><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><br></span></p><p style="box-sizing:border-box;margin-top:0px;margin-bottom:1rem;text-align:justify;word-spacing:1px"><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><u>Organizers</u></span></p><p style="box-sizing:border-box;margin-top:0px;margin-bottom:1rem;text-align:justify;word-spacing:1px"><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Gunjan Singh, IIIT-Delhi, India.</span><br><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Raghava Mutharaju, IIIT-Delhi, India.</span><br><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Pavan Kapanipathi, IBM T.J. Watson Research Center, USA.</span><br></p></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif"><br></span></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">Best regards,</span><br></div><div><font face="arial, sans-serif" color="#000000">Gunjan<br></font></div></div><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><font face="arial, sans-serif" color="#000000"><br></font></div></div></div>