Hur göra artikelkritik Gemensam diskussion om artikel Relevanta tidskrifter Datalingvistisk metod- och fördjupningskurs HT-2005 Staffan Larsson

BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!!

Artikelkritik

Kritisk granskning av artikel Först: presentera innehållet neutralt Sen: diskutera problem De viktigaste först! Och möjligen: föreslå framtida utveckling Bedömningskriterier Kan användas för att hitta problem Bör ej ligga till grund för den ordning i vilken problemen presenteras

Bedömningskriterier Innehållsrelaterade Täckning Teori Metod Data Argumentation Originalitet Formella Disposition Språk och stil Formalia Muntlig presentation

Bedömningskriterie: Täckning Inga väsentliga luckor i framställningen God täckning samt explicit och motiverad avgränsning av: problemområde beaktade teorier och metoder relevant litteratur (säg det som behöver sägas och varför inget mer behöver sägas)

Bedömningskriterie: Teori Visa förtrogenhet med teoribildningen inom det valda området Utnyttjande av relevanta referenser Teorianknytning: Koppla den egna undersökningen till teoretiska frågeställningar

Bedömningskriterie: Metod Lämpliga metoder för uppgiften har använts Redovisningen av metod följer vetenskaplig standard T ex tillräckligt detaljerad för att t ex möjliggöra replikering av experiment Visa förståelse för kopplingen mellan problemställning och vald metod

Bedömningskriterie: Data Relevant empiriskt material redovisas på ett adekvat sätt Möjliggöra för läsaren att bedöma materialets roll i argumentationen Databehandling Urval Insamling Systematisering Klassifikation

Bedömningskriterie: Argumentation Följs frågeställningarna upp? knyta ihop säcken Hur väl är uppsatsens slutsatser underbyggda? D v s om läsaren kan se hur slutsatserna följer ur teori och empiri Argumentationen bör vara ”objektiv”: ej stödja sig på tyckanden utan på teoretiska resonemang och empriska fakta Balanserad: belyser olika sidor av problemställningen, ej ensidigt argumenterande som i t ex politisk text

Bedömningskriterie: Originalitet Ej enbart referat av andras forskning Egna bidrag av ngt slag Data ur egen undersökning Egna tolkningar av tidigare resultat … Det ska framgå vad som är ditt egna bidrag och vad som hämtats ur litteraturen Kvantitet & kvalitet av egna bidraget

Bedömningskriterie: Disposition / Organisation Klar övergripande struktur Ordning på kapitel, sektioner etc. Formen ska vara anpassad efter innehållet Olika sorters uppsats ställer olika formella krav Några generella kriterier: Varje avsnitt ska ha en funktion i helheten Det ska vara lätt att orientera sig i texten Bestämmelser angående formalia följs

Bedömningskriterie: Språk och stil Uppsatsen följer språkligt och stilmässigt vetenskaplig standard Grammatik, stavning Välformulerat, elegant Läs skönlitteratur, poesi, dramatik för att göra din prosa mer njutbar

Bedömningskriterie: Formalia De formella reglerna följs Rubricering Definitioner Referenser Citat Bilder Siffror

Formalia: Definitioner Undvik avvikande bruk av gängse terminologi Om din användning avviker, eller om du introducerar en ny term, ge en explicit semspec (1) En semspec av ett ord X är en explicit definition av ordets betydelse, som skrivs utskilt från den löpande texten.

Formalia: Citat Används då man funnit en formulering som man inte kan förbättra genom en parafras Väsentlig är dock att inte överutnyttja möjligheten att citera Måste dokumenteras: referens, sida Måste vara exakt som i originaltexten; ev. utelämnat material måste signaleras (…) Korta citat skrivs ”i löpande text” (Ume 2001:4) och inom citationstecken. Längre citat i eget stycke med indrag, utan citattecken. (Ume 2001:4)

BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!!

Gemensam diskussion om artikel

Artikelns innehåll ”Self-organising vocabularies” Introduction The self-organising kernel Spatio-temporal dynamics (References)

Introduction Linguistics should explain origin of language language learning language evolution linguistic diversity One previous approach: Artificial Life but this approach has some problems Proposed new approach: Self-organisation

Self-organisation occurs in complex dynamical systems......which are coupled in a particular way Examples: termite nest, ant paths Focus of the present paper formation of vocabularies, i.e. couplings between words and meanings

Assumptions A vocabulary is a self-organising phenomenon Each agent creates his own vocabulary in a random fashion Agents are coupled Must share vocabularies to be able to communicate and cooperate Agents therefore change their own vocabularies untul it conforms to a common vocabulary Thesis: under certain conditions, a coherent (but still evolving) vocabulary emerges

Structure of paper First section: Introduce kernel mechanism responsible for self- organisation Second section: Introduce spatiotemporal dynamics to deal with combinatorial explosions Third section: Results of some simulation experiments

2 The self-organising kernel Some formalism is introduced A: a group of agents of size #A Each agent a  A has a set of meanings M A and a set of words W A What can happen? An agent can randomly associate a word w  W A to a meaning m  M A Formally, a: w=m This is later referred to as a coupling Agents can use w to express m, and interprets w to mean m Each agent can use a word only once

c w,m is the communicative success of coupling m and w “the percentage of agents in the total group that use w to mean m” c w,m = (1-K)K/N where K is the number of agents that use w to mean m N is #A When all agents use the same coupling, the communicative success is 1.0 and there should be no more changes

Depending on the success c of a coupling, it is either maintained or a random new coupling is created this decision is based on a sigmoid function, so the chance of change decreases quickly as c increases This results in a combinatorial implosion A rapid evolution towards coherence Self-organisation This model also supports language learning

Problem: The simple setup does not scale up Three axes of scaling: number of agents number of meanings number of words Scaling up along these decreases the probability that several agents will agree on the same word

Spatio-temporal dynamics In normal circumstances... people have conversations in specific contexts involving a limited number of words and meanings A global language develops from these conversations In reality, not all agents know all words and all meanings

A conversation is an event involving a set of agents A selected randomly from the complete set of agents a set of meanings M selected from the set of meanings of each of the agents and a set of words W which the agents have coupled with the meanings in the selected set

c k is the communicative success of a coupling k of m to w for a given conversation “the percentage of agents in involved in the conversation that use w to mean m” c k = (1-K)K/N where K is the number of agents that use w to mean m N is the number of agents in the conversation

Given an agent a and a meaning m, three cases are possible: a has a coupling k connecting w to m k is changed based on c k, as before (either maintained or replaced) a has no coupling k for m a selects a word w from W och kopplar w till m. If all words are being used, a new word can be created a did not have the meaning m a adopts m and chooses a word, as above

(Simulated conversations, p 6-8) Distinct groups of agents can reach local coherence for different associations Global coherence requires a “well- stirred” community

Kritik?

saknas definitioner vad är en agent? definition saknas vad är AL? mer bakgrund formel för c?? vad är N? vad är sigmoid function metod hur sattes experimenten upp? svårt återskapa slumpa fram nya betydelser avgränsning & antaganden saknar bakgrund om komplexa system alla agenter likadana? mkt kortfattat om litteratur täckning hur är situationsspecifik vokabulär kopplat till t ex nationella språk? ignorerar språkreglering spelteori argumentation: evolverar språket alltid, eller blir det stabilt disposition slutsats saknas knyter ej ihop utlovad slutsektion saknas

[formalia] figur 4 saknas litt.referens saknas layout: figurtext värden på c? vad är y-axeln? inkonsekvens om fig 2

Kritik Uppsatsen är en aning osammanhängande, speciellt mot slutet (Argumentation / Disposition) Hur följer t ex slutsatserna längst ner s.8 från de simulerade konversationerna? Målsättningarna följs inte upp explicit (Argumentation / Disposition) Linguistics should explain origin of language language learning language evolution linguistic diversity

Är antagandena verkligen rimliga? (Argumentation) Kunde motiveras och diskuteras mer Den centrala formeln förklaras inte ordentligt – varför inte bara N/K? (Argumentation) Dolt antagande: det finns ”färdiga” betydelser oberoende av språket Dock mycket vanligt inom formell lingvistik

Nämner inte icke-formella / icke- komputationella studier av de nämnda områdena (Täckning, Teori) Ngt oklart vad nackdelarna med Artificial Life egentligen är (Argumentation)

Självmotsägelse: hur kan en stabil vokabulär fortsätta utvecklas, om det inte blir några fler förändringar när c = 1.0? (Argumentation) Inkonsekvens i formler för c (Argumenation, Formalia) Vad är en ”sigmoid function”? Exakt vilken funktion har använts? (Metod)

(a sigmoid function)

Formalia Inkonsekvent notation; k vs. w, m för “couplings” En utlovad resultatdel finns inte som egen rubruk Standardbeteckning för aritet: |A| N förklaras inte explicit saknad referens s.4

Lite mer om artikelkritik (muntlig och skriftlig) Börja med de viktigaste och mest övergripande frågorna! Spara detaljer till sist Formalia är jätteointressant för nästan alla nästan alltid tas bara med om det är absolut nödvändigt t ex om formaliaproblem leder till att man verkligen inte förstår

Vad är viktigt egentligen? Vad försöker artikeln göra? T ex argumentera för en tes, redovisa och argumentera för en implementation, redovisa experimentella resultat Är det tydligt vad uppsatsen försöker göra och hur den gör det? Om inte, vad är oklart? Lyckas den? Om inte, varför? Vad skulle krävas för att den skulle lyckas? Även om den lyckas, vad kunde ha gjorts så att den hade lyckats ännu bättre? Finns det t ex något som gör artikeln mer svårläst än nödvändigt?... (Finns det övrigra formella fel?)

BÖRJA INTE MED FORMALIA BÖRJA INTE MED FORMALIA!!!! (om det går att undvika)

Konstruktiv kritik (speciellt i samband med muntlig opposition) inte “Detta är ett asdumt sätt att göra det här experimentet” utan “Varför gjorde du experimentet på det här sättet?” inte “Det du skriver är obegripligt och förvirrat” utan “Vad menar du när du säger att...”

Relevanta tidskrifter

WWW allmänt Google dock: uppsatser på nätet är inte alltid ”färdiga” CiteSeer Amazon UB

Websajter om datlingvistik Language Technology World ELSNET: European Network of Excellence in Human Language Technologies Språkteknologi.se (SLATE) Survey of the state of the art in Human Language Technology (GU Dialoglab)

Tidskrifter Natural Language Engineering Computational Linguistics...

Proceedings från konferenser och liknande ACL SigDial SemDial IJCAI ESSLLI...

Artikelpresentation - upplägg presentera innehållet (ca 5 min) koncentrera dig på en särskild punkt eller detalj i artikeln (ca 5 min) testa gärna på egna (svenska) exempel definiera problem diskutera problem (ca 5 min) förklara varför något inte fungerade utvärdera pappret

Artikelpresentation - metodkursen 15 min enskilt eller i grupp leta upp en artikel gärna med anknytning till examensarbete bra tillfälle att testa olika ämnen och tillämpningar

Artikelpresentation fortst. Ha en idé lättare att välja lättare att granska artikeln Ställ frågor Vad är det för teknik/metod du behöver ta reda mer om? Hur skulle kunna samma algoritm/metod användas på dina data?