立法后評(píng)估中問卷調(diào)查方法的運(yùn)用

立法后評(píng)估中問卷調(diào)查方法的運(yùn)用

作為提高立法效率的重要手段，立法后的評(píng)價(jià)已成為近年來的主要立法活動(dòng)。為提高評(píng)估的客觀性和真實(shí)性,各地都在立法后評(píng)估中引入了不少量化評(píng)估的方法,而問卷調(diào)查法因其成本較低、技術(shù)難度較小等特點(diǎn),成為評(píng)估活動(dòng)中最為重要的量化方法。就其功能來看,問卷調(diào)查法將抽象的法律實(shí)施概念轉(zhuǎn)化為人們可直觀感受的社會(huì)經(jīng)驗(yàn)一、通過抽樣方式確保調(diào)查對(duì)象的代表性和經(jīng)典抽樣是問卷調(diào)查的靈魂,基于評(píng)估活動(dòng)的成本限制,在多數(shù)情況下進(jìn)行普查既是不現(xiàn)實(shí)的也是不必要的。在此情況之下,必須通過有效的抽樣來確保調(diào)查對(duì)象的代表性和典型性。從其原理來看,抽樣的核心步驟有二,一是抽樣的方法選擇,二是樣本量的計(jì)算(一)采用定額抽樣方法進(jìn)行問卷統(tǒng)計(jì)抽樣的方法大致可以分為隨機(jī)抽樣和非隨機(jī)抽樣兩大類型,現(xiàn)實(shí)中使用較多的抽樣方法主要有以下幾種:(1)簡單隨機(jī)抽樣(simplerandomsampling)。該方法的核心要求是在每一次抽取時(shí)都要保證在總體中未被抽取的任一樣本被抽中的機(jī)會(huì)是相等的從廣州市的實(shí)際情況來看,其首先將調(diào)查對(duì)象分為了管理部門、管理相對(duì)人、人大代表及政協(xié)委員,以及社會(huì)公眾四類,并根據(jù)此分類采取了兩種不同的抽樣方法,具體而言:(1)對(duì)社會(huì)公眾的調(diào)查,采取了偶遇抽樣的方法。公眾的調(diào)查以網(wǎng)絡(luò)調(diào)查的形式進(jìn)行,而網(wǎng)絡(luò)空間的開放性和匿名性決定了調(diào)查者不可能進(jìn)行事前的大規(guī)模抽樣,只能采取偶遇抽樣的方法,隨機(jī)調(diào)查公眾意見。從其實(shí)效來看,該方法雖然覆蓋面較廣,但如果樣本量不夠大的話,就會(huì)面臨著巨大的數(shù)據(jù)誤差。為此,有必要在日后的網(wǎng)絡(luò)調(diào)查中添加必需的背景信息收集模塊,以便于后期對(duì)問卷數(shù)據(jù)的清洗和選取,提高網(wǎng)絡(luò)問卷樣本的代表性。(2)對(duì)管理部門、管理相對(duì)人、人大代表及政協(xié)委員等三類群體調(diào)查,采取了定額抽樣的方法。從形式上來看,以上三類群體的劃分即為“分層抽樣”的過程,但嚴(yán)格來說,這樣的劃分并非是分層的結(jié)果,而是對(duì)利益相關(guān)者的分類方法。在此基礎(chǔ)上,按照定額抽樣的要求,調(diào)查者會(huì)分別從三類主體中選擇合適數(shù)量的樣本進(jìn)行調(diào)查,而這一選擇過程主要通過調(diào)查者的指定以及單位推選的方式加以完成。這種在不完全的分層之下憑主觀判斷抽樣樣本的方式,嚴(yán)格來說只是定額抽樣的簡單形態(tài),與完全的分層隨機(jī)抽樣方式相比,尚有較大差距。當(dāng)然,由于此種方法易于操作且成本較低,實(shí)踐中也應(yīng)用得非常頻繁,但對(duì)其帶來的數(shù)據(jù)誤差,調(diào)查者應(yīng)有清醒認(rèn)識(shí)和相應(yīng)的控制措施。(二)樣本量波動(dòng)抽樣的規(guī)模是決定問卷調(diào)查信度和準(zhǔn)確度的核心要素。一般而言,樣本的規(guī)模取決于其所要推論的總體規(guī)模,合理的樣本量不應(yīng)過少也不宜太多,因?yàn)閿?shù)量過少會(huì)帶來樣本代表性的不足,而數(shù)量過多則會(huì)推高調(diào)查成本。從廣州市的實(shí)踐情況來看,樣本量呈現(xiàn)出整體偏少且波動(dòng)較大的情況,具體而言:第一,樣本量整體偏小。從廣州市歷次立法后評(píng)估的數(shù)據(jù)報(bào)告來看,在有明確數(shù)據(jù)統(tǒng)計(jì)的5次調(diào)查活動(dòng)中,評(píng)估主體分別發(fā)放問卷600、600、700、280、250份。作為對(duì)比,在蘇州市38次立法后評(píng)估活動(dòng)中,問卷數(shù)量在1000份以上的就有26次,占68.4%第二,樣本量波動(dòng)較大。由于廣州市對(duì)公眾意見的調(diào)查采取了網(wǎng)絡(luò)問卷調(diào)查的方式,網(wǎng)絡(luò)空間的開放性和匿名性使得最終的樣本數(shù)量無法控制,在不同的宣傳力度之下,最終收集的樣本數(shù)量也會(huì)發(fā)生較大的波動(dòng)。從廣州市歷次公眾問卷的回收情況來看,樣本量最少的調(diào)查只有12份有效問卷,最多的則有6352份,而歷次公眾問卷調(diào)查的中位數(shù)又為725份,樣本之間數(shù)量差距明顯。受其影響,廣州市立法后評(píng)估活動(dòng)中問卷調(diào)查的總體樣本數(shù)量也出現(xiàn)了較大幅度的波動(dòng),在《廣州市婦女權(quán)益保障規(guī)定》的立法后評(píng)估中,問卷調(diào)查的總樣本量達(dá)到了6426份,而在《廣州歷史文化名城保護(hù)條例》的立法后評(píng)估中,樣本量只有158份。樣本數(shù)量的較大波動(dòng)反映了問卷調(diào)查活動(dòng)常態(tài)化的工作機(jī)制尚未有效建立,對(duì)此,調(diào)查者有必要事先確定樣本量的合理范圍,如果最終收集的樣本量出現(xiàn)較大異常,偏離該合理范圍,調(diào)查者就應(yīng)當(dāng)采取補(bǔ)充調(diào)查的方式來增加樣本量,或者通過數(shù)據(jù)篩選的方式將樣本量穩(wěn)定在成本可控的范圍。那么,樣本量究竟如何估算,多大的樣本量才算合理呢?根據(jù)社會(huì)學(xué)中關(guān)于樣本估算的基本方法,樣本量估算首先應(yīng)當(dāng)確立一個(gè)初始的樣本量,通過設(shè)置誤差值e和估計(jì)值p得到一個(gè)初始的樣本量n二、問卷設(shè)計(jì)在問卷調(diào)查活動(dòng)中,抽樣過程只能保障樣本的代表性,而至于選定的樣本是否能夠如實(shí)地反映待測事項(xiàng)的真實(shí)面貌,則要取決于問卷設(shè)計(jì)的質(zhì)量(一)調(diào)查內(nèi)容的抽象化概念操作化和變量測量,其核心就是將抽象的理論和概念轉(zhuǎn)化為可測量和可觀測的具體指標(biāo)的過程。在被調(diào)查對(duì)象拿到問卷之前,調(diào)查者事實(shí)上已經(jīng)對(duì)調(diào)查內(nèi)容進(jìn)行了從抽象到具體的轉(zhuǎn)換,以構(gòu)建起研究的抽象概念和經(jīng)驗(yàn)測量的現(xiàn)象之間的邏輯聯(lián)系其一,概念的操作化。操作化即是用一系列經(jīng)驗(yàn)可觀察的指標(biāo)和系統(tǒng)陳述表達(dá)出定義所包含的抽象意義的過程其二,對(duì)變量的設(shè)定。所謂變量就是指“包括若干個(gè)亞概念、范疇和值的概念”(二)立法后評(píng)估問卷的編排作為社會(huì)調(diào)查的重要手段,問卷調(diào)查的實(shí)質(zhì)是一種特殊的人際交往活動(dòng),其與被調(diào)查者互動(dòng)的目的就是充分收集有利于說明或闡述某種社會(huì)現(xiàn)象的材料,所以,問卷調(diào)查的成效即取決于被調(diào)查者是否能夠有效地呈現(xiàn)“立體的”自己其一,問卷內(nèi)容的針對(duì)性。作為對(duì)被調(diào)查人態(tài)度、觀點(diǎn)和看法的客觀反映,問卷設(shè)計(jì)必須具有足夠的針對(duì)性才能吸引被調(diào)查對(duì)象參與其中,相反,如果問卷題目都讓人很陌生的話,問卷調(diào)查活動(dòng)就很難達(dá)到預(yù)設(shè)目的。為避免這樣的問題,調(diào)查者應(yīng)預(yù)判被調(diào)查對(duì)象能夠感知到的社會(huì)經(jīng)驗(yàn)范圍,并以此來設(shè)計(jì)其能力范圍內(nèi)的問卷題目。在廣州市人大的立法后評(píng)估實(shí)踐中,問卷設(shè)計(jì)雖凸顯了一定的針對(duì)性,根據(jù)不同群體的自身情況分別設(shè)計(jì)了四套不同的調(diào)查問卷,但通過對(duì)比,四套問卷中題目重復(fù)的情況非常嚴(yán)重(參見表二),以人大代表及政協(xié)委員卷為例,在九次立法后評(píng)估中,該卷與其他三卷重復(fù)率的平均值達(dá)到了45.2%,具體的重復(fù)比例分別為46%、50%、48%、27%、86%、37%、60%、35%、18%(參見圖一)。過多的重復(fù)題目直接影響了調(diào)查的針對(duì)性,如果適用于不同群體的問卷有過半的題目都是重復(fù)的,那么進(jìn)行問卷區(qū)分的意義何在?如果問卷不能反映出其所調(diào)查群體的個(gè)性,就必然要面對(duì)調(diào)查參與度低以及回答敷衍的問題其二,提問的方式。問卷調(diào)查應(yīng)盡量使用簡單和簡短的表述,題目的長度和閱讀的難度都應(yīng)進(jìn)行嚴(yán)格的控制,以避免被調(diào)查者產(chǎn)生畏難和厭煩情緒。從廣州市人大立法后評(píng)估的調(diào)查問卷中來看,只有公眾問卷較好地遵守了以上規(guī)則,其余問卷則不同程度地出現(xiàn)了表達(dá)冗長和艱澀的問題,以《廣州市志愿服務(wù)條例》的立法后評(píng)估為例,其問卷題目平均長度已經(jīng)達(dá)到了80.2字,相當(dāng)于每題都是一道完整的材料分析題目。當(dāng)然,有人認(rèn)為立法后評(píng)估題目的冗長也有其特殊原因,畢竟針對(duì)于立法實(shí)施情況的調(diào)查不可避免地要涉及對(duì)立法條文的引用其三,問題的數(shù)量。問卷中的題目數(shù)量也是影響問卷調(diào)查參與度和完成度的重要因素。一般而言,問題的數(shù)量越多,問卷所覆蓋的內(nèi)容越廣,就越能獲取到被調(diào)查者的真實(shí)看法。同時(shí),問題越多,被調(diào)查者填寫的隨機(jī)誤差就越容易被相互抵消,問卷的真實(shí)性就將得到提高。所以,在合理的范圍內(nèi),適當(dāng)增加問卷的題目數(shù)量,不僅可以大大提高調(diào)查信度,而且還可以有效提高調(diào)查效度其四,問題的順序。一般而言,在問卷的編排上應(yīng)遵循“由簡到難”的原則,將與受眾生活密切相關(guān)的、較為容易回答的問題放在前面,把容易引起被調(diào)查者緊張、顧慮或疑難的問題放在后面。具體來講,在立法后評(píng)估的問卷設(shè)計(jì)中,可以先詢問其日?；顒?dòng)受立法實(shí)施的影響,再進(jìn)一步延伸至其在立法實(shí)施中的關(guān)注內(nèi)容,最后再是調(diào)查立法實(shí)施過程中的問題,以及其對(duì)立法實(shí)施整體的意見和看法等。但從廣州的實(shí)踐來看,其題目設(shè)置的順序則是以立法中的條文順序?yàn)榫€索,從前至后地提問被調(diào)查者對(duì)各條款實(shí)施情況的具體態(tài)度,此種排序方法事實(shí)上也代表了當(dāng)前多數(shù)地方的慣常做法。之所以出現(xiàn)這樣的情況是因?yàn)槌袚?dān)立法評(píng)估任務(wù)的大多為具有法學(xué)背景的高?？蒲腥藛T或者法律服務(wù)從業(yè)者,囿于知識(shí)范圍和實(shí)踐經(jīng)驗(yàn)所限,這一團(tuán)體已經(jīng)習(xí)慣了按照立法論證或者立法審議的方式來設(shè)計(jì)立法評(píng)估問卷,而這樣的事實(shí)已經(jīng)偏離了問卷調(diào)查的出發(fā)點(diǎn),將普通公眾默認(rèn)為了法學(xué)專家,而滿篇的立法條文和專業(yè)術(shù)語也會(huì)極大地打擊被調(diào)查者的興趣和熱情,即使受訪者有意認(rèn)真填寫問卷,也會(huì)在做完前幾道專業(yè)題目之后就有了畏難和退縮的情緒,嚴(yán)重影響被調(diào)查者的積極性。三、問卷的分配、檢索和統(tǒng)計(jì)數(shù)據(jù)(一)回收率一般而言,問卷的發(fā)放可采取結(jié)構(gòu)訪問法和自填問卷法兩種方式,在結(jié)構(gòu)訪問法中,調(diào)查者將采取口頭訪問的方式,向被調(diào)查者了解和收集信息此外,從回收效率上來看,集中填答和郵寄填答的方式也有著較大的差別。相對(duì)而言,集中填答的問卷回收率要遠(yuǎn)遠(yuǎn)高于郵寄填答,在現(xiàn)場填寫的問卷一般是可以全部收回的,而郵寄填答的方式能否順利收回都取決于被調(diào)查者是否足夠配合。當(dāng)然,郵寄問卷回收率低的問題一直是困擾問卷調(diào)查法實(shí)效的關(guān)鍵現(xiàn)實(shí)問題,如國外社會(huì)學(xué)的研究中就指出郵寄調(diào)查的回收率不少都低于10%,能夠達(dá)到50%的回收率就足夠讓人滿意了(二)數(shù)據(jù)統(tǒng)計(jì)和描述任何形式的問卷調(diào)查都是針對(duì)于特定目的展開的,沒有統(tǒng)計(jì)分析就沒有問卷調(diào)查存在的意義。正如有學(xué)者所言,對(duì)問卷材料的深度加工才是問卷調(diào)查的核心所在,只有將問卷調(diào)查的分析說明融入立法后評(píng)估的具體內(nèi)容之中,才能充分發(fā)揮其信息采集和結(jié)論佐證的作用在問卷統(tǒng)計(jì)方面,廣州市人大歷次立法后評(píng)估活動(dòng)的問卷都能滿足基本的統(tǒng)計(jì)要求,不論是使用SPSS軟件統(tǒng)計(jì)還是人工統(tǒng)計(jì),總之,問卷中所有題目的回答情況都能得到準(zhǔn)確的統(tǒng)計(jì),而且其問卷統(tǒng)計(jì)的數(shù)據(jù)還均以直方圖或餅圖的方式在評(píng)估報(bào)告中進(jìn)行了直觀的呈現(xiàn),使各選項(xiàng)的分布情況一目了然。難能可貴的是,所有問卷中開放性問題的回答情況也均被納入了數(shù)據(jù)統(tǒng)計(jì)報(bào)告之中,被調(diào)查者的所有回答都被完整地記錄了下來,開放性問題的回答情況雖然無法被量化評(píng)價(jià),但是因?yàn)檫@些回答都是被調(diào)查者的主動(dòng)回答,其實(shí)更能反映出社會(huì)各界對(duì)立法質(zhì)量和實(shí)施情況的真實(shí)意見和看法,更值得評(píng)估者仔細(xì)統(tǒng)計(jì)和認(rèn)真對(duì)待。在問卷分析方面,我們著重考察了其問卷數(shù)據(jù)在報(bào)告正文中的使用方式,以及是否有專門的數(shù)據(jù)分析報(bào)告等兩項(xiàng)指標(biāo),并得到了以下結(jié)論:(1)就分析方式而言,早期立法后評(píng)估報(bào)告中對(duì)問卷數(shù)據(jù)的分析方式,呈現(xiàn)出了單題分析和綜合分析擇一而用的特征。但在2015年所進(jìn)行的三次評(píng)估中,“二選一”的方式被基本淘汰,而是選擇了同時(shí)保留單題分析和綜合分析的方式。其中,單題分析主要出現(xiàn)在對(duì)社會(huì)各界意見的梳理以及對(duì)立法實(shí)效的說明中,綜合分析多側(cè)重于對(duì)立法“六性”四、回歸問卷的本質(zhì)作為一種專門的社會(huì)調(diào)查方法,問卷調(diào)查法的運(yùn)用有著基本的規(guī)則和要求,只有遵守了這些規(guī)則,其結(jié)果才有被應(yīng)用的科學(xué)價(jià)值。在立法后評(píng)估活動(dòng)中,只有問卷調(diào)查結(jié)論的信度和效度得到證明,才有可能去佐證評(píng)估結(jié)論之客觀性與真實(shí)性。綜合上文對(duì)廣州市人大立法后評(píng)估中問卷調(diào)查活動(dòng)的實(shí)證分析結(jié)果,本文得出了以下結(jié)論與建議。其一,提高調(diào)查者的專業(yè)技能,以解決問卷調(diào)查方法運(yùn)用不當(dāng)?shù)膯栴}。問卷調(diào)查作為社會(huì)調(diào)查的一種類型,本屬于社會(huì)學(xué)的研究范疇,應(yīng)由具有社會(huì)學(xué)背景的專業(yè)人士擔(dān)任。調(diào)查者應(yīng)熟悉問卷調(diào)查理論以及專業(yè)技能,有一定的調(diào)查經(jīng)驗(yàn)積累,或者進(jìn)行了長期的問卷調(diào)查活動(dòng)研究。但在立法后評(píng)估中,擔(dān)任調(diào)查者的評(píng)估主體基本為法律專業(yè)人士或者公共組織人員,在缺乏系統(tǒng)培訓(xùn)的情況下,其有限的社會(huì)調(diào)查知識(shí)使其無法有效掌握問卷調(diào)查之要領(lǐng)其二,厘清問卷調(diào)查的性質(zhì)與定位,以評(píng)測公眾對(duì)立法實(shí)施的感受和看法為中心。從問卷設(shè)計(jì)環(huán)節(jié)來看,調(diào)查者對(duì)于“問卷調(diào)查應(yīng)該調(diào)查什么”這一基本問題缺乏清晰認(rèn)識(shí)。受此影響,調(diào)查活動(dòng)缺少了概念操作化與變量測量的過程,使專業(yè)概念在不經(jīng)轉(zhuǎn)換的情況下直接呈現(xiàn)在了問卷上面,并帶來了以下后果:一是問卷內(nèi)容針對(duì)性的下降,問卷中所涉及的多數(shù)內(nèi)容已經(jīng)超出了被調(diào)查者可直接感知的經(jīng)驗(yàn)范圍,使調(diào)查活動(dòng)的實(shí)效大打折扣;二是調(diào)查問卷所覆蓋的信息量不足,問卷題目數(shù)量與調(diào)查者能夠在問卷中獲取的信息量成正比例關(guān)系,在相關(guān)概念未充分展開的情況下,問卷長度就必然會(huì)受到影響,通過問卷調(diào)查所能獲取的信息量也將減少;三是問卷調(diào)查參與度降低,題目設(shè)置的順序和題目長度是影響被調(diào)查者參與度的重要因素,以立法條文的前后順序來安排問卷題目順序,以立法條文內(nèi)容作為問卷題目內(nèi)容的做法,將針對(duì)社會(huì)各界公眾的問卷調(diào)查活動(dòng)變?yōu)榱嗣嫦蚍▽W(xué)專家的法律論證活動(dòng),令被調(diào)查對(duì)象難以積極參與其中。對(duì)此,調(diào)查者有必要重新思考“問卷設(shè)計(jì)為誰設(shè)計(jì)”“問卷調(diào)查應(yīng)該問什么”“被調(diào)查者能夠回答什么”等基礎(chǔ)問題,回歸問卷調(diào)查的本真,以評(píng)測公眾對(duì)立法實(shí)施的感受和看法為中心,提高問卷調(diào)查的針對(duì)性以及公眾參與問卷調(diào)查的積極性。其三,設(shè)置必要的校驗(yàn)機(jī)制,避免數(shù)據(jù)誤差的不斷擴(kuò)大。通過對(duì)廣州市的實(shí)踐分析,可發(fā)現(xiàn)其問卷調(diào)查工作呈現(xiàn)出非常明顯的單線性特征,上一個(gè)環(huán)節(jié)的結(jié)束即為下一環(huán)節(jié)的開始,前后銜接過程中沒有任何的校驗(yàn)與修正機(jī)制,這就導(dǎo)致了上游環(huán)節(jié)中存在的問題會(huì)不經(jīng)修改地直接傳遞至下游工作之中,導(dǎo)致問題的加深、累積以及數(shù)據(jù)誤差的不斷擴(kuò)大。依據(jù)系統(tǒng)論的基本觀點(diǎn),一個(gè)系統(tǒng)的發(fā)展能力主要來自于其內(nèi)部的反饋機(jī)制,特別是對(duì)負(fù)反饋的回應(yīng)式修正,更是維持系統(tǒng)向特定目標(biāo)運(yùn)行的重要方式其四,擴(kuò)大調(diào)查結(jié)果的運(yùn)用范圍,避免問卷調(diào)查的形式化。作為立法評(píng)估的核心素材,問卷調(diào)查結(jié)果在評(píng)估活動(dòng)的各個(gè)環(huán)節(jié)都應(yīng)得到充分的使用,尤其是在作出評(píng)估結(jié)論時(shí),問卷調(diào)查所獲取的事實(shí)材料必須作為觀點(diǎn)提出的基本前提,只有如此,最終的評(píng)估結(jié)論才能具有