Il presente repertorio nasce dal personale interesse per il Reference Digitale, uno dei servizi più innovativi che meglio esprime l'efficienza di una biblioteca.
Il lavoro mira a sondare l'esistenza e l'evoluzione di una letteratura professionale che abbia affrontato il tema della valutazione di questo servizio in biblioteca.
Nell'opera Statistics, measures and quality standards for assessing digital reference library services [E24], considerata un punto di riferimento autorevole sul tema, gli autori hanno sottolineato la scarsa attenzione dedicata alla valutazione del servizio rispetto a quella che studiosi di tutto il mondo hanno dedicato negli ultimi anni allo sviluppo e alla diffusione dei servizi di reference on-line.
Numerosa e ricca è, infatti, la letteratura professionale che si è soffermata soprattutto sulle caratteristiche del servizio e sulla sua organizzazione. Ne sono testimonianza le aggiornate bibliografie di Paola Gargiulo [C01] in ambito nazionale e di Bernie Sloan [C02] in ambito internazionale. Ciò che risulterebbe insufficiente è, quindi, un'adeguata trattazione del tema della valutazione del servizio.
In effetti, la tendenza a misurare e a valutare i servizi offerti dalle biblioteche si è sviluppata solo recentemente, in concomitanza con l'affermarsi in tutti i settori del concetto di qualità.
Le Facets of quality for Digital Reference Services [E1.10] raccomandano una regolare revisione e valutazione dei servizi di reference digitale per assicurare qualità ed efficienza delle transazioni ma soprattutto per garantire la soddisfazione dell'utente.
La valutazione riveste un ruolo importante nella gestione di un servizio in quanto permette di verificare se lo scopo prefissato è stato raggiunto e soprattutto consente di provvedere ad eventuali modifiche o miglioramenti.
Lo scopo di questo lavoro è, pertanto, quello di offrire una fonte informativa e di studio per chi si trova di fronte alla necessità di procedere alla valutazione del servizio e di costruire un sistema di misurazione.

Il repertorio si presenta organizzato in otto sezioni contrassegnate ciascuna da una lettera.
All'interno di ciascuna sezione le citazioni riportano una numerazione progressiva preceduta dalla lettera della sezione di appartenenza trascritta in neretto.
Le prime due sezioni (A. Valutazione; B. Valutazione in biblioteca) costituiscono parte introduttiva all'argomento principale del lavoro. Si è ritenuto opportuno, infatti, aprire il repertorio con un breve riferimento agli studi sulla valutazione nella sua ampia accezione sociologica, e agli studi sulla valutazione dei servizi in biblioteca in senso stretto.
La complessità dell'argomento ha reso necessario circoscrivere il tema della presente bibliografia alla valutazione del reference inteso come assistenza agli utenti all'orientamento nella ricerca delle risorse informative esistenti.
Non volendo essere una bibliografia sul servizio di reference, si sono escluse tutte le opere sulle caratteristiche del servizio o sulla sua gestione. Non ci si è addentrati nel discorso della valutazione delle risorse bibliografiche digitali e degli strumenti utili all'espletamento del servizio. Si è anche tralasciato tutto ciò che riguarda la user education e la formazione a distanza dell'utente, aspetti sicuramente centrali del servizio ma che esulano dal tema centrale della bibliografia. Per una trattazione più approfondita e accurata di questi aspetti si rimanda alla consultazione delle bibliografie esaustive ed aggiornate di Paola Gargiulo [C01] e di Bernie Sloan [C02].
Si è ritenuto, invece, basilare includere i contributi sulla valutazione del reference tradizionale (sez. D). Per molti aspetti, infatti, il ricorso alle procedure adottate per il reference face to face si rivela indispensabile per lo sviluppo di quelle da applicare al digitale.
La sezione dedicata alla valutazione del servizio di Reference Digitale (sez. E) presenta delle sotto sezioni numerate ove sono raccolti i contributi relativi ad aspetti specifici quali la qualità, la soddisfazione dell'utente e del bibliotecario, i costi, l'accessibilità al servizio, le statistiche e le misurazioni.
Seguono alcuni esempi di questionari (sez. F)formulati da alcune università americane quale strumento di rilevazione di user satisfaction.
Infine i progetti (sez. G), promossi in ambito internazionale, e le linee guida (sez. H) esistenti sulla valutazione delle biblioteche e sul reference digitale proposte dalle maggiori associazioni professionali.
Il criterio di ordinamento adottato all'interno di ciascuna sezione è quello alfabetico per autore. In caso di più citazioni dello stesso autore l'ordine è cronologico per data di pubblicazione partendo dalla più recente.
L'attualità dell'argomento e la modernità del servizio a cui si fa riferimento sono evidenziati dalla copertura cronologica della bibliografia : i contributi sulla valutazione dei servizi in biblioteca e del reference tradizionale dimostrano che gli studi hanno avuto inizio in ambito internazionale già negli anni '80 (in Italia negli anni '90), mentre quelli sulla valutazione del reference digitale testimoniano un interesse recente che va dal 2000 ad oggi.
I titoli presenti in questo repertorio sono stati ricavati dalla consultazione di banche dati di periodici elettronici e repertori bibliografici quali :

• LISA (Library and Information Science Abstracts) banca dati internazionale specializzata in biblioteconomia e scienza dell'informazione di spogli di periodici con abstracts in inglese http://md2.csa.com/htbin/ids65/procskel.cgi?fn=f_quick.html&cat=lisa&ctx=/csa/ids/context/ctxy8aG_H;
• DoIS (Documents in Information Science) banca dati di articoli di periodici e atti di convegni pubblicati in formato elettronico di biblioteconomia e scienza dell'informazionehttp://wotan.liu.edu/dois, http://www.dois.it/;
• E-LIS (E-prints in Library and Information Science) archivio open access sulla biblioteconomia e sulla scienza dell'informazione http://eprints.rclis.org/;

I portali :

• Virtual Reference Desk (VRD)http://www.vrd.org/
• Reference and User Services Association (RUSA) http://www.ala.org/RUSAMAINTemplate.cfm?Section=rusa

• DIG_REF http://www.vrd.org/Dig_Ref/dig_ref.shtml
• AIB-CUR http://www.aib.it/aib/aibcur/aibcur.htm3.

Il repertorio si conclude con un indice degli autori che agevola il loro reperimento nella bibliografia tramite il rinvio alla numerazione delle voci.

Il servizio di reference in biblioteca ha subito negli ultimi dieci anni una significativa trasformazione. Internet non ha costituito solo un nuovo strumento da adottare per la conduzione delle transazioni con l'utente, ma ha determinato un aumento esponenziale delle risorse informative disponibili in rete.
Le richieste degli utenti di accedere, anche in breve tempo, a tali risorse si sono moltiplicate e hanno reso necessario lo sviluppo dei servizi di reference digitali, bibliotecari e non. Gli utenti oggi si rivolgono a questi servizi, tramite e-mail, chat e altre forme di comunicazione on-line, per soddisfare i loro bisogni informativi.
Si tratta di servizi di assistenza, di orientamento e di istruzione, finalizzati ad aiutare l'utente a reperire l'informazione che cerca, ad indicargli il percorso giusto da seguire e ad istruirlo ad utilizzare gli strumenti di ricerca disponibili in biblioteca o in rete. Questo tipo di assistenza è definita "diretta" [E07] se si stabilisce un contatto personale con l'utente al quale il bibliotecario risponde in tempo reale, via chat, o, entro due/tre giorni lavorativi, via e-mail, a domande di varia natura (bibliografie, localizzazione di documenti, domande fattuali, servizi di biblioteca) [E6.03]. E' "indiretta" [E07], invece, se il ruolo di mediazione tra il ricercatore e l'informazione è svolto da strumenti di consultazione remota, appositamente costruiti dai bibliotecari, quali portali, subject gateway e virtual reference desk.
Il servizio di reference digitale è l'evoluzione di quello cosiddetto face to face che, ancora oggi, si espleta all'interno della biblioteca, accogliendo il lettore in uno spazio dedicato ed allestito con gli strumenti di immediata consultazione e dove, in caso di richieste più complesse, ha luogo un'intervista tramite la quale il bibliotecario cerca di definire con maggiore chiarezza le reali necessità della persona che ha di fronte.
Il reference elettronico dedica ai suoi utenti l'infinito spazio della rete, al quale, quindi, possono accedere utenti di qualsiasi tipologia e provenienza. Con essi spesso non si ha modo di colloquiare, a meno che non si disponga di webcam o chatline. Il più diffuso e-mail reference prevede che l'utente rivolga la sua domanda tramite un modulo online, al quale il bibliotecario darà risposta dopo aver intuito, grazie alla sua esperienza e professionalità, ciò di cui effettivamente l'utente ha bisogno. Se invece sorgesse l'esigenza di ricontattare l'utente per avere ulteriori informazioni circa la sua richiesta, tale tipologia di servizio, per le sue caratteristiche, potrebbe significare la perdita del contatto (user evaporation).
Paradossalmente se la biblioteca e i suoi servizi sono profondamente cambiati negli anni, non lo sono i principi che stanno alla base del servizio di reference, ossia aiutare l'utente nel reperimento e nella selezione delle risorse, istruirlo all'utilizzo della biblioteca e dei suoi strumenti, fornirgli risposte adeguate, promuovere la biblioteca nella comunità.
Il ruolo centrale che l'utente/cliente detiene, quale destinatario della totalità dei servizi, sia nel settore privato che pubblico, porta a valorizzare la qualità dei servizi e gli strumenti della loro misurazione.
Secondo la definizione di Patton [A05] "La valutazione è la raccolta sistematica di informazioni sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l'efficacia, e/o indirizzare decisioni sulla futura programmazione".
Secondo Stame [A06] "Valutare significa analizzare se un'azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprime un giudizio sullo scostamento, che normalmente si verifica, per proporre eventuali modifiche che tengono conto delle potenzialità manifestatesi",
Risulta chiaro che il processo valutativo è strumentale all'interesse collettivo, rivestendo così un ruolo sociale. Esso implica una raccolta di informazioni e un'analisi dei dati con un'altrettanto chiara finalità, quella di formulare un giudizio sul programma esistente per verificare se gli scopi sono stati raggiunti o disattesi, per trovare una soluzione e proporre delle modifiche tendendo al miglioramento. Il processo valutativo è orientato verso l'efficacia.
Solo attraverso tale procedimento sarà possibile ottenere i dati essenziali per rilevare se gli scopi prefissati siano stati raggiunti e per permettere una pianificazione mirata al miglioramento e all'implementazione del servizio stesso.
Essendo il reference digitale uno dei servizi di maggiore interazione tra biblioteca digitale e utente remoto, la sua valutazione comporta la misurazione di diversi aspetti : il numero delle transazioni, la soddisfazione dell'utente, i costi richiesti per un funzionamento ottimale, i tempi impiegati dai bibliotecari di reference, la loro formazione e altro ancora [E24].
I metodi di valutazione del servizio di reference tradizionale costituirebbero fonte preziosa nella scelta dei dati da raccogliere e degli indicatori da elaborare [E29,D24, E07].
Nell'ambito di una verifica quantitativa, il peso delle statistiche relative al numero di domande ricevute, a quelle che hanno avuto risposta, ai tempi della transazione, non si discosta da quello rilevabile nel servizio tradizionale. Così come non si discostano le statistiche tese a misurare il livello qualitativo delle risposte fornite. L'accuratezza, l'aggiornamento e la pertinenza della risposta, infatti, sembrerebbero il più comune indicatore di qualità per il servizio di reference digitale [D24], sebbene i criteri con cui si misura la qualità non sono analoghi per tutti i servizi e per tutti gli utenti. Un utente può ritenere di maggiore qualità una risposta ottenuta immediatamente rispetto ad una accurata e precisa che abbia richiesto un tempo maggiore [E26]. Del resto uno standard di qualità è quel livello di soddisfazione che l'utente si aspetta di ottenere dal servizio e quello che una organizzazione ha stabilito di poter offrire.
In aiuto dei bibliotecari il Progetto Virtual Reference Desk ha messo a punto un set di standards di qualità per i servizi di reference digitali [E1.10], ma di grande utilità risulta anche la sezione dedicata allo sviluppo e all'uso degli standards di qualità proposta nel manuale di McClure e gli altri [E24].
Qualsiasi programma di valutazione e misurazione presuppone l'esistenza di un progetto formale del servizio ove siano definiti gli obiettivi che si intende raggiungere e sia chiara la politica adottata per quel fine. In mancanza di ciò è impossibile qualsiasi tipo di riscontro [E26].
La rilevazione del numero delle transazioni può avvenire manualmente, raccogliendo i dati durante le settimane-campione individuate nel corso dell'anno, o elettronicamente, ricorrendo all'uso di programmi per l'analisi dei log file che producono automaticamente le statistiche sugli accessi [E07, E24].
La misurazione del grado di esaustività delle risposte fornite dai bibliotecari è più complessa e prevede il ricorso a metodi di vario tipo. Il metodo più informale e anche più spontaneo è quello che viene offerto dal feedback dell'utente : un ringraziamento al termine della transazione è già elemento sufficiente.
Altri metodi, più formali, sono l'autovalutazione, cioè il giudizio che lo stesso bibliotecario fornisce sull'esito della transazione, il cosiddetto unobtrusive test o osservazione discreta, eseguita da valutatori esterni che sottopongono a bibliotecari inconsapevoli una serie di domande alle quali dovrebbero esser in grado di rispondere, le indagini, i questionari, i casi studio.
Qualunque sia il metodo adottato, è evidente che la biblioteca, nel suo processo evolutivo, va definendo al suo interno una nuova figura professionale, quella del valutatore.

ABELS, Eileen G. E27
AGHEMO, Aurelio D01
ARNOLD, Julie E13
AMERICAN LIBRARY ASSOCIATION H02
ASSOCIAZIONE ITALIANA BIBLIOTECHE H01, H04
ASSOCIAZIONE ITALIANA DI VALUTAZIONE A01

BAILEY-HAINER, Brenda E01
BAKER, Sharon L. B01, D02
BENNETT, Blythe E1.01, E1.06
BERTOT, John Carlo E1.02
BEZZI, Claudio A02, A03
BICH, Ngoc Pham Thi E10
BICKNELL, Tracy E1.03
BROPHY, Peter G02
BROWN, Janet Dagenais E1.04
BUNGE, Charles A. D03, D05
BUTLER, John T. E24

CARTER, David S. E6.01
CHITENDEN, M. E5.01
CHOLTCO-DEVLIN, Beverly E24
CICHANOWICZ, Edana McCaffery E2.01
COLLINS, John E16
CONDIT FAGAN, Jody E2.08

DALTON, Gwenda M.E. E2.02
DANIELS, Kathleen E6.15
DESAI, Christina M. E02
DEWDNEY, Patricia E2.03
DI DOMENICO, Giovanni B02, B03
DIAMOND, Wendy E6.02
DOTTIE, Eakin D22
DURRANCE, Joan C. D06,E03

ELZY, Cheryl D07
ENNIS, Lisa E2.10

FALLIS, Don E05FISCHER, Karen B04
FISHER-PETTIGREW, Karen E. E03
FLEET, V. E5.03FOGARTY, Ellie A. E04
FRANCOEUR, Stephen E06
FRICKE, Martin E05

GALLUZZI, Anna B05, B06, E07
GARGIULO, Paola C01
GENTILINI, Virginia E6.03
GERHAN, David R. E08, E6.04
GERS, Ralph D08
GORI, Enrico A04
GORMAN, Kathleen D09
GRISWOLD BLANDY, Susan D10
GROSS, Melissa E24, E1.05, E4.02

HARRIS, Julianna C. E09
HEILAND, Jennifer E09
HERNON, Peter D11, D12, D13
HILL, J.B. E10
HO, Hsiu-Chuan D14
HODGES, Ruth A. E11
HUMMELSHOJ, Marianne E12

INTERNATIONAL FEDERATION OF LIBRARY ASSOCIATION H03, H04

JANES, Joseph E3.02, E6.01
JANS, Joe E15
JENSEN, Bruce E3.03, E6.07
JOHNSON, Corey M. E6.09

KASKE, Neal E13, E27
KASOWITZ, Abby S. E16, E1.01, E1.06
KATZ, William D15
KAWAKAMI, Alice E14
KIBBEE, Jo E6.05
KLOSS, Louise E6.06
KRESH, Diane Nester E1.07

LANCASTER, F. Wilfrid B01, B08, B09, D02
LANKES, R. David E16, E24, E1.01, E1.05, E1.06, E4.01, E4.02
LEDERER, Naomi E6.09
LEE, Ian J. E6.10
LEHMAN, Donna H. E6.11
LEONARDI, Carla D16
LILLIE, Seward D08
LILLY, Erica B. E5.02, E5.03
LOCHSTET, Gwenn E6.11

MA, Wei E6.05
MADARASH-HILL, Cherie E10
MARSTELLER, Matthew R. E4.03
MARTIN, Lynne M. D10
MCCLURE, Charles R. B20, D11, D12, D13, E24, E1.05, E4.02
MCCREA, Richard E18
MCGRAW, Kathleen A. E09
MCKENZIE, Pamela J. E2.04
MENARBIN, Enrica E6.03
MENDELSOHN, Jennifer E1.08
MEOLA, Marc E17
MILLER-GATENBY, K. J. E5.01
MINETTO, Sonia E19
MONTALI, Roberto B10
MUNSON, Kurt I. E3.04
MURFIN M. D05
MURFIN, Marjorie E. E2.05

NEUHAUS, Chris E2.06
NILSEN, Kirsti E2.07
NORLIN, Elaina D17, E6.12
NOVOTNY, Eric E20

ODER, Norman E21
OLSON, L. M. D18

PATTON, Michael Quinn A05
PEASE, Barbara E6.02
PELIZZARI, Eugenio B11
PILIA, Elisabetta B12
POMERANTZ, Jeffrey E22

REFERENCE AND USER SERVICES ASSOCIATION H02
REVELLI, Carlo B13
RICHARDSON, John V. D19, E6.13, E6.14
ROBBINS, Kathryn E6.15
ROCKMAN Ilene F. B14
ROSS, C.S. E2.03
ROTHSTEIN, S. D20
RUPPEL, Margie E2.08
RUTH, Fraley D15

SALARELLI, Alberto B15
SARDELLI, Alessandro B16
SAXTON, Matthew L. D21
SCHWARTZ, Diane G. D22
SLOAN, Bernie C02, E23
SOLIMINE, Giovanni B17
SPINELLI, Serafina B18
STACY-BATES, Kristine K. E6.16
STAME, Nicoletta A06
STEMPER, James A. E24
STOFFEL, Bruce E2.09
STORMONT, Sam E17
STOVER, Mark E3.05
STRIFE, Mary L. D10
SWARTZ, Pauline E14

TAMMARO, Anna Maria B15
TENOPIR, Carol D23, E2.10, E3.06, E3.07
TONI, Franco B19
TUCKER, Toni E2.09
TYCKOSON, David A. D24, D25, E2.11

VAN FLEET, Connie J. E6.03
VAN HOUSE, Nancy A. B20
VENTURA, Robeto B21, B22
VITTADINI, Giorgio A04
VON SEGGERN, Marylyn D26

WALTON, Linda J. E3.04
WARD, David E6.05, E6.17
WARE, Susan E5.03
WARNER, Debra G. E6.18
WASIK, Joann M. C03, E26
WEIL, Bert T. B20
WESTBROOK, Lynn D27
WHITE, Marylin Domas E27, E28, E1.09
WHITLATCH, Jo Bell E29
WYNNE, Peter G02

ZHANG, Yin E6.06

A01. ASSOCIAZIONE ITALIANA DI VALUTAZIONE http://valutazioneitaliana.it/ (maggio 2005).
A02. BEZZI Claudio, Bibliografia generale commentata sulla valutazione, agosto 2004 http://www.valutazione.it/testi.htm (maggio 2005).
A03. BEZZI Claudio, Il disegno della ricerca valutativa, Milano, FrancoAngeli, 2003.
A04. GORI Enrico - VITTADINI Giorgio, Qualità e valutazione nei servizi di pubblica utilità, Milano, Etas, 1999.
A05. PATTON Michael Quinn, Utilization-focused evaluation, Beverly Hills (CA), Sage, 1998.
A06. STAME Nicoletta, L'esperienza della valutazione, Roma, Ed. Seam, 1998.

B01. BAKER Sharon L. - LANCASTER F. Wilfrid, Measurement and evaluation of library services, Arlington (VA), Information Resources Press, 1991.
B02. DI DOMENICO Giovanni, Percorsi della qualità in biblioteca, Manziana, Vecchiarelli, 2002.
B03. DI DOMENICO Giovanni, Progettare la user satisfaction : come la biblioteca efficace gestisce gli aspetti immateriali del servizio, "Biblioteche oggi", 14(1996), 9, p. 52-65.
B04. FISCHER Karen, Annotated Bibliography on Library Assesssment : User Satisfaction Measurement, gennaio 2003,http://library.ups.edu/kfischer/UserSat.htm (aprile 2005).
B05. GALLUZZI Anna, Modelli e strumenti per la valutazione dell'efficacia, in Gestire il cambiamento : nuove metodologie per il management della biblioteca, a cura di Giovanni Solimine, Milano, Editrice Bibliografica, 2003.
B06. GALLUZZI Anna, Strumenti di valutazione per i servizi digitali : quali strategie in un contesto ibrido, "Biblioteche Oggi", 19(2001), 12, p. 6-14, www.bibliotecheoggi.it/2001/20011000601.pdf (maggio 2005).
B07. GALLUZZI Anna, La valutazione delle biblioteche pubbliche : dati e metodologie delle indagini in Italia, Firenze, Olschki, 1999.
B08. LANCASTER F. Wilfrid, The evaluation of library services : a concise review of the existing literature, "Investigacion Bibliotecologica : Archivonomia, Bibliotecologia, e Informacio", 9(1995), 18, p. 5-37 .
B09. LANCASTER F. Wilfrid, If you want to evaluate your library, Champaign, University of Illinois, Graduate School of Library and Information Science, 1993.
B10. MONTALI Roberto, Misurare la qualità, "Biblioteche oggi", 17(1999), 6, p. 1255.
B11. PELIZZARI Eugenio, Qualità in biblioteca: linee per un progetto di certificazione, "Bollettino AIB : Rivista italiana di biblioteconomia e scienze dell'informazione", 39(1999), 3, p. 245-269.
B12. PILIA Elisabetta, La misurazione dei servizi delle biblioteche delle università, "Bollettino AIB : Rivista italiana di biblioteconomia e scienze dell'informazione", 37(1997), 3, p. 281-326.
B13. REVELLI Carlo, La valutazione del servizio, "Biblioteche Oggi", 7(1998), p. 32-39,http://www.bibliotecheoggi/1998/1998073201.pdf (aprile 2005).
B14. ROCKMAN Ilene F., The importance of assessment, "Reference Services Review", 30(2002), 3, p. 181-182.
B15. SALARELLI Alberto - TAMMARO Anna Maria, Misurazione e valutazione della biblioteca digitale in La biblioteca digitale, Milano, Editrice Bibibliografica, 2000, p. 255.
B16. SARDELLI Alessandro, Dalla certificazione alla qualità totale, Milano, Editrice Bibliografica, 2001.
B17. SOLIMINE Giovanni, Gestire il cambiamento : nuove metodologie per il management della biblioteca, Milano, Editrice Bibliografica, 2003.
B18. SPINELLI Serafina, Problemi di valutazione : qualche elemento per un approccio sistemico, "Bibliotime : Rivista elettronica per le biblioteche", 1(1998), 2, http://www.spbo.unibo.it/bibliotime/num-i-2/spinelli.htm (aprile 2005).
B19. TONI Franco, EQLIPSE: un progetto europeo per la misurazione delle prestazioni e la gestione della qualità delle biblioteche, "Bollettino AIB: Rivista italiana di biblioteconomia e scienze dell'informazione", 38(1998), 1, p. 41-52, http://www.aib.it/aib/boll/1998/98-1-041.htm (aprile 2005).
B20. VAN HOUSE Nancy A. - WEIL Bert T. - MCCLURE Charles R., Mesuring academic library performance : a practical approach, Chicago, American Library Association, 1990.
B21. VENTURA Roberto, La biblioteca al servizio dell'utente : customer satisfaction e strategie di management, Milano, Editrice Bibliografica, 2004.
B22. VENTURA Roberto, Qualità dei servizi e benchmarking entrano in biblioteca, "Biblioteche Oggi", 17(1999), 6, p. 64-68.

C01. GARGIULO Paola, Risorse di reference digitale, settembre 2004, http://www.aidaweb.it/reference/bibrefdig.html(maggio 2005).
C02. SLOAN Bernie, settembre 2004, http://www.lis.uiuc.edu/~b-sloan/digiref.html (maggio 2005).
C03. WASIK Joann M., Digital reference resources, gennaio 2005,http://www.vrd.org/pubinfo/proceedings99_bib.shtml#2 (maggio 2005).

D01. AGHEMO Aurelio, Come valutare il servizio d'informazione, "Biblioteche oggi", 11(1993), 2, p. 40-42.
D02. BAKER Sharon L. - LANCASTER F. Wilfrid, Evaluation of reference services : question answering, in Measurement and evaluation of library services, Arlington, (VA), Information Resources Press, 1991, p. 229-272.
D03. BUNGE Charles A., Gathering and using patron and librarian perceptions of question- answering success, "Reference librarian", 66(1999), p. 115-140.
D04. BUNGE Charles A., Evaluating reference services and reference personnel : questions and answers from the literature, "Reference Librarian", 43(1994), p. 195-207 .
D05. BUNGE Charles A. - MURFIN M., Evaluating reference service from the patron point of view, "The Reference Librarian", 11(1984), p. 175-182.
D06. DURRANCE Joan C., Reference success : does the 55 percent rule tell the whole story?, "Library Journal ", 114(1989), p. 31-36 .
D07. ELZY Cheryl (et al.), Evaluating reference service in a large academic library, "College and Research Libraries", 52(1991), 5, p. 454-465.
D08. GERS Ralph - LILLIE Seward, Improving reference performance: results of a statewide study, "Library Journal", novembre 1985, p. 32-35.
D09. GORMAN Kathleen, Performance evaluation in reference services in ARL libraries, Washington D.C., Office of Management Studies of Research Libraries, 1987.
D10. GRISWOLD BLANDY Susan - MARTIN Lynne M. - STRIFE Mary L. (eds.), Assessment and accountability for reference librarians, New York, Haworth Press, 1992.
D11. HERNON Peter - MCCLURE Charles R., Unobtrusive testing and library reference services, Norwood (N.J.), Ablex, 1987.
D12. HERNON Peter - MCCLURE Charles R., Unobtrusive reference testing: the 55 percent rule, "Library Journal", 111(1986), p. 37-41.
D13. HERNON Peter - MCCLURE Charles R. (eds.), Library reference service: an unrecognised crisis - a symposium, "Journal of Academic Librarianship", 13(1987), p. 69-80.
D14. HO Hsiu-Chuan, Evaluating reference services at university libraries, "Bulletin of Library and Information Science", 48(2004), p. 91-96.
D15. KATZ William - RUTH Fraley (eds.), Evaluation of reference services, New York, Haworth Press, 1984.
D16. LEONARDI Carla, Valutare la comunicazione in biblioteca, in FOGLIENI Ornella (a cura di), Comunicare la biblioteca, Atti del convegno di Milano 15-16 marzo 2001, Milano, Editrice Bibliografica, 2002, p. 113-125.
D17. NORLIN Elaina, Reference evaluation : a three-step approach-surveys, unobtrusive observations, and focus groups, "College and Research Libraries", 61(2000) 6, p. 546-553.
D18. OLSON L. M., Reference service evaluation in medium-sized academic libraries : a model, "Journal of Academic Librarianship", 9(1984), 6, p. 322-329.
D19. RICHARDSON John V., Reference is better than we thought, "Library Journal", 127(2002), 7, p. 41-42.
D20. ROTHSTEIN S., The measurement and evaluation of reference services, "Library Trends", 12(1964), p. 456-472 .
D21. SAXTON Matthew L., Reference service evaluation and meta-analysis : findings and methodological issues, "Library Quarterly", 67(1997), 3, p. 267-289.
D22. SCHWARTZ Diane G. - DOTTIE Eakin, Reference service standards : performance criteria and evaluation, "The Journal of Academic Librarianship", 12(1986), 1, p. 4-8.
D23. TENOPIR Carol, Reference use statistics, "Library journal", 123(1998), 8, p. 32-34.
D24. TYCKOSON David A., What is the best model of reference service?, "Library Trends", 50(2001), 2, p. 183-196.
D25. TYCKOSON David A., Wrong question, wrong answers : behavioral vs. factual Evaluation of reference service, "Reference Librarian", 38(1992), p. 151-173.
D26. VON SEGGERN Marylyn, Assessment of reference services, "RQ", 26(1987), p. 487-496.
D27. WESTBROOK Lynn, Evaluating reference : an introductory overview of qualitative methods, "Reference Services Review", 18(1990), p. 73-78.

E01. BAILEY-HAINER Brenda, Virtual reference : alive and well, "Library Journal", 130(2005), 1, p.46-47.
E02. DESAI Christina M., Instant messaging reference : how does it compare?, "Electronic Library", 21(2003), 1, p.21-30.
E03. DURRANCE Joan C.- FISHER-PETTIGREW Karen E., Toward developing measures of the impact of library and information services, "Reference & User Service Quarterly", 42(2003), 1, p. 10889.
E04 FOGARTY Ellie A., Reference questions: who, what, where, when, how and why?, "New Jersey Libraries", 28(1995), 3, p.19-21.
E05. FALLIS Don - FRICKE Martin, Indicators of accuracy for answers to ready reference questions on the Internet, "Journal of the American Society for Information Science and Technology", 55(2004), 3, p.238-245.
E06. FRANCOEUR Stephen, An analytical survey of chat reference services, "Reference Services Review", 29(2001), 3, p. 189-204 .
E07. GALLUZZI Anna, La valutazione del reference nell'era digitale, "Bibliotime : Rivista elettronica per le biblioteche", 4(2001), 1, http://www.spbo.unibo.it/bibliotime/num-iv-1/galluzzi.htm (aprile 2005).
E08. GERHAN David R., Statistical significance : how it signifies in statistics reference, "Reference & User Service Quarterly ", 40(2001), 4, p. 10878.
E09. HARRIS Julianna C. - HEILAND Jennifer - MCGRAW Kathleen A., Promotion and evaluation of a virtual live reference service, "Medical Reference Services Quarterly", 22(2003), 2, p.41-56.
E10. HILL J. B. - MADARASH-HILL Cherie - BICH Ngoc Pham Thi, Digital reference evaluation : assessing the past to plan for the future, "Electronic Journal of Academic and Special Librarianship", 4(2003), 2/3, << href="http://southernlibrarianship.icaap.org/content/v04n03/Hill_j01.htm">http://southernlibrarianship.icaap.org/content/v04n03/Hill_j01.htm >(maggio 2005).
E11. HODGES Ruth A., Assessing digital reference, "Libri", 52(2002), 3, p.157-168.
E12. HUMMELSHOJ Marianne, Do we really serve our users? A model for evaluation and development of reference services on the Internet. Discussion Paper. Reference Discussion Group 66th IFLA Conference, Jerusalem 13-18 August 2000, http://www.ifla.org/IV/ifla66/papers/lipow.htm (aprile 2005)
E13. KASKE Neal - ARNOLD Julie, An unobtrusive evaluation of online real time library reference services, Paper presented at the Library Research Round Table, American Library Association, Annual Conference, Atlanta, Georgia, June 15, 2002. http://www.lib.umd.edu/groups/digref/kaskearnoldunobtrusive.html (aprile 2005).
E14. KAWAKAMI Alice - SWARTZ Pauline, Digital reference : training and assessment for service improvement, "Reference Services Review", 31(2003), 3, p. 227-236.
E15 JANS Joe, Live reference: too much, too fast? Joe Janes takes a hard look at this new service, "School Library Journal", 48(2002), p. 12-15.
E16. LANKES R. David - COLLINS John - KASOWITZ Abby S., Digital reference service in the New Millennium : planning, management, and evaluation, New York, Neal- Schuman Publishers, 2000.
E17. MEOLA Marc - STORMONT Sam, Evaluating your live virtual reference in Starting and operating live virtual reference services : a how-to-do-it manual for librarians, New York, Neal-Schuman Publishers, 2002, p. 145.
E18. MCCREA Richard, Evaluation of two library-based and one expert reference service on the web, "Library Review", 53(2004), 1, p.11-16
E19. MINETTO Sonia, Il valore aggiunto nel servizio di reference : esperienze a confronto, "Bibliotime: Rivista elettronica per le biblioteche ", 4(2001), 1, http://www.spbo.unibo.it/bibliotime/num-iv-1/minetto.htm (aprile 2005).
E20. NOVOTNY Eric, Evaluating electronic reference services : issues, approaches and criteria, "The Reference Librarian", 74(2001), p. 103-120.
E21. ODER Norman, The shape of e-reference, "Library Journal", 1(2001), p. 46-50.
E22. POMERANTZ Jeffrey (et al.), The current state of digital reference : validation of general digital reference model through a survey of digital reference services, "Information Processing & Management", 40(2004), 2, p. 347-363 .
E23. SLOAN, Bernie, Evaluating digital reference, (testo di slides : University of Illinois at Urbana-Champaign, Graduate School of Library and Information Science), 2001, http://alexia.lis.uiuc.edu/~b-sloan/evaldigref.htm (aprile 2005).
E24. Statistics, measures and quality standards for assessing digital reference library services : guidelines and procedures, Charles R. McClure, R. David Lankes, Melissa Gross, Beverly Choltco-Devlin, Syracuse (NY), Syracuse University, Information Institute of Syracuse, 2002, quartz.syr.edu/quality/Quality.pdf (aprile 2005). Edizione a stampa : Washington, ERIC/IT Books, 2002 .
E25. STEMPER James A. - BUTLER John T., Developing a model to provide digital reference services, "Reference Services Review", 29(2001), 3, p. 172-189
E26. WASIK Joann M., Digital reference evaluation, "Virtual Reference Desk", 2003, http://www.vrd.org/AskA/digref_assess.shtml (aprile 2005).
E27. WHITE Marylin Domas - ABELS, Eileen G. - KASKE Neal, Evaluation of chat reference service quality : pilot study , "D-Lib Magazine", 9(2003), http://www.dlib.org/dlib/february03/white/02white.html (aprile 2005).
E28. WHITE Marylin Domas, Digital reference services : framework for analysis and evaluation, "Library and Information Science Research" 23(2001), 3, p. 211-232.
E29. WHITLATCH Jo Bell, Evaluating reference service in electronic age, "Library Trends", 50(2001), 2, p. 207-217.

F01. University of Wisconsin - Stevens Point, AskUs! Live user survey, http://library.uwsp.edu/groopz2/survey.html (maggio 2005).
F02. Auraria Library, E-Reference user satisfaction survey, 2004, http://library.auraria.edu/aboutus/askus/feedback.html (maggio 2005).
F03. Tallahassee Community College, Reference services and materials user satisfaction survey, 2005, http://www.tcc.fl.edu/dept/library/reference/library_ref.asp (maggio 2005).

G01. EQUINOX : Library performance measurement and quality management system, 2000, http://equinox.dcu.ie/reports/pilist.html (maggio 2005)
G02. BROPHY Peter - WYNNE Peter M., Management Information for the Electronic Library (MIEL) Programme: final report, University of Central Lancashire, Centre for Research in Library & Information Management, 1997 http://www.ukoln.ac.uk/dlis/models/studies/mis/mis.rtf (maggio 2005).
G03. VET : The Virtual Evaluation Toolkit 2004. Statewide Virtual Reference Project. Washington State Libray, Olympia Washington. Compiled and edited by Buff Hirko, 2004, http://vrstrain.spl.org/textdocs/VETmanual.pdf (maggio 2005).
G04. Virtual Reference Desk (VRD), patrocinato da United States Department of Education, 2002,http://www.vrd.org (maggio 2005).

H01. ASSOCIAZIONE ITALIANA BIBLIOTECHE. Gruppo Gestione e Valutazione, Linee guida per la valutazione delle biblioteche pubbliche italiane : dati, indicatori, valori di riferimento, Roma, AIB, 2000.
H02. AMERICAN LIBRARY ASSOCIATION - REFERENCE AND USER SERVICES ASSOCIATION, Reference guidelines, 2005, http://www.ala.org/ala/rusa/rusaprotools/referenceguide/Default2277.htm (maggio 2005).
H03. INTERNATIONAL FEDERATION OF LIBRARY ASSOCIATION, Digital reference guidelines, http://lcweb.loc.gov/rr/digiref/fg1.html Traduzione italiana : http://www.aib.it/aib/cen/ifla/srwdigref.htm#18 (maggio 2005).
H04. INTERNATIONAL FEDERATION OF LIBRARY ASSOCIATION. Section of University Libraries and other General Research Libraries, Measuring quality : international guidelines for performance measurement in academic libraries, edited by Roswitha Poll and Peter te Boekhorst, Munchen, Saur, 1996. Traduzione italiana : IFLA - AIB , Linee guida per la valutazione delle biblioteche universitarie, a cura della Commissione Nazionale Università e Ricerca, Roma, AIB, 1999.
H05. LIBRARY OF CONGRESS, QuestionPoint user guidelines, 2003 http://www.loc.gov/rr/digiref/QP_best_practise.pdf (maggio 2005).
H06. Statistics, measures and quality standards for assessing digital reference library services : guidelines and procedures, Charles R. McClure, R. David Lankes, Melissa Gross, Beverly Choltco-Devlin, Syracuse (NY), Syracuse University, Information Institute of Syracuse, 2002, quartz.syr.edu/quality/Quality.pdf (aprile 2005). Edizione a stampa : Washington, ERIC/IT Books, 2002 .