Како је 160.000 пресретнутих комуникација довело до наше најновије НСА приче

Блогови

Прошлог викенда, АЛЕС је објавио причу коју сам написао са Џули Тејт и Ашканом Солтанијем о надзору Агенције за националну безбедност који обухвата разговоре људи који нису стране мете. Прича, заснована на 160.000 пресретнутих комуникација које сам добио од бившег сарадника НСА Едварда Сноудена, изазвала је много питања, примедби и, мислим, неспоразума.

Неки читаоци и коментатори описали су причу као презагрејану изјаву очигледног: да надзор над једном особом укључује садржај људи који с њом разговарају. Други су рекли да је АЛЕС, а не влада, упао у приватност невиних јер смо ми објавили њихове разговоре, а НСА није. По мишљењу неких критичара, показали смо незнање о НСА системима или смо свесно изабрали да искривимо начин на који они раде.

(Транскрипт: Питања и одговори са Бартоном Гелманом)

НСА надзор је сложен предмет — правно, технички и оперативно. Пажљиво смо написали причу и стојимо иза свега. Желим да распакујем неке од главних тачака и контроверзи, додајући нови материјал за контекст. У овом формату могу да понудим више техничких детаља о скупу података који је Сноуден пружио и методама које смо користили за његову анализу. Такође ћу се позабавити неким етичким и питањима националне безбедности са којима смо се суочили. Успут ћу објаснити зашто је наша прича заправо потцењивала своје налазе, разјаснити спекулације о шпијунирању председника Обаме и проверити чињенице о недавном ЦИА твиту о изгубљеним лозинкама.

Почнимо са пажљивим прегледом нашег вођства:

Према четворомесечној истрази АЛЕС-а, број обичних корисника интернета, како америчких тако и неамеричких, далеко је већи од легално циљаних странаца у комуникацијама које је пресрела Агенција за националну безбедност са дигиталних мрежа САД.

Замислите велику гомилу разговора које је пресрела НСА. У њему се налазе текстови ћаскања и е-порука заједно са фотографијама и другим врстама датотека које је неко послао неком другом. Пребројали смо све људе који су учествовали у тим комуникацијама (тачније, број јединствених онлајн налога) и упоредили ту цифру са бројем на који је НСА циљала.

Већина налога које смо пронашли у гомили нису били мете НСА и не би се правно квалификовали као такви. Неки коментатори су рекли да ово није изненађујуће и неупадљиво. Вратићу се на то.

Затим стављамо број на то:

Девет од 10 власника налога пронађених у великом кешу пресретнутих разговора, које је бивши уговарач НСА Едвард Сноуден у потпуности дао Тхе Пост, нису били предвиђене мете надзора, већ су ухваћени у мрежу коју је агенција бацила за неког другог.

Та цифра је заправо прениска, али је била једина коју смо могли да измеримо са било којом прецизношћу. Графика Тода Линдемана је то разложила. Пронашли смо око 11.400 јединствених онлајн налога. Међу њима, око 1.200 које је НСА означила као стране мете. Преосталих 10.000 и више су били слични дигиталним посматрачима. Неки од њих су познавали мете НСА и разговарали са њима. Други су пали на гомилу тако што су се придружили соби за ћаскање, без обзира на тему, или користећи онлајн услугу хостовану на серверу који је циљ користио за нешто сасвим друго.

Нисмо имали званичну НСА листу мета. Морали смо сами да их пронађемо у гомили. Солтани, независни истраживач , урадио већину тешког дизања на томе. Пошто информације нису биле распоређене у редове и колоне, као што би то могло бити у табели, Солтани је написао компјутерски код да извуче оно што смо тражили из нешто попут четврт милиона страница неструктурираног текста.

На нека наша питања нисмо могли одговорити подацима које смо имали. Из тог разлога, наша прича није рекла шта су јој неки коментатори приписали.

То су фине разлике, али су важне јер смо пријавили само оно што смо могли да рачунамо. Нисмо рекли да је НСА пресрела већи број разговора или већи обим садржаја који је припадао посматрачима него метама. Рекли смо да је у тим разговорима било више учесника (јединствених онлајн налога) који нису били мете него учесника који јесу.

Такође нисмо рекли да је у гомили више Американаца него страних циљева. Сумњамо да је та тврдња можда тачна, али је нисмо могли поуздано утврдити.

Ево, из трећег пасуса, неке од ствари које бисмо могли да рачунамо:

Скоро половина досијеа за надзор, упадљиво висок проценат, садржала је имена, адресе е-поште или друге детаље које је НСА означила као да припадају држављанима или становницима САД. Аналитичари НСА су маскирали, или минимизирали, више од 65.000 таквих референци како би заштитили приватност Американаца, али је Тхе Пост пронашао скоро 900 додатних е-маил адреса, демаскираних у фајловима, које би могле бити снажно повезане са америчким држављанима или становницима САД.

То су три одвојена и значајна мерења.

1. Американци — који су разговарали, с њима се разговарало или се о њима говорили — могли су се идентификовати у скоро половини фајлова који су водили пресретнуте разговоре. То је био резултат који нисмо очекивали од надзора усмереног на странце који се налазе у иностранству.

када је Валтер Паитон умро

2. НСА је прогутала толико садржаја док је шпијунирала 1.250 странаца да је морала да затамни 65.000 референци на америчке грађане и власнике зелених карата. Та бројка не укључује америчке компаније, које су такође америчке особе под законом о надзору.

3. Аналитичари НСА су оставили значајан број америчких е-маил адреса демаскираним. Копајући по јавним и комерцијално доступним подацима, истраживачи Солтанија и АЛЕС-а Џули Тејт и Џенифер Џенкинс повезали су око 900 ухваћених налога са америчким идентитетима. Њихови извори су се ослањали на стандардне интернет претраге, евиденцију о регистрацији рачуна, промене поштанских адреса у САД, базе података о маркетингу производа, судске поднеске и бирачке спискове. Квалитет тих података је несавршен, али је вероватно да ће у већини случајева бити тачни.

Од оружаних снага преко НСА до Министарства финансија, ПостТВ разбија 16 различитих агенција и организација које прикупљају обавештајне податке за владу САД - и 17. канцеларију која их све надгледа. (Давин Цобурн/АЛЕС)„Случајни“ и „минимизирани“ Американци

Термини и правила минимизације су нејасни и често су коришћени за погрешно усмеравање јавне дебате. НСА је забрањено да циља америчке грађане, власнике зелене карте или компаније ради надзора без индивидуалног налога судије. Ако случајно циља Американце - верујући да су странци, а затим открије супротно - НСА обично одбацује њихове разговоре.

Све је то добро за приватност, али нема много везе са начином на који су Американци заправо заробљени системима прикупљања података НСА. Америчке обавештајне службе рутински користе методе прикупљања података против странаца који предвидљиво — са сигурношћу — такође уносе велике количине америчких комуникација.

То се зове случајна наплата. НСА не одбацује те разговоре у САД. Чува их, са именима без цензуре, у спремишту званом ПИНВАЛЕ и другим централним базама података. Ниједан закон не забрањује НСА да унутар тог садржаја тражи имена и друге идентификаторе у САД, и то чини. ЦИА то такође чини, а ФБИ је недавно известио да претражује податке тако рутински да не може да пружи број. Правила минимизације постављају услове за те претраге и ограничавају, али не забрањују, дистрибуцију америчких идентитета у извештајима другим агенцијама.

Не постоји начин да се спречи случајна наплата, али избор политике одлучује колико ће се тога догодити и шта НСА и друге агенције смеју да ураде са његовим плодовима.

У мало запаженом одломку свог извештаја, председникова Група за преглед обавештајних и комуникационих технологија позвала је крајем прошле године ( Препорука 12, стр. 28 ) да случајно стечене информације о Американцима треба очистити након откривања осим ако не дају вредне стране обавештајне податке или упозоравају на озбиљну штету другима. Већина онога што НСА сада чува би вероватно морала бити одбачена под тим стандардом. Председник и његов штаб су то оставили по страни без јавног коментара.

До сада није било могуће конкретно расправљати о инцидентној наплати. Нисмо знали колико се тога догодило или природу прикупљеног приватног садржаја. НСА не одговара на јавна питања о тим стварима. Канцеларија директора националне обавештајне службе тврди да није у стању ни да процени колико је Американаца погођено. И ниједан спољни надзорник — укључујући Конгрес, судове, Одбор за надзор приватности и грађанских слобода или Групу за преглед обавештајних и комуникационих технологија — није имао приступ довољно пресретнутог садржаја да сам процени.

„Када претпоставите . . . '

Неки ветерани обавештајних служби су ове недеље тврдили да је наша прича подвукла неизненађујуће чињенице. Бивши генерални саветник НСА Стјуарт Бејкер написао је (на сајту Тхе Пост) да се праћењем мете очигледно стичу комуникације других људи. (Истраживачи друштвених мрежа свуда: Па добро, компјутерски научник твитовао је Роберт Олсон .)

Ако је то све што је Тхе Пост говорио, према Бакеру:

. . . инхерентна пристрасност мере је таква да захтева признање. (Уосталом, омогућава вам да кажете „половина свих власника налога у бази података није била мета“ ако агенција чува само једну поруку послату циљу.) Ово је нешто што би сваки половично разуман уредник требало да препозна.

Као што сам горе напоменуо, сложили смо се да случајно прикупљање, апстрактно, није новост. При врху наше приче рекли смо да је то неизбежно у многим облицима надзора.

Обим те збирке и интимне тајне које открива можда неће изненадити обавјештајне стручњаке, који разумију колатералне ефекте надзора и узимају наметљивост здраво за готово. Међутим, то је изненађујуће — и, на основу реакција читалаца, узнемирујуће — за многе људе који су се ослањали на јавна уверавања да се НСА чврсто фокусира на стране мете и да не може да чита америчке е-маилове без налога.

Ево начина на који смо поставили то питање:

Досијеи надзора истичу политичку дилему која је у јавности објављена само апстрактно. Постоје открића значајне обавештајне вредности у пресретнутим порукама — и колатерална штета по приватност у размерама на које Обамина администрација није била вољна да се позабави.

Марк Амбиндер, новинар који је доста писао о надзору, понудио је детаљнију критику. Заслужује нешто дужи одговор јер је нашироко цитиран. Амбиндер је свој закључак да је наша прича пропала на погрешним претпоставкама о нашем скупу података и погрешним описима система које НСА користи за пресретање и обраду комуникација.

У складу са чланом 702 измењеног Закона о надзору страних обавештајних служби, пише Амбиндер, домаће операције НСА почињу са класом мета које су сертификоване од стране суда — као што су „службеници руске владе који живе у Јути“. (Русија је, као целина, једна од 193 сертификоване земље од интереса) и суд није обавештен о конкретним циљевима које НСА бира из сертификоване класе. Ово даје агенцији много више слободе за надзор него што Амбиндер сугерише.

Затим, пише Амбиндер, НСА покушава да аутоматски елиминише [што је више могуће] е-маилова и ћаскања мета са људима унутар Сједињених Држава. То је нетачно. Постоје системи који покушавају да поразе или филтрирају разговоре који су искључиво домаћи или искључиво међу Американцима. Али НСА није под законском обавезом, и у пракси не покушава да филтрира америчке држављане или становнике који комуницирају са страном метом.

Ове две грешке доводе Амбиндера до његовог главног аргумента, а то је да је висок удео случајног прикупљања и немаскирани амерички идентитет које смо пронашли резултат техничких ограничења аутоматизованог система минимизације. Али то није проблем, пише он, јер се дефекти касније у процесу лече ручно. Од аналитичара НСА се тражи само да минимизирају сваку комуникацију са америчким особама коју виде, пише он, а наша прича је заснована на пресретнутим садржајима који аналитичари још нису испитали.

Комуникација једноставно није гледана. Ниједно људско биће то није видело. Новинари Поста су погледали сваки ред од 160.000 пресретнутих порука. Аналитичари НСА то не раде/не могу јер СИГИНТ систем не би функционисао ни на секунду да раде.

И то је погрешно. Све у узорку који смо анализирали проценили су аналитичари НСА на Хавајима, извучено из централних складишта агенције и ручно минимизирано након аутоматизованих напора да се открију амерички идентитети. Детаљније описујем податке при крају овог поста.

Да наш узорак није процењен, далеко више од 90 одсто људи у њему не би било мете. Да није сведено на минимум, пронашли бисмо много више Американаца него што смо сами идентификовали.

Зашто су наши налази потцењени

У бројке које смо пријавили укључили смо сваки демаскирани онлајн налог. Нисмо укључили минимизиране налоге јер нисмо имали начина да знамо колико је јединствених.

На пример, могли бисмо да избројимо 2.721 појављивање термина минимизирана особа из САД, 5.060 минимизираног корисничког имена у САД и 57.331 минимизиране ИП адресе у САД. (Постоји нешто више од 1.000 додатних категорија минимизираног садржаја.) Али у теорији, не можемо искључити да сви ти термини одговарају једној особи — фигури налик на Зелига чији су разговори на неки начин обухватали универзум од 11.000 налога. У стварности, вероватно је да се маскирани амерички идентитети броје у стотинама или хиљадама.

Нисмо укључили ниједну од њих у нашу статистику, јер смо одлучили да не импутирамо број који не можемо да пребројимо. Међу рачунима које смо могли поуздано идентификовати, 900 је припадало Американцима, а 1.250 страним циљевима. Ако је само 400 од десетина хиљада маскираних америчких идентитета јединствено, онда база података садржи више Американаца него легалних страних мета.

„Минимизирани председник САД улази у бар“

Много Близу читаоци погрешно схватио пасус, дубоко у нашој причи, који се односи на председника Обаму. Мислили су да то значи да НСА пресреће његову е-пошту. То није. (Шпијунирање председника је врста вести на коју вероватно можете да рачунате да ће Тхе Пост поставити на врх.) Да сам очекивао то читање, следеће пасусе бих написао другачије:

Више од 1.000 различитих термина за минимизирање појављује се у датотекама, покушавајући да прикрију идентитете могућих, потенцијалних и вероватних америчких особа, заједно са именима америчких компанија за пиће, универзитета, ланаца брзе хране и домаћина веб-поште.

Неки од њих се граниче са апсурдом, користећи титуле које би могле да се односе само на једног човека. Минимизирани изабрани председник САД почиње да се појављује у досијеима почетком 2009. године, а референце на актуелног минимизираног председника САД појављују се 1.227 пута у наредне четири године.

Ништа од тога нису били разговори у којима је учествовао Обама. Пажљиво смо проверили. Уместо тога, статистика се односи на разговоре у којима је неко други поменуо име председника. Нико од њих није укључивао инсајдерске информације.

У једном пресретнутом разговору, неко исприча виц који почиње: [МИНИМИЗОВАНА НАС ОСОБА] & [МИНИМИЗОВАНИ АМЕРИЧКИ ПРЕДСЕДНИК] улазе у бар. Ударна линија проналази пут до геноцида. То није пријатељска шала. У другој размени, неко исмеје познаника говорећи да је његов савет о женама као савет о исламу од [МИНИМИЗОВАНОГ БИВШЕГ ПРЕДСЕДНИКА САД].

Неке неспоразуме је тешко излечити. Напоменуо сам на Твитеру на недеља и Понедељак да Обамини разговори нису пресретнути. Неколико оних који су одговорили јесу не склони до веровати то.

Многи људи су питали, откако је прича објављена, да ли смо затекли пресретнуте разговоре од других изабраних званичника, судија, новинара или невладиних организација. Нисмо. Досије укључују минимализоване референце на једног сенатора, једног члана Конгреса, три судије, три америчка емитера и неколико невладиних организација. У свим тим случајевима, теме су помињали други људи у разговорима о јавним догађајима.

Наше позивање на Обаму требало је да истакне још једну поенту. Упоредили смо скрупулозну бригу НСА о минимизирању, у многим контекстима, са политикама које омогућавају аналитичару да се ослони на сумњиве доказе као основу за процену да је циљ неприкладан за ту заштиту приватности. Пронашли смо много случајева у којима су аналитичари основали разумно уверење о страности на чињеници да циљ говори страни језик или се пријављује са ИП адресе за коју се чинило да је у иностранству. Ти критеријуми би важили за десетине милиона Американаца.

Техничка подршка из Ленглија

ЦИА је прошлог месеца отворила налог на Твитеру и користила је безобразан хумор да за кратко време придобије велики број пратилаца. У понедељак је рачун послат ово саопштење : Не, не знамо вашу лозинку, па не можемо да вам је пошаљемо. Постало је вирално, са више од 12.000 ретвитова.

Како се то дешава, датотеке НСА које смо испитали укључивале су 1.152 минимизиране америчке лозинке, што значи лозинке за америчку е-пошту и налоге за ћаскање пресретнуте са америчких веза података. Не очекујте техничку подршку од Ленглија, али ЦИА има приступ том сировом саобраћају.

„Невин“ против „интимног“

Критика Стјуарта Бејкера ​​наше приче направила је другу тачку коју нисам споменуо горе:

Прича је изграђена око подразумеване тврдње да се 90% НСА пресретнутих података односи на невине људе. Мислим да је статистика лажна.

То није оно што прича говори или шта је значила. Нисмо покушавали да меримо кривицу или врлину. За велике количине пресретнутог садржаја, одлучујући квалитет је интимност, а не невиност.

Бејкер је учинио да његово сопствено сандуче звучи прилично досадно, испуњено рутинским пословима и једнократним порукама које могу да поднесем кратким одговором (или игнорисањем поруке). Као што се дешава, е-пошта не чини највећи део онога што НСА пресреће. Далеко више садржаја долази из ћаскања уживо, медија младе особе који је испуњен преокупацијама младих.

Међу великом већином људи који нису мете НСА, многи разговори у нашем узорку су изузетно приватни. Често су веома далеко од објављивања, без уређивања.

Он: А ти [глагол, присвојни придев, именица]

Она: ја [глагол] ако ти [други глагол].

Он: То се може средити.

Она: Стварно ми треба казна.

Друга млада жена, такође није мета, одговара просцу који предлаже да дође у посету.

Она: немојте мислити да би то било поштено према момку кога видим

Он: понекад можеш бити мало несташан лол

Она: Да лол

Одатле наставља разговор. Да ли је жени или њеном дечку важно што је НСА снимила њен пад ка неверству ако нико од њих то не зна? (Она је држављанка Аустралије, чији би идентитет требало да буде минимизиран са истом пажњом због Американца, али њено име и фотографије су демаскирани.)

Да ли је сину важно да се медицинска документација његовог оца, или мајци да су слике купања њене бебе, у продавницама НСА?

На почетку дебате о Сноудену, председник Одбора за обавештајне послове Представничког дома, Мајк Роџерс рекао на саслушању да чињеница да нисмо имали ниједну притужбу са било каквом специфичношћу тврдећи да је њихова приватност нарушена, јасно указује да систем функционише.

Али ко би се жалио? питао је сведок, професор права на америчком универзитету Стивен Владек.

Неко чија је приватност повређена, одговорио је Роџерс. Ваша приватност се не може нарушити ако не знате да је ваша приватност нарушена.

Владек се оштро није сложио са том изјавом. Правилима и процедурама НСА, рекао је он, не може се судити без објективног погледа на то шта ради са својим ауторитетом. То је дебата коју је наша прича имала за циљ.

Пот, упознај чајник

Када смо уоквирили нашу причу, суочили смо се са парадоксом: како да пријавимо штету по приватност, а да их не увећамо? Неки читаоци су били узнемирени нашим цитатом приватне преписке — па чак и нашом одлуком да је прочитамо.

Бен Виттес, писање на Лавфаре , описује Сноуденов трансфер садржаја НСА мени на овај начин:

Извођач даје кеш од 160.000 таквих разговора — од којих су неки веома дуги — трећој страни. Он то чини наизглед неселективно, и не препушта ништа више од поверења да ће прималац користити материјал одговорно. Трећа страна затим наставља са објављивањем пасуса. . . из преписке приватног лица, писане момку о њиховој очигледној афери — приватно лице које је оптужено да није починило ништа. . . . Да је дотични уговарач било ко други осим Едварда Сноудена, одмах бисмо препознали ово обелодањивање као оно што јесте: масовно кршење грађанских слобода управо оне врсте коју смо обавештајне службе ставили под владавину закона да покушамо да спречимо.

Овде препознајемо дилему, али не мислимо да је одговор очигледан. Требало је испричати важну причу о надзору и приватности. Нисмо веровали да то можемо рећи широким алузијама на неодређени лични садржај у пресретнутим фајловима НСА. Такође смо веровали да морамо да дамо тежину импликацијама на приватност и националну безбедност њиховог цитирања.

предности и мане киропрактичара

Витес пише, у вези са женом коју смо цитирали, да иако смо њено име деликатно држали ван приче, цео њен друштвени свет ће знати ко је она. То је спекулација. Жена ми каже другачије.

Од почетка смо одлучили да нећемо цитирати ниједан разговор без пристанка говорника. Аустралка нам је то дала, под условом да смо изоставили њено име и друге детаље које је навела. Након тога је написала да похвали фантастичан чланак и рекла да њен послодавац и пријатељи, осим оних који су већ познавали причу, то нису повезали са њом.

Хвала пуно, написала је. Ценим ваше напоре да останете анонимни.

Ако оставимо један пример на страну, Виттес врши шири напад на Сноудена – у неспутаном вршењу своје неограничене дискреције – бирајући Гелмана као једину проверу и равнотежу у откривању личних података – Гелмана који, за разлику од НСА, нема законски стандард да испуни до и без надзора од стране Конгреса или судова.

Истина је да, уз неколико изузетака као што је клевета, влада не поставља стандарде објављивања нити ме приморава да их следим. То је прилично основна карактеристика нашег уставног система. Начин на који користим ту слободу и избори које је Тхе Пост направио за ову причу су фер игра о којој свако може да процени. Задовољни смо нашим изборима и начином на који смо их направили.

Тражење пристанка пре цитирања није било наше једино, па чак ни прво разматрање. Рано смо препознали да постоје ризици за националну безбедност у самом чину упозоравања некога да су њени разговори пресретнути. Урадили смо независно извештавање да бисмо утврдили, пре него што сам је назвао, да бивши дечко Аустралијанке више није под присмотром и да га америчке обавештајне службе више не сматрају претњом.

Чак и када смо изоставили имена, нисмо били слободни да без пажљивог размишљања цитирамо пресретнуте разговоре. Особит језик може бити препознат по мети надзора и, такође, алузијама на неугодне тајне када их прочита неко близак цитираној особи.

Као што је наведено у нашој причи, сами смо се у Сноуденовом узорку уверили да је надзор према Одељку 702 произвео много вредних обавештајних података. Ако бисмо мети директно или индиректно рекли да је под микроскопом НСА, то бисмо угрозили.

Када смо тражили примере које бисмо могли да наведемо, почели смо тако што смо проверавали да ли је мета надзора још увек жива и на слободи. Независним пријављивањем идентификовали смо четворицу који су били у притвору. Та имена смо донели НСА и ЦИА. Званичници обавештајних служби дали су нам конкретне и убедљиве разлоге, незванично, зашто би свако помињање два од њих пореметило текуће операције. Изоставили смо их и навели другу двојицу — Мухамеда Тахира Шахзада, пакистанског произвођача бомби, и Умара Патека, осумњиченог за терористички бомбашки напад 2002. на индонежанском острву Бали — у нашој причи.

Постоје ризици по приватност, као што су приметили неки критичари, чување копија пресретнутих фајлова. Постоје слични ризици за националну безбедност ако неко украде архиву. Предузели смо значајне мере, уз савете водећих стручњака, како бисмо материјал сачували што је могуће више безбеднији од спољних људи. Ниједан запослени у АЛЕС-у нема непроверен приступ, а врло мало њих уопште има приступ. Уништавање датотека сада би био најсигурнији начин да се осигура да нису проваљене. То би покренуло правна питања и зауставило наш рад на причи о сталном глобалном увозу. Дугорочно нисмо донели никакву одлуку.

Подаци и методе

У скупу података који смо анализирали било је 22.000 електронских фајлова који садрже садржај који је НСА пресрела између 2009. и 2012. Долазили су из складишта смештеног у регионалном објекту НСА Куниа на Хавајима, које је поделила група аналитичара специјализованих за Југоисток Азијске претње и мете.

Ту базу података на Хавајима су, у суштини, курирали чланови групе. Извукли су много већу продавницу сировог или необрађеног садржаја који је био смештен у седишту НСА и увезли селекције из ње у шаблоне за процењени материјал. Специјалне контроле приступа заштитиле су датотеке на обе локације јер су комуникације добијене од мрежних прекидача и рачунарских сервера у Сједињеним Државама. До 2008. за ту врсту наплате била је потребна појединачна потерница судије. Одељак 702 ФИСА дозволио је НСА да сама изабере десетине хиљада мета према правилима и процедурама које суд прегледа једном годишње.

Пошто су наш узорак ручно одабрали аналитичари за базу података на Хавајима, било је много мање нерелевантног садржаја и случајно прикупљених америчких комуникација него што би ревизор могао наћи у централној бази података ПИНВАЛЕ из које је извучен.

Око 16.000 датотека са подацима садржало је текст пресретнутих разговора. Остало су биле фотографије или документи попут медицинских картона, путних ваучера, школских транскрипта и брачних уговора. Конвертовали смо било који текст унутар сликовних датотека у машински читљив облик.

Неке датотеке су имале само једну е-пошту или размену тренутних порука. Други су укључивали многе одвојене разговоре, са много учесника. Други су имали дуге, непрекинуте транскрипте ћаскања који су се протезали на неколико дана и стотине страница.

Да би анализирао фајлове, Солтани их је све унео у базу података. Затим бисмо могли да тражимо мерљиве информације помоћу алата за штреберке као што су Уник регуларни изрази и СКЛ, или структурирани језик упита.

Желели смо да знамо, на пример, колико је различитих разговора било у фајловима. Солтани је покушао неколико метода да пронађе границе у сваком документу. Податке је описао као прљаве, са штампарским грешкама и недоследностима у коришћењу форматирања и званичних шаблона. Солтани је исправио те грешке користећи више критеријума у ​​својим претрагама, као што је први ПИНВАЛЕ идентификатор у заглављу. Њихово поређење довело нас је до објављене бројке од 160.000 разговора.

Солтани је урадио већину анализа, али ме је научио да постављам своја питања. Е-маил адресе, да узмемо веома једноставан пример, увек се састоје од дозвољеног опсега знакова пре и после знака @, са тачком у другој половини. Тај упит је пронашао 12.310 погодака. Након чишћења лажних позитивних резултата и додавања ручица за ћаскање и Фацебоок ИД-ова, дошли смо до објављене бројке од око 11.400 јединствених налога.

Морали смо да користимо сложеније методе да бисмо идентификовали који од тих налога су били мете НСА. Упоредили смо неколико приступа, који су дали сличне, али не и идентичне резултате. Након што смо истражили зашто се разликују, проценили смо да је број јединствених нотација случаја, или ЦАСН, најпоузданији.

Запис малих и малих слова изгледа овако: П2БСКЦ090008441. Пре годину дана објавили смо згодан слајд да га дешифрујемо.


Знакови СКЦ означавају програм ПРИСМ, који прикупља садржај онлајн налога девет великих америчких интернет компанија. П2 идентификује мету као Иахоо налог, Б каже да је то налог за ћаскање, а остатак идентификује годину почетка надзора (2009) и јединствени серијски број мете.

Прикупљање са мрежних прекидача, које НСА назива Упстреам, користи нотације случаја које почињу са КСКС.СКФ. Оне се такође називају ФБИ ФИСА збирка, којом управља биро и дели се са НСА. Упстреам се најчешће користи за ефемерније облике ћаскања до којих није лако доћи са сервера интернет компанија.

Укупан број мета, рачунајући по ЦАСН-у, достигао је 1.257. Проверили смо број - да ли је то имало смисла? — читањем садржаја великог узорка њихових разговора.

Џули Тејт и Џенифер Џенкинс су уложиле огроман рад на утврђивање имена власника налога и истраживање њихових јавних записа. У скоро сваком случају, разлози за интересовање НСА били су очигледни. Међу више од 10.000 нециљаних налога, комуникације су одражавале нормалан опсег људске интеракције.

Због измена које је Конгрес направио у одељку 702, Одбор за надзор приватности и грађанских слобода известио је да је обим нециљаног прикупљања — и случајног америчког садржаја у њему — експоненцијално порастао.

Одбор се поделио око тога да ли би влада требало да буде обавезна да добије налог за претрагу и коришћење тих пресретнутих разговора у САД. (Сада није потребан налог.) Председничка група за преглед отишла је даље, препоручивши да НСА у већини случајева одбаци садржај из САД.

Обамина администрација није одговорила ни на једну од тих препорука. Наша прича је додала информације које се нигде другде нису могле наћи о конкурентским интересима у питању.