Measuring the quality of Open Source Cyber Threat Intelligence Feeds

Abstract

Nykypäivänä organisaatiot ovat yhä enemmän erilaisten kyberhyökkäysten kohteena. Organisaatioille on ensiarvoisen tärkeää pystyä tunnistamaan vihamielinen toiminta ja siihen liittyvät uhkatoimijat mahdollisimman varhaisessa vaiheessa. Yhtenä työkaluna tässä voidaan käyttää uhkatietosyötteitä, jotka sisältävät vaarantumisindikaattoreita erilaisista tietoturvauhista. Vaarantumisindikaattoreita voivat olla esimerkiksi Tämän tutkimuksen ensisijainen tarkoitus on vertailla useita maksuttomia ja avoimista lähteistä saatavia uhkatietosyötteitä sekä tarkastella niiden laatua ja luotettavuutta. Toissijaisena tarkoituksena on tutkia, voiko eri syötteitä arvottaa ja vertailla keskenään. Tutkimusmetodina käytettiin kehittämistutkimusta, jonka avulla voidaan tutkia kerättyä dataa useasta eri näkökulmasta eri iteraatiokierroksilla. Tutkimusdataa kerättiin toimijoilta, jotka tarjoavat koneluettavia, IPv4 muodossa olevaa dataa sisältäviä listoja. Kerätty data harmonisoitiin ja analysointiin viidestä eri näkökulmasta; volyymi, muutosnopeus, maantieteellinen jakauma, autonomisten järjestelmien (ASN) jakauma ja eri syötteissä olevien vaaraantumisindikaattoreiden päällekkäisyys. Tutkimuksessa selvisi, että eri uhkatietosyötteet keskittyvät eriasioihin ja niiden keskinäinen vertailu on hankalaa, ellei jopa mahdotonta. Analysoinnin perusteella voitiin vetää tiettyjä johtopäätöksiä syötteiden laadusta, mutta mitään yksiselitteistä vertailutapaa ei pystytty luomaan.

Today ́s organizations are increasingly subject to various cyber attacks. It is essential to identify hostile activity and potential threat actors at the earliest possible stage. One tool for identification is threat intelligence data feeds that contain indicators of compromises (IoC) from different cyber security threats. Examples of IoCs include internet protocol addresses, network addresses, and file hashes. Threat intelligence feeds are maintained and produced by specialized companies as well as non-profit organizations and individuals. The primary purpose of this study is to compare several free, open source threat intelligence feeds and examine their quality and reliability. The secondary purpose is to study whether different feeds can be scored and compared with each other. Design-based research (DBR) was chosen as a research method. DBR helps to study data from multiple perspectives within several iterations, allowing for extraction of meaningful information from an otherwise unpredictable set of results. Research data was collected from providers that generate machine-readable lists containing data in IPv4 format. This collected data was harmonized and analyzed from five different perspectives; volume, change rate, geographical distribution, autonomous systems number (ASN) distribution and overlaps between different feeds. The study concluded that different threat intelligence feeds focus on different issues and this makes their comparison problematic, if not impossible. Based on the analysis, certain conclusions about the quality of the feeds could be drawn; there is no unambiguous way to show whether one feed was better than the other.