stdlib/strings: Added flatten service.
[nit.git] / lib / standard / string.nit
index d808851..e47399b 100644 (file)
@@ -28,6 +28,7 @@ intrude import collection # FIXME should be collection::array
 # High-level abstraction for all text representations
 abstract class Text
        super Comparable
+       super StringCapable
 
        redef type OTHER: Text
 
@@ -38,7 +39,7 @@ abstract class Text
        type SELFTYPE: Text
 
        # Gets a view on the chars of the Text object
-       fun chars: StringCharView is abstract
+       fun chars: SELFVIEW is abstract
 
        # Number of characters contained in self.
        fun length: Int is abstract
@@ -53,13 +54,22 @@ abstract class Text
        # A `from` index < 0 will be replaced by 0.
        # Unless a `count` value is > 0 at the same time.
        # In this case, `from += count` and `count -= from`.
-       fun substring(from: Int, count: Int): String is abstract
+       fun substring(from: Int, count: Int): SELFTYPE is abstract
+
+       # Concatenates `o` to `self`
+       fun +(o: Text): SELFTYPE is abstract
+
+       # Auto-concatenates self `i` times
+       fun *(i: Int): SELFTYPE is abstract
 
        # Is the current Text empty (== "")
        #       assert "".is_empty
        #       assert not "foo".is_empty
        fun is_empty: Bool do return self.length == 0
 
+       # Returns an empty Text of the right type
+       fun empty: SELFTYPE is abstract
+
        # Gets the first char of the Text
        #
        # DEPRECATED : Use self.chars.first instead
@@ -157,9 +167,10 @@ abstract class Text
        #     assert "abcd".substring_from(2)    ==  "cd"
        #
        # As with substring, a `from` index < 0 will be replaced by 0
-       fun substring_from(from: Int): String
+       fun substring_from(from: Int): SELFTYPE
        do
-               assert from < length
+               if from > self.length then return empty
+               if from < 0 then from = 0
                return substring(from, length - from)
        end
 
@@ -274,21 +285,35 @@ abstract class Text
        # A upper case version of `self`
        #
        #     assert "Hello World!".to_upper     == "HELLO WORLD!"
-       fun to_upper: String
-       do
-               var s = new FlatBuffer.with_capacity(length)
-               for i in self.chars do s.add(i.to_upper)
-               return s.to_s
-       end
+       fun to_upper: SELFTYPE is abstract
 
        # A lower case version of `self`
        #
        #     assert "Hello World!".to_lower     == "hello world!"
-       fun to_lower : String
+       fun to_lower : SELFTYPE is abstract
+
+       # Removes the whitespaces at the beginning of self
+       fun l_trim: SELFTYPE
        do
-               var s = new FlatBuffer.with_capacity(length)
-               for i in self.chars do s.add(i.to_lower)
-               return s.to_s
+               var iter = self.chars.iterator
+               while iter.is_ok do
+                       if iter.item.ascii > 32 then break
+                       iter.next
+               end
+               if iter.index == length then return self.empty
+               return self.substring_from(iter.index)
+       end
+
+       # Removes the whitespaces at the end of self
+       fun r_trim: SELFTYPE
+       do
+               var iter = self.chars.reverse_iterator
+               while iter.is_ok do
+                       if iter.item.ascii > 32 then break
+                       iter.next
+               end
+               if iter.index == length then return self.empty
+               return self.substring(0, iter.index + 1)
        end
 
        # Trims trailing and preceding white spaces
@@ -296,23 +321,7 @@ abstract class Text
        #
        #     assert "  Hello  World !  ".trim   == "Hello  World !"
        #     assert "\na\nb\tc\t".trim          == "a\nb\tc"
-       fun trim: String
-       do
-               if self.length == 0 then return self.to_s
-               # find position of the first non white space char (ascii < 32) from the start of the string
-               var start_pos = 0
-               while self.chars[start_pos].ascii <= 32 do
-                       start_pos += 1
-                       if start_pos == length then return ""
-               end
-               # find position of the first non white space char from the end of the string
-               var end_pos = length - 1
-               while self.chars[end_pos].ascii <= 32 do
-                       end_pos -= 1
-                       if end_pos == start_pos then return self.chars[start_pos].to_s
-               end
-               return self.substring(start_pos, end_pos - start_pos + 1)
-       end
+       fun trim: SELFTYPE do return (self.l_trim).r_trim
 
        # Mangle a string to be a unique string only made of alphanumeric characters
        fun to_cmangle: String
@@ -444,6 +453,9 @@ abstract class Text
                return self.chars < o.chars
        end
 
+       # Flat representation of self
+       fun flatten: FlatText is abstract
+
 end
 
 # All kinds of array-based text representations.
@@ -464,6 +476,8 @@ abstract class FlatText
                        i += 1
                end
        end
+
+       redef fun flatten do return self
 end
 
 # Abstract class for the SequenceRead compatible
@@ -575,12 +589,21 @@ abstract class BufferCharView
 
 end
 
+abstract class String
+       super Text
+
+       redef type SELFTYPE: String
+
+       redef fun to_s do return self
+
+end
+
 # Immutable strings of characters.
-class String
+class FlatString
        super FlatText
-       super StringCapable
+       super String
 
-       redef type SELFTYPE: String
+       redef type SELFTYPE: FlatString
        redef type SELFVIEW: FlatStringCharView
 
        # Index in _items of the start of the string
@@ -589,7 +612,7 @@ class String
        # Indes in _items of the last item of the string
        private var index_to: Int
 
-       redef var chars: StringCharView = new FlatStringCharView(self)
+       redef var chars: SELFVIEW = new FlatStringCharView(self)
 
        ################################################
        #       AbstractString specific methods        #
@@ -603,7 +626,7 @@ class String
                return items[index + index_from]
        end
 
-       redef fun substring(from: Int, count: Int): String
+       redef fun substring(from, count)
        do
                assert count >= 0
 
@@ -615,16 +638,18 @@ class String
 
                var realFrom = index_from + from
 
-               if (realFrom + count) > index_to then return new String.with_infos(items, index_to - realFrom + 1, realFrom, index_to)
+               if (realFrom + count) > index_to then return new FlatString.with_infos(items, index_to - realFrom + 1, realFrom, index_to)
 
-               if count == 0 then return ""
+               if count == 0 then return empty
 
                var to = realFrom + count - 1
 
-               return new String.with_infos(items, to - realFrom + 1, realFrom, to)
+               return new FlatString.with_infos(items, to - realFrom + 1, realFrom, to)
        end
 
-       redef fun to_upper: String
+       redef fun empty do return "".as(FlatString)
+
+       redef fun to_upper
        do
                var outstr = calloc_string(self.length + 1)
                var out_index = 0
@@ -644,7 +669,7 @@ class String
                return outstr.to_s_with_length(self.length)
        end
 
-       redef fun to_lower : String
+       redef fun to_lower
        do
                var outstr = calloc_string(self.length + 1)
                var out_index = 0
@@ -664,26 +689,6 @@ class String
                return outstr.to_s_with_length(self.length)
        end
 
-       redef fun trim: String
-       do
-               if self.length == 0 then return self
-               # find position of the first non white space char (ascii < 32) from the start of the string
-               var start_pos = self.index_from
-               while items[start_pos].ascii <= 32 do
-                       start_pos += 1
-                       if start_pos == index_to + 1 then return ""
-               end
-               # find position of the first non white space char from the end of the string
-               var end_pos = index_to
-               while items[end_pos].ascii <= 32 do
-                       end_pos -= 1
-                       if end_pos == start_pos then return items[start_pos].to_s
-               end
-               start_pos -= index_from
-               end_pos -= index_from
-               return self.substring(start_pos, end_pos - start_pos + 1)
-       end
-
        redef fun output
        do
                var i = self.index_from
@@ -720,7 +725,7 @@ class String
 
        redef fun ==(other)
        do
-               if not other isa String then return super
+               if not other isa FlatString then return super
 
                if self.object_id == other.object_id then return true
 
@@ -750,7 +755,7 @@ class String
        #     assert ("aa" < "b")      ==  true
        redef fun <(other)
        do
-               if not other isa String then return super
+               if not other isa FlatString then return super
 
                if self.object_id == other.object_id then return false
 
@@ -787,7 +792,7 @@ class String
        # The concatenation of `self` with `s`
        #
        #     assert "hello " + "world!"         == "hello world!"
-       fun +(s: String): String
+       redef fun +(s)
        do
                var my_length = self.length
                var its_length = s.length
@@ -797,19 +802,27 @@ class String
                var target_string = calloc_string(my_length + its_length + 1)
 
                self.items.copy_to(target_string, my_length, index_from, 0)
-               s.items.copy_to(target_string, its_length, s.index_from, my_length)
+               if s isa FlatString then
+                       s.items.copy_to(target_string, its_length, s.index_from, my_length)
+               else if s isa FlatBuffer then
+                       s.items.copy_to(target_string, its_length, 0, my_length)
+               else
+                       var curr_pos = my_length
+                       for i in s.chars do
+                               target_string[curr_pos] = i
+                               curr_pos += 1
+                       end
+               end
 
                target_string[total_length] = '\0'
 
                return target_string.to_s_with_length(total_length)
        end
 
-       # `i` repetitions of `self`
-       #
        #     assert "abc"*3           == "abcabcabc"
        #     assert "abc"*1           == "abc"
        #     assert "abc"*0           == ""
-       fun *(i: Int): String
+       redef fun *(i)
        do
                assert i >= 0
 
@@ -833,8 +846,6 @@ class String
                return target_string.to_s_with_length(final_length)
        end
 
-       redef fun to_s do return self
-
        redef fun hash
        do
                # djb2 hash algorythm
@@ -858,13 +869,13 @@ end
 private class FlatStringReverseIterator
        super IndexedIterator[Char]
 
-       var target: String
+       var target: FlatString
 
        var target_items: NativeString
 
        var curr_pos: Int
 
-       init with_pos(tgt: String, pos: Int)
+       init with_pos(tgt: FlatString, pos: Int)
        do
                target = tgt
                target_items = tgt.items
@@ -884,13 +895,13 @@ end
 private class FlatStringIterator
        super IndexedIterator[Char]
 
-       var target: String
+       var target: FlatString
 
        var target_items: NativeString
 
        var curr_pos: Int
 
-       init with_pos(tgt: String, pos: Int)
+       init with_pos(tgt: FlatString, pos: Int)
        do
                target = tgt
                target_items = tgt.items
@@ -910,7 +921,7 @@ end
 private class FlatStringCharView
        super StringCharView
 
-       redef type SELFTYPE: String
+       redef type SELFTYPE: FlatString
 
        redef fun [](index)
        do
@@ -949,22 +960,20 @@ abstract class Buffer
        # Enlarges the subsequent array containing the chars of self
        fun enlarge(cap: Int) is abstract
 
-       # Adds the content of string `s` at the end of self
-       fun append(s: String) is abstract
+       # Adds the content of text `s` at the end of self
+       fun append(s: Text) is abstract
 
-       redef fun chars: BufferCharView is abstract
 end
 
 # Mutable strings of characters.
 class FlatBuffer
        super FlatText
-       super StringCapable
        super Buffer
 
        redef type SELFVIEW: FlatBufferCharView
        redef type SELFTYPE: FlatBuffer
 
-       redef var chars: FlatBufferCharView = new FlatBufferCharView(self)
+       redef var chars: SELFVIEW = new FlatBufferCharView(self)
 
        var capacity: Int
 
@@ -987,6 +996,8 @@ class FlatBuffer
 
        redef fun clear do length = 0
 
+       redef fun empty do return new FlatBuffer
+
        redef fun enlarge(cap)
        do
                var c = capacity
@@ -1017,12 +1028,22 @@ class FlatBuffer
                with_capacity(5)
        end
 
-       init from(s: String)
+       init from(s: Text)
        do
                capacity = s.length + 1
                length = s.length
                items = calloc_string(capacity)
-               s.items.copy_to(items, length, s.index_from, 0)
+               if s isa FlatString then
+                       s.items.copy_to(items, length, s.index_from, 0)
+               else if s isa FlatBuffer then
+                       s.items.copy_to(items, length, 0, 0)
+               else
+                       var curr_pos = 0
+                       for i in s.chars do
+                               items[curr_pos] = i
+                               curr_pos += 1
+                       end
+               end
        end
 
        # Create a new empty string with a given capacity.
@@ -1039,7 +1060,17 @@ class FlatBuffer
        do
                var sl = s.length
                if capacity < length + sl then enlarge(length + sl)
-               s.items.copy_to(items, sl, s.index_from, length)
+               if s isa FlatString then
+                       s.items.copy_to(items, sl, s.index_from, length)
+               else if s isa FlatBuffer then
+                       s.items.copy_to(items, sl, 0, length)
+               else
+                       var curr_pos = self.length
+                       for i in s.chars do
+                               items[curr_pos] = i
+                               curr_pos += 1
+                       end
+               end
                length += sl
        end
 
@@ -1065,10 +1096,27 @@ class FlatBuffer
                                r.chars.push(items[from])
                                from += 1
                        end
-                       return r.to_s
+                       return r
                else
-                       return ""
+                       return new FlatBuffer
+               end
+       end
+
+       redef fun +(other)
+       do
+               var new_buf = new FlatBuffer.with_capacity(self.length + other.length)
+               new_buf.append(self)
+               new_buf.append(other)
+               return new_buf
+       end
+
+       redef fun *(repeats)
+       do
+               var new_buf = new FlatBuffer.with_capacity(self.length * repeats)
+               for i in [0..repeats[ do
+                       new_buf.append(self)
                end
+               return new_buf
        end
 end
 
@@ -1481,18 +1529,18 @@ class NativeString
                return to_s_with_length(cstring_length)
        end
 
-       fun to_s_with_length(length: Int): String
+       fun to_s_with_length(length: Int): FlatString
        do
                assert length >= 0
-               return new String.with_infos(self, length, 0, length - 1)
+               return new FlatString.with_infos(self, length, 0, length - 1)
        end
 
-       fun to_s_with_copy: String
+       fun to_s_with_copy: FlatString
        do
                var length = cstring_length
                var new_self = calloc_string(length + 1)
                copy_to(new_self, length, 0, 0)
-               return new String.with_infos(new_self, length, 0, length - 1)
+               return new FlatString.with_infos(new_self, length, 0, length - 1)
        end
 
 end